Árboles de Decisión (ID3, C4.5, CART)
Modelos que clasifican tomando decisiones como lo haría una persona
Hay modelos que aprenden con geometría, como K‑NN, preguntándose «¿a quién me parezco?». Otros aprenden con probabilidad, como Naive Bayes, preguntándose «¿qué es lo más probable?». Y luego están los árboles de decisión, que hacen algo mucho más humano: preguntan.
Piensa en cómo decides tú si sales con paraguas por la mañana:
«¿Está nublado? Sí.
¿Dan lluvia en el móvil? Sí.
Entonces cojo el paraguas.»
No has calculado distancias ni probabilidades. Has ido encadenando preguntas hasta llegar a una decisión. Eso es, literalmente, un árbol de decisión: una secuencia de preguntas que va partiendo el problema en trozos cada vez más claros, hasta dar una respuesta. Por eso son de los modelos más fáciles de explicarle a alguien que no sabe nada de machine learning: no necesitas fórmulas, necesitas sentido común.
Vamos al grano.
¿Qué es un árbol de decisión?
Un árbol hace tres cosas, una y otra vez:
- Divide los datos en función de una característica («¿la fruta es roja?»).
- Crea ramas según las respuestas (una rama para «sí», otra para «no»).
- Repite el proceso en cada rama hasta llegar a las hojas, que son la predicción final (una clase o un valor).
Visualmente es idéntico a un diagrama de flujo: empiezas arriba con una pregunta y vas bajando según respondes.
Y aquí está toda la gracia del asunto: ¿qué pregunta conviene hacer primero? Porque esa primera pregunta es la que más ordena el desorden. Elegir bien por dónde empezar es la diferencia entre un árbol útil y uno que da tumbos.
¿Cómo decide un árbol qué pregunta hacer?
Un buen árbol busca preguntas que dejen los grupos lo más «puros» posible. Un grupo puro es aquel donde casi todos los ejemplos son de la misma clase.
Imagínalo con una caja de manzanas y naranjas mezcladas. Si preguntas «¿la fruta es roja?» y de golpe casi todas las manzanas caen a un lado y casi todas las naranjas al otro, has hecho una pregunta excelente: has puesto orden. Si preguntas algo que deja las dos cajas igual de mezcladas, esa pregunta no sirve para nada.
Para medir cuánto orden genera una división, los árboles usan métricas. Las dos protagonistas son:
- Entropía (usada en ID3 y C4.5): mide el «desorden» de un grupo. Un grupo todo del mismo tipo tiene entropía 0; un grupo mitad y mitad tiene la entropía máxima.
- Índice Gini (usado en CART): mide la probabilidad de equivocarte si etiquetas al azar. Cuanto más puro el grupo, menor el Gini.
A partir de la entropía se calcula la ganancia de información, que no es más que cuánto desorden hemos eliminado al hacer una pregunta. El árbol prueba las preguntas posibles y se queda con la que más gana.
Un ejemplo con números (para que no quede en abstracto)
Supón que tienes 10 frutas: 6 manzanas y 4 naranjas, todas revueltas. Ese grupo está bastante desordenado.
Haces la pregunta «¿la fruta es roja?» y se parte así:
| Grupo | Manzanas | Naranjas | ¿Puro? |
|---|---|---|---|
| Rojas (5 frutas) | 5 | 0 | Sí, purísimo |
| No rojas (5 frutas) | 1 | 4 | Casi |
Antes tenías una caja hecha un lío. Después de una sola pregunta, un lado quedó perfecto (5 manzanas, 0 naranjas) y el otro casi perfecto. Esa reducción del desorden es la ganancia de información, y por eso el árbol elegiría esta pregunta antes que otra que dejara los grupos igual de mezclados. Así de sencillo es el criterio: premiar las preguntas que separan bien.
ID3, C4.5 y CART: ¿en qué se diferencian?
Los tres construyen árboles, pero cada uno es una etapa de una misma historia de evolución.
ID3 — el pionero
Es el árbol clásico, la versión «original». Usa entropía y elige siempre la pregunta que más reduce el desorden. Funciona, pero se le notan las arrugas de la edad:
- No maneja bien los valores continuos (números como peso o edad).
- Tiende a sobreajustar: aprende los datos de entrenamiento tan al detalle que luego falla con datos nuevos.
Piénsalo como el prototipo que demostró que la idea funcionaba.
C4.5 — la evolución natural
C4.5 coge a ID3 y le pule casi todos los defectos:
- Maneja variables continuas creando umbrales («¿el peso es mayor de 150 g?»).
- Tolera valores faltantes, algo muy habitual en datos reales.
- Usa la ganancia normalizada (gain ratio) para no dejarse engañar por preguntas tramposas que parten los datos en muchísimos grupos diminutos.
- Incorpora poda: recorta ramas innecesarias para no sobreajustar.
Es el algoritmo que sacó los árboles del laboratorio y los puso a trabajar en el mundo real.
CART — el estándar moderno
CART (Classification and Regression Trees) es el que usas hoy, casi siempre sin darte cuenta. Sus rasgos clave:
- Usa índice Gini para clasificar.
- Sirve también para regresión (predecir números, no solo categorías), algo que ID3 y C4.5 no hacen.
- Produce árboles binarios: cada pregunta tiene exactamente dos ramas (sí / no).
- Es la base de los grandes modelos actuales: Random Forest, ExtraTrees, Gradient Boosting, XGBoost, LightGBM, CatBoost… todos ellos son, por dentro, montones de árboles CART trabajando en equipo.
La conclusión práctica: si usas árboles hoy, casi seguro estás usando CART, directa o indirectamente.
| ID3 | C4.5 | CART | |
|---|---|---|---|
| Métrica | Entropía | Gain ratio | Índice Gini |
| Variables continuas | No | Sí | Sí |
| Valores faltantes | No | Sí | Sí |
| Regresión | No | No | Sí |
| Tipo de ramas | Múltiples | Múltiples | Binarias |
| Poda | No | Sí | Sí |
Ejemplo intuitivo: clasificar fruta
Imagina que quieres distinguir manzanas de naranjas. Un árbol podría aprender algo tan legible como esto:
No hay fórmulas. No hay distancias. Solo preguntas encadenadas que van partiendo los datos. Y lo mejor: podrías explicárselo a tu abuela y lo entendería a la primera. Esa transparencia es el gran superpoder de los árboles.
Ventajas de los árboles
- Muy interpretables: puedes leer las reglas en voz alta y entender exactamente por qué el modelo decidió lo que decidió. En muchos campos (banca, medicina) eso vale oro.
- Manejan datos mixtos sin quejarse: numéricos y categóricos a la vez.
- Capturan interacciones entre variables (que combinaciones de factores importen juntas).
- No necesitan normalización: les da igual que una variable vaya de 0 a 1 y otra de 0 a 10.000.
- Son la base de los mejores modelos ensemble de hoy.
Desventajas
- Sobreajustan con facilidad si no se podan: crecen tanto que se aprenden hasta el ruido.
- Sus fronteras son rectangulares, a escalones, no curvas suaves.
- Un árbol solo suele ser menos preciso que modelos más sofisticados.
- Son inestables: cambia un puñado de datos y el árbol puede salir bastante distinto.
Precisamente por estos defectos nacieron los ensembles. La idea es genial en su sencillez: si un árbol solo es inestable, ¿por qué no juntar cientos de árboles y hacer que voten? Ese es el truco detrás de Random Forest y Gradient Boosting, que convierten la debilidad de un árbol individual en la fortaleza del conjunto.
¿Cuándo usar árboles?
- Cuando necesitas interpretabilidad y explicar cada decisión.
- Cuando tienes muchas variables categóricas.
- Cuando quieres un modelo rápido de entrenar para tener un punto de partida.
- Cuando vas a usar ensembles, porque los árboles son su materia prima.
En resumen
- ID3: usa entropía, es simple y tiende a sobreajustar. El pionero.
- C4.5: mejora a ID3 con variables continuas, gain ratio y poda. El que lo popularizó.
- CART: el estándar moderno; usa Gini, hace árboles binarios y sirve para clasificación y regresión. La base de todo lo que se usa hoy.
- Los árboles dividen los datos con preguntas que maximizan la pureza de los grupos.
- Son interpretables, flexibles y el cimiento de los mejores modelos ensemble actuales.
Y si te quedas con una sola idea: un árbol de decisión no es más que la forma en que tú ya tomas decisiones, escrita de manera que una máquina pueda seguirla.