La Historia del NLP en 3 Minutos: Cómo Llegamos a los LLMs
Durante años hemos hablado de modelos, arquitecturas, embeddings, Transformers, LLMs…
Pero pocas veces nos detenemos a mirar el camino completo.
Por eso hoy quiero hacer una pausa en la serie y contar una historia. Una historia que empieza mucho antes de ChatGPT, mucho antes de los Transformers, incluso mucho antes de las redes neuronales.
La historia de cómo la IA aprendió a entender y generar lenguaje.
Los años 60-90: El mundo simbólico
Todo empezó cuando no existían GPUs, ni deep learning, ni datasets gigantes.
Solo reglas escritas a mano, plantillas y gramáticas.
Los sistemas de NLG (Natural Language Generation) funcionaban con lógica pura:
- Si querías generar «El usuario compró un libro», tenías que programar exactamente esa estructura
- Macro-planning → Micro-planning → Realización
- Arquitecturas como Realizer (Ehud Reiter & Robert Dale) definieron el pipeline clásico
Era un mundo determinista. Predecible. Limitado.
Pero la idea ya estaba ahí: enseñar a una máquina a hablar.
¿El problema? No escalaba. Cada nuevo dominio requería reescribir las reglas desde cero.
Los años 80-90: Llegan las redes neuronales recurrentes
Décadas después, aparecen los RNN (Rumelhart, Hinton & Williams).
Por fin un modelo podía «recordar» lo que venía antes en una secuencia.
Pero tenían un problema crítico: el gradiente desaparecía.
Después de 10-15 pasos, la red olvidaba todo. No podía aprender dependencias largas.
Era como intentar recordar el inicio de una frase mientras lees el final… y fallar sistemáticamente.
1997: El primer gran salto — LSTM
Hochreiter y Schmidhuber presentan los LSTM (Long Short-Term Memory).
Tres puertas mágicas: input, forget, output.
Memoria a largo plazo. Estabilidad en el gradiente.
Por primera vez, una red podía mantener información durante cientos de pasos.
Podía aprender que «el gato que estaba en el tejado» se relaciona con «maullaba» 20 palabras después.
Fue un antes y un después.
Los LSTM dominaron el NLP durante casi 20 años.
Pero seguían siendo secuenciales. No podías paralelizar el entrenamiento. Y eso limitaba su escala.
2014: GRU — La versión simplificada
Kyunghyun Cho propone las GRU (Gated Recurrent Units).
Dos puertas en lugar de tres. Más rápidas. Más simples.
No fueron una revolución, pero demostraron algo importante:
A veces, menos complejidad es mejor.
2017: El momento que lo cambió todo
Google publica «Attention Is All You Need».
Y tenían razón.
Los Transformers eliminaron la dependencia secuencial.
La atención permitió:
- Paralelizar el entrenamiento (procesar toda la secuencia a la vez)
- Escalar a millones de parámetros
- Capturar relaciones largas sin degradación
- Entrenar modelos gigantes en semanas, no años
La arquitectura era elegante:
- Self-Attention (Q, K, V)
- Multi-Head Attention (múltiples perspectivas simultáneas)
- Full parallelization (adiós a los cuellos de botella secuenciales)
Los Transformers no fueron una mejora.
Fueron un cambio de paradigma.
Todo lo que hoy llamamos LLM nace aquí.
2018-2020: La primera generación de LLMs
GPT-1, GPT-2, GPT-3.
BERT (entendimiento), T5 (text-to-text), BART (seq2seq).
Modelos que ya no solo procesaban lenguaje: lo entendían, lo generaban, lo transformaban.
GPT-3 (175B parámetros) fue el punto de inflexión:
- Few-shot learning sin fine-tuning
- Generación coherente de textos largos
- Capacidad emergente de razonamiento
La industria empezó a prestar atención.
2020-2023: La industrialización del lenguaje
GPT-3, PaLM (540B), BLOOM, LLaMA.
Los modelos se volvieron más grandes, más capaces, más accesibles.
Pero también más caros de entrenar.
Y ahí empezó la carrera por la eficiencia:
- Modelos más pequeños pero mejor entrenados
- Fine-tuning especializado
- Democratización (LLaMA, Falcon, Mistral)
GPT-4 llegó con multimodalidad (texto + imagen).
La línea entre «modelo de lenguaje» y «modelo de comprensión general» empezó a difuminarse.
2023-2026+: La era moderna
Estamos aquí. Y esto es lo que define esta etapa:
1. Multimodalidad
Los modelos ya no solo leen texto. Procesan imágenes, audio, video, código.
GPT-4, Gemini, Claude 3 son modelos de comprensión general.
2. Contextos gigantes
De 4k tokens (GPT-3) a 128k, 200k, incluso 1M tokens (Gemini 1.5).
Puedes meter libros enteros, bases de código completas, conversaciones de días.
3. Optimización de inferencia
KV-cache, sparsity, Mixture of Experts (MoE).
Modelos que razonan más rápido, consumen menos memoria, escalan mejor.
4. RAG como estándar empresarial
Retrieval-Augmented Generation: combinar LLMs con bases de conocimiento externas.
La forma más práctica de llevar IA a producción sin reentrenar modelos gigantes.
5. Modelos que razonan
Ya no solo responden. Planifican, descomponen problemas, verifican sus propias respuestas.
Chain-of-Thought, ReAct, Tree of Thoughts.
Estamos viviendo la revolución en tiempo real.
¿Por qué contar esta historia ahora?
Porque antes de entrar en el Bloque de Scikit-Learn —estimators, transformers, pipelines— vale la pena recordar algo:
Nada de lo que usamos hoy apareció de la nada.
Cada concepto, cada arquitectura, cada técnica…
es el resultado de 60 años de iteración, investigación y aprendizaje.
Cuando uses unPipelineen Scikit-Learn, estarás aplicando ideas que vienen de los sistemas simbólicos de los 60.
Cuando entrenes un modelo confit(), estarás usando conceptos que evolucionaron desde los RNN.
Cuando implementes RAG, estarás combinando Transformers (2017) con retrieval clásico (décadas antes).
Entender el pasado te prepara para entender lo que viene.
Y lo que viene es grande:
- Modelos adaptativos que aprenden en tiempo real
- Aprendizaje continuo sin olvidar
- Nested Learning (modelos que entrenan modelos)
- IA que no solo responde, sino que investiga, verifica y mejora
La IA no apareció de golpe.
Es el resultado de décadas de personas que:
- Probaron ideas que no funcionaron
- Iteraron sobre arquitecturas que fallaban
- Publicaron papers que nadie leyó en su momento
- Construyeron sobre los hombros de gigantes
Y ahora, tú estás aquí.
Aprendiendo las herramientas que te permitirán construir lo siguiente.
Antes de seguir con la serie, mira atrás.
Porque entender de dónde venimos es la mejor forma de entender hacia dónde vamos.
TL;DR
- El NLP tiene más de 60 años de historia.
- Pasamos de reglas → RNN → LSTM → Transformers → LLMs multimodales.
- Cada salto resolvió una limitación del anterior.
- Los conceptos modernos (pipelines, estimators, RAG) tienen raíces profundas.
- Entender la historia te prepara para lo que viene.
La IA no es algo nuevo del 2020 en adelante, como muchos creen. Es el resultado de seis décadas de evolución continua.