Tokenización moderna: BPE y SentencePiece explicados para entender cómo los LLM “leen” el lenguaje
Explicación clara y divulgativa sobre la tokenización moderna en modelos de lenguaje: por qué fallan las tokenizaciones por palabras y caracteres, cómo funcionan las subwords, cómo BPE fusiona piezas frecuentes, cómo SentencePiece tokeniza cualquier idioma y por qué la tokenización afecta al coste, al contexto y a la calidad del modelo.



