Glosario NLP

Parámetro que controla la aleatoriedad en la generación de texto. Mayor temperatura = más creatividad/aleatoriedad.

Tarea de producir texto coherente continuando un prompt o siguiendo instrucciones. Tarea central de los LLMs.

Term Frequency-Inverse Document Frequency. Peso que refleja la importancia de una palabra en un documento relativo al corpus.

Clasificación de las lenguas según sus rasgos estructurales comunes (ej: orden SVO, lenguas tonales, aglutinantes).

Unidad básica de procesamiento en NLP. Puede ser palabra, subpalabra o carácter según el tokenizador.

Dividir texto en unidades más pequeñas (tokens): palabras, subpalabras o caracteres. Primer paso en el procesamiento.

Usar conocimiento de un modelo preentrenado en una tarea para mejorar el rendimiento en otra tarea relacionada.

Arquitectura de red neuronal basada en atención, sin recurrencia. Base de BERT, GPT y los modelos modernos de NLP.