Glosario NLP

Conjunto estructurado de datos (textos, etiquetas) usado para entrenar y evaluar modelos. Puede ser supervisado o no.

Componente del Transformer que genera la salida token por token. GPT usa solo decoders. Incluye atención causal.

Proceso de generar texto a partir de un modelo. Incluye estrategias como greedy, beam search, sampling con temperatura.

Análisis sintáctico que identifica relaciones de dependencia entre palabras, formando un árbol de dependencias.

Fenómeno por el cual el significado de ciertas palabras (yo, aquí, ahora) depende totalmente del contexto de enunciación.

Proceso morfológico de formación de nuevas palabras mediante la adición de afijos a una raíz (ej: pan -> panaderia).

Estudio de la lengua a lo largo del tiempo, enfocándose en su evolución histórica.

Teoría que define las unidades lingüísticas por sus contextos de aparición y sus relaciones de distribución.

Técnica para transferir conocimiento de un modelo grande (teacher) a uno más pequeño (student) que sea más eficiente.

Técnica de regularización que desactiva aleatoriamente neuronas durante el entrenamiento para prevenir overfitting.