Glosario NLP

Añadir tokens especiales para igualar la longitud de secuencias en un batch. Necesario para procesamiento eficiente.

Rol temático que juega un participante en el evento descrito por el verbo (agente, paciente, instrumento).

Realización individual y concreta del lenguaje (habla). Concepto de Saussure, complementario a la langue.

Parameter-Efficient Fine-Tuning. Familia de técnicas que entrenan solo una pequeña fracción de los parámetros del modelo.

Métrica que mide qué tan bien un modelo de lenguaje predice una secuencia. Menor perplexity = mejor modelo.

Fenómeno por el cual una palabra tiene múltiples significados relacionados entre sí (ej: "banco" de sentarse y "banco" de dinero).

Part-of-Speech tagging. Asignar categorías gramaticales (sustantivo, verbo, adjetivo...) a cada palabra de una oración.

Mecanismo para inyectar información de posición en Transformers, ya que no tienen noción inherente del orden.

Disciplina que estudia el uso del lenguaje en contexto y cómo los factores extralingüísticos influyen en la interpretación.

Proporción de predicciones positivas que son correctas. Alta precisión = pocos falsos positivos.

Información que el hablante asume como verdadera y compartida para que el enunciado tenga sentido (ej: "Juan dejó de fumar" presupone que fumaba).

Entrenamiento inicial de un modelo en grandes cantidades de datos no etiquetados para aprender representaciones generales.

Propiedad del lenguaje que permite a los hablantes generar y comprender un número infinito de oraciones nuevas a partir de un conjunto finito de elementos.

Instrucción o contexto dado a un modelo de lenguaje para guiar su respuesta. El diseño de prompts es clave en LLMs.

Arte y ciencia de diseñar prompts efectivos para obtener mejores respuestas de los LLMs.