Mira nuestra guía rápida para entender todo lo que tiene que ver con ChatGPT y cómo las computadoras entienden el lenguaje que usamos todos los días. Te explicamos un montón de términos técnicos que suenan complicados pero son súper importantes.
Entrenamiento Adversario: Técnica para mejorar la robustez de los modelos de lenguaje exponiéndolos a ejemplos diseñados específicamente para desafiar el modelo y obligarlo a aprender representaciones más robustas.
IA (Inteligencia Artificial): Campo de la informática centrado en la construcción de máquinas inteligentes que pueden realizar tareas que normalmente requieren inteligencia humana, como reconocimiento de voz, resolución de problemas y traducción de idiomas.
Mecanismo de Atención: Técnica utilizada en modelos Transformer para enfocarse selectivamente en ciertos tokens de la secuencia de entrada al generar la salida.
Autorregresión: Propiedad de los modelos de lenguaje, donde la predicción del siguiente token depende de los tokens anteriores generados por el propio modelo, en lugar de solo en la entrada.
Búsqueda por Haz: Algoritmo de búsqueda utilizado en PLN para encontrar la secuencia de tokens más probable generada por un modelo de lenguaje, manteniendo un haz de las k secuencias más probables en cada paso de tiempo.
Incrustaciones Contextuales: Incrustaciones de palabras que se generan de manera que consideran el contexto en el que aparecen las palabras, como las palabras circundantes o la estructura de la oración.
Resolución de Correferencia: Proceso de identificar cuándo diferentes expresiones en un texto se refieren a la misma entidad y reemplazarlas con una representación única y coherente.
Análisis de Dependencias: Tarea en PLN que implica analizar la estructura gramatical de una oración para identificar las relaciones entre sus componentes, como sujeto, objeto o modificador.
Implementación: Proceso de poner a disposición un modelo de lenguaje entrenado, ya sea integrándolo en un sistema más grande o proporcionando una API para que otros lo accedan.
Entidades: Se refiere a objetos del mundo real, como personas, organizaciones, ubicaciones o productos, que pueden identificarse y extraerse del texto.
Métricas de Evaluación: Medidas utilizadas para evaluar el rendimiento de un modelo de lenguaje, como perplejidad, precisión, puntaje F1 o puntaje BLEU.
Ajuste Fino: Proceso de adaptar un modelo de lenguaje preentrenado para una tarea específica entrenándolo en un conjunto de datos específico de la tarea más pequeño.
Control de Granularidad Fina: Capacidad de un modelo de lenguaje para generar texto con atributos específicos, como estilo, tono o contenido, ajustando sus parámetros internos.
Generación: Proceso de usar un modelo de lenguaje para generar texto nuevo, ya sea muestreando a partir de la distribución predicha por el modelo sobre tokens, o usando el modelo como guía para la generación de texto humano.
Redes Antagonistas Generativas (GAN): Tipo de arquitectura de red neuronal utilizada en PLN, compuesta por dos modelos: un generador que genera texto y un discriminador que evalúa la calidad del texto generado y proporciona retroalimentación al generador.
GPT-3 (Generative Pre-trained Transformer 3): Un modelo de lenguaje de IA desarrollado por OpenAI, entrenado en un gran corpus de texto de internet para generar texto similar al humano.
Búsqueda Voraz: Algoritmo de búsqueda utilizado en PLN para encontrar la secuencia de tokens más probable generada por un modelo de lenguaje, seleccionando el token más probable en cada paso de tiempo.
Inferencia: Proceso de usar un modelo de lenguaje entrenado para hacer predicciones sobre nuevos datos no vistos.
Base de Conocimiento: Repositorio estructurado de información, como una base de datos o una ontología, que se puede utilizar para proporcionar contexto e información de fondo para los modelos de lenguaje.
Modelo de Lenguaje: Modelo de IA que ha sido entrenado para generar texto según los patrones que ha aprendido de un gran corpus de datos de texto.
Modelado de Lenguaje Enmascarado: Tarea de preentrenamiento en la que algunos tokens en la secuencia de entrada están enmascarados, y el modelo se entrena para predecir estos tokens, dada la información contextual de los tokens circundantes.
Aprendizaje Multitarea: Proceso de entrenar un modelo en múltiples tareas simultáneamente, con el fin de mejorar el rendimiento general y aprender representaciones compartidas entre tareas.
Reconocimiento de Entidades Nombradas (NER): Tarea en PLN que implica identificar y clasificar entidades mencionadas en un texto en categorías predefinidas, como persona, ubicación u organización.
PLN (Procesamiento del Lenguaje Natural): Subcampo de la IA enfocado en la interacción entre computadoras y humanos mediante el lenguaje natural.
Sobreajuste: Problema común en el aprendizaje automático en el que un modelo se especializa demasiado en los datos de entrenamiento y tiene un rendimiento deficiente en datos no vistos. Para evitar el sobreajuste, los modelos suelen regularizarse, por ejemplo, mediante el uso de “dropout” o detención temprana.
Etiquetado de Partes del Discurso (POS): Tarea en PLN que implica etiquetar cada palabra en una oración con su función gramatical, como sustantivo, verbo o adjetivo.
Preentrenamiento: Proceso de entrenar un modelo de lenguaje en un gran corpus de datos de texto antes de ajustarlo para tareas específicas, como responder preguntas o generar texto.
Indicación (Prompt): Se refiere al texto de entrada proporcionado por un usuario para iniciar una conversación o hacer una pregunta. Es el punto de partida para que ChatGPT genere una respuesta según su entrenamiento. La indicación sirve como contexto o señal para que ChatGPT genere una respuesta relevante y coherente.
QA (Preguntas y Respuestas): Tarea en PLN en la que se le hace una pregunta a un modelo y este debe generar una respuesta relevante y coherente, basada en su comprensión del lenguaje y el conocimiento que ha aprendido.
Regularización: Técnica para reducir el sobreajuste al agregar un término de penalización a la función de pérdida que desalienta al modelo de volverse demasiado complejo.
Autoatención: Mecanismo utilizado en modelos Transformer para calcular relaciones entre tokens dentro de una sola secuencia, permitiendo que el modelo preste atención a diferentes partes de la entrada al generar su salida.
Similitud Semántica: Medida de la similitud entre los significados de dos fragmentos de texto, generalmente basada en sus representaciones en un espacio vectorial.
Análisis de Sentimiento: Tarea en PLN que implica determinar el sentimiento expresado en un fragmento de texto, como positivo, negativo o neutral.
Generación de Secuencias: Proceso de usar un modelo de lenguaje para generar una secuencia de tokens, como una oración o un párrafo, basado en los patrones que ha aprendido de los datos de entrenamiento.
Modelos Secuencia-a-Secuencia (Seq2Seq): Tipo de arquitectura de red neuronal utilizada en PLN, diseñada para mapear una secuencia de entrada a una secuencia de salida, como en traducción automática o resumen de texto.
Token: Unidad básica de significado en PLN, que representa una sola palabra, signo de puntuación u otra pieza de texto.
Modelado de Temas: Técnica para descubrir los temas subyacentes en una colección de documentos de texto, basada en los patrones de coocurrencia de palabras.
Transferencia de Aprendizaje: Proceso de utilizar el conocimiento aprendido de una tarea para mejorar el rendimiento en una tarea relacionada, aprovechando modelos preentrenados.
Transformers: Tipo de arquitectura de red neuronal utilizada en PLN, diseñada para procesar datos secuenciales, como texto.
Incrustaciones de Palabras (Word Embeddings): Representaciones densas y continuas de palabras en un espacio vectorial, generalmente obtenidas entrenando un modelo de lenguaje en un gran corpus de texto. Las incrustaciones de palabras capturan las similitudes semánticas y sintácticas entre palabras.
Aprendizaje de Cero Disparos (Zero-shot Learning): Capacidad de un modelo de lenguaje para realizar una tarea que no ha visto antes, basada en su comprensión del lenguaje y el conocimiento que ha aprendido durante el preentrenamiento.