¿Qué es el procesamiento del lenguaje natural (NLP)? 🗣️

Las personas utilizan lenguaje de una forma extremadamente flexible: una misma palabra puede significar cosas distintas según el contexto, una frase puede contener ironía y dos personas pueden expresar la misma idea con palabras completamente diferentes. El procesamiento del lenguaje natural busca desarrollar sistemas capaces de trabajar con esa complejidad.

¿Qué es NLP?

NLP significa Natural Language Processing, o procesamiento del lenguaje natural.

Es un campo de la informática y la inteligencia artificial dedicado a desarrollar métodos que permitan a las computadoras analizar, transformar y generar lenguaje humano.

El campo combina conocimientos y técnicas relacionadas con:

• Lingüística.
• Programación.
• Estadística.
• Machine learning.
• Deep learning.
• Modelos de lenguaje.

Dependiendo de la tarea, el sistema puede trabajar con una palabra, una frase, un documento completo o una secuencia de voz.

¿Por qué procesar lenguaje es difícil?

El lenguaje no funciona como una lista simple de definiciones.

El significado puede cambiar según:

• El contexto.
• La región.
• La cultura.
• La intención.
• El tono.
• El conocimiento previo.

Observa esta frase:

"El banco está cerrado."

La palabra banco podría referirse a una entidad financiera o a otro significado dependiendo del contexto.

Ahora observa:

"Qué excelente servicio,
esperé solamente tres horas."

Las palabras “excelente servicio” parecen positivas, pero el mensaje puede ser sarcástico.

Flujo general de un sistema NLP

No existe un único proceso para todas las tareas, pero podemos imaginar un flujo general:

Texto o voz
    ↓
Preparación
    ↓
Representación numérica
    ↓
Modelo
    ↓
Predicción o generación
    ↓
Resultado

Cada etapa puede cambiar según si queremos clasificar, traducir, resumir, extraer información o generar una respuesta.

Tokenización

Antes de procesar texto, muchos sistemas lo dividen en unidades llamadas tokens.

Un token puede ser una palabra, parte de una palabra, un signo o una combinación frecuente.

Texto:
"Aprender programación"

Posible representación conceptual:
"Aprender"
" programación"

El método exacto depende del tokenizador utilizado.

En modelos modernos, la tokenización es importante porque determina qué unidades procesa el sistema.

Normalización del texto

En determinados sistemas también se realizan transformaciones para preparar el texto.

Pueden incluir:

• Conversión entre mayúsculas y minúsculas.
• Tratamiento de espacios.
• Eliminación o conservación de signos.
• Corrección de determinados formatos.
• Separación de palabras.

Sin embargo, normalizar demasiado puede eliminar información útil.

Por ejemplo, en una tarea de análisis de tono, los signos de exclamación pueden aportar información.

Representaciones numéricas

Las computadoras necesitan transformar el lenguaje en números para procesarlo.

Históricamente se han utilizado diferentes métodos para representar palabras y documentos.

Los sistemas modernos suelen trabajar con representaciones vectoriales que pueden capturar relaciones entre elementos.

Los embeddings son un ejemplo importante.

Texto:
"contraseña segura"

      ↓

Representación vectorial:
[0.17, -0.32, 0.81, ...]

Estas representaciones pueden utilizarse para comparar textos, clasificar información o buscar contenido relacionado.

Clasificación de texto

La clasificación asigna una categoría a un texto.

Por ejemplo:

Mensaje:
"No puedo iniciar sesión"

Categoría:
soporte técnico

Otros ejemplos incluyen:

• Spam o no spam.
• Queja o consulta.
• Noticias por categoría.
• Prioridad de tickets.

Un buen sistema necesita evaluarse con ejemplos representativos del entorno donde se utilizará.

Reconocimiento de entidades nombradas

El reconocimiento de entidades intenta identificar elementos específicos dentro de un texto.

"Ana viajará a San José el lunes."

Persona:
Ana

Lugar:
San José

Fecha:
lunes

Dependiendo de la aplicación también pueden buscarse organizaciones, productos, cantidades, monedas u otros tipos de entidades.

Análisis de sentimiento

El análisis de sentimiento intenta estimar si un texto expresa una valoración positiva, negativa o neutral.

"Me encantó el producto."
→ positivo

"El paquete llegó."
→ neutral

"No volvería a comprarlo."
→ negativo

Esta tarea parece sencilla hasta que aparecen frases ambiguas.

"Perfecto, otra actualización
que rompió todo."

Aunque contiene la palabra “perfecto”, el sentimiento probablemente sea negativo.

Traducción automática

La traducción automática transforma contenido de un idioma a otro.

Una traducción útil debe intentar conservar:

• Significado.
• Tono.
• Contexto.
• Terminología.

Las expresiones idiomáticas, palabras con varios significados y referencias culturales pueden dificultar la tarea.

Resumen automático

El resumen automático busca reducir un texto conservando su información principal.

Podemos distinguir de forma general entre dos enfoques.

Resumen extractivo

Selecciona partes importantes del texto original.

Resumen generativo

Produce una nueva redacción basada en el contenido.

En el segundo caso existe mayor riesgo de que el sistema introduzca una interpretación incorrecta, por lo que conviene revisar el resultado.

Búsqueda semántica

La búsqueda semántica intenta localizar contenido relacionado con el significado de una consulta, no solamente con palabras idénticas.

Consulta:

"cómo evitar que entren a mi cuenta"

Un sistema podría recuperar contenido sobre:

• Contraseñas seguras.
• Autenticación en dos pasos.
• Protección de cuentas.

Aunque esos documentos no utilicen exactamente las mismas palabras.

Respuesta a preguntas

Los sistemas NLP también pueden responder preguntas a partir de documentos o conocimiento aprendido.

Por ejemplo:

Documento:
"Python fue creado por Guido van Rossum."

Pregunta:
"¿Quién creó Python?"

Respuesta:
"Guido van Rossum"

En sistemas modernos esta tarea puede combinar búsqueda, modelos de lenguaje y recuperación de información.

NLP, voz y transcripción

El procesamiento del lenguaje también se relaciona con sistemas de voz.

Reconocimiento automático del habla

Convierte audio en texto.

Audio:
"Buenos días"

    ↓

Texto:
Buenos días

Síntesis de voz

Realiza el proceso contrario: convierte texto en audio hablado.

En aplicaciones conversacionales pueden combinarse reconocimiento de voz, NLP y síntesis para permitir interacción hablada.

¿NLP y LLM son lo mismo?

No.

NLP es el campo general dedicado al procesamiento computacional del lenguaje.

Un LLM es un tipo de modelo que puede utilizarse para realizar muchas tareas de NLP.

NLP
│
├── clasificación
├── traducción
├── extracción de entidades
├── análisis de sentimiento
├── resumen
└── modelos de lenguaje
      └── LLM

Si quieres profundizar en este tema, consulta qué es un LLM.

Datos y entrenamiento

La calidad de un sistema NLP depende en gran medida de los datos utilizados.

Para una tarea supervisada podemos necesitar ejemplos etiquetados.

"Excelente atención" → positivo
"Servicio normal" → neutral
"Muy mala experiencia" → negativo

Si el conjunto de datos contiene principalmente ejemplos muy sencillos, el modelo puede fallar con lenguaje real más complejo.

Datos representativos

Deben reflejar las situaciones que aparecerán durante el uso real:

• Diferentes estilos de escritura.
• Errores ortográficos.
• Expresiones regionales.
• Mensajes cortos y largos.
• Casos ambiguos.

¿Cómo se evalúa un sistema NLP?

La métrica depende de la tarea.

Clasificación

Podemos analizar cuántas predicciones son correctas, pero también distinguir falsos positivos y falsos negativos.

Extracción de información

Podemos medir si las entidades encontradas coinciden con las etiquetas esperadas.

Traducción y generación

La evaluación puede combinar métricas automáticas y revisión humana.

En lenguaje, dos respuestas distintas pueden ser correctas, por lo que medir calidad puede ser más complejo que comparar un único valor.

Ambigüedad, ironía y contexto

Estos son algunos de los desafíos más importantes.

Ambigüedad

"Vi al hombre con el telescopio."

¿Quién tenía el telescopio? La frase admite diferentes interpretaciones.

Ironía

"Fantástico, se volvió a caer
el sistema."

Una clasificación basada solamente en palabras positivas podría equivocarse.

Contexto

La misma frase puede significar algo diferente según lo que ocurrió anteriormente en una conversación.

Sesgos, dialectos y variaciones regionales

El lenguaje varía entre países, regiones y comunidades.

Una expresión perfectamente normal en un lugar puede no aparecer con frecuencia en los datos utilizados para entrenar un sistema.

Esto puede causar diferencias de rendimiento.

Por eso la evaluación debería incluir una variedad adecuada de formas de expresión cuando el sistema vaya a utilizarse con públicos diversos.

Privacidad y uso responsable

Los textos procesados por sistemas NLP pueden contener datos sensibles.

Por ejemplo:

• Nombres.
• Correos electrónicos.
• Números de identificación.
• Información médica.
• Conversaciones privadas.
• Datos empresariales.

Antes de recopilar o procesar esa información deben considerarse permisos, finalidad, almacenamiento y protección.

Además, un sistema automático no debería utilizarse como única base para decisiones importantes sin controles adecuados.

Ejemplo completo: clasificar comentarios

Imagina una tienda que quiere clasificar opiniones como positivas, neutrales o negativas.

Paso 1: definir categorías

positivo
neutral
negativo

Paso 2: recopilar ejemplos

"Excelente producto"
"El paquete llegó hoy"
"No funciona correctamente"

Paso 3: etiquetar

"Excelente producto" → positivo

"El paquete llegó hoy" → neutral

"No funciona correctamente"
→ negativo

Paso 4: entrenar o configurar el sistema

Dependiendo de la solución elegida, puede entrenarse un modelo o utilizarse un modelo previamente desarrollado.

Paso 5: probar con ejemplos nuevos

"Genial, llegó roto."

Este ejemplo revela una dificultad: contiene una palabra positiva, pero la intención general es negativa.

Paso 6: analizar errores

Si el sistema falla especialmente con sarcasmo, mensajes regionales o faltas ortográficas, debemos incluir esos escenarios en la evaluación.

Paso 7: supervisar el uso real

El lenguaje cambia con el tiempo, por lo que puede ser necesario revisar el sistema periódicamente.

Errores comunes al trabajar con NLP

Creer que detectar palabras equivale a comprender

Las palabras individuales no siempre reflejan la intención completa.

Probar solamente ejemplos fáciles

Los datos reales suelen contener errores, abreviaturas, sarcasmo y frases incompletas.

Ignorar variaciones regionales

Un sistema probado con una única forma de español puede comportarse diferente con vocabulario regional.

Usar una métrica incorrecta

Una alta exactitud general puede ocultar errores importantes en una categoría minoritaria.

Procesar datos sensibles sin controles

La información lingüística puede revelar mucho sobre una persona u organización.

Preguntas frecuentes

Conclusión

El procesamiento del lenguaje natural permite desarrollar sistemas capaces de trabajar con texto y voz para realizar tareas como clasificación, extracción de información, traducción, resumen y búsqueda semántica.

Para lograrlo, el lenguaje debe convertirse en representaciones que una computadora pueda procesar. Técnicas como tokenización, embeddings, machine learning y modelos de lenguaje forman parte de muchas soluciones modernas.

Sin embargo, el lenguaje humano contiene ambigüedad, sarcasmo, contexto cultural y variaciones regionales que hacen difícil obtener resultados perfectos.

Por eso un sistema NLP debe evaluarse con datos representativos, métricas apropiadas y controles de privacidad, especialmente cuando sus resultados pueden influir en decisiones importantes.