¿Qué es el fine-tuning en inteligencia artificial? 🎛️

Entrenar un modelo grande desde cero puede requerir enormes cantidades de datos y recursos. El fine-tuning aprovecha un modelo que ya ha aprendido patrones generales y continúa su entrenamiento con ejemplos más específicos para adaptar su comportamiento a una necesidad concreta.

¿Qué es el fine-tuning?

El fine-tuning, o ajuste fino, es un proceso mediante el cual continuamos entrenando un modelo preentrenado utilizando un conjunto de datos más específico.

Su objetivo puede ser adaptar:

• El formato de las respuestas.
• El estilo.
• Una tarea de clasificación.
• Un vocabulario especializado.
• Un comportamiento repetitivo.

El modelo no comienza desde cero. Ya dispone de parámetros aprendidos durante una etapa previa.

Modelo base vs modelo ajustado

Podemos imaginar dos etapas.

Modelo base

Ha sido entrenado para aprender capacidades generales.

Modelo base

Puede:
- generar texto;
- responder preguntas;
- resumir;
- clasificar;
- ayudar con código.

Modelo ajustado

Parte del modelo base, pero continúa entrenándose con ejemplos relacionados con una tarea concreta.

Modelo ajustado

Objetivo:
responder siempre con una
estructura específica para
tickets de soporte.

Preentrenamiento vs fine-tuning

Estos conceptos están relacionados, pero no son lo mismo.

Preentrenamiento

Es la etapa en la que un modelo aprende patrones generales utilizando grandes cantidades de datos.

Fine-tuning

Continúa el entrenamiento utilizando datos más específicos.

Preentrenamiento
      ↓
Modelo general
      ↓
Fine-tuning
      ↓
Modelo adaptado

Normalmente el fine-tuning requiere muchos menos recursos que preentrenar un modelo grande desde cero.

¿Cómo funciona el fine-tuning?

El proceso puede variar según el modelo, pero de forma conceptual podemos dividirlo en varios pasos.

1. Seleccionar un modelo base.
2. Definir claramente la tarea.
3. Preparar los ejemplos.
4. Separar datos para evaluación.
5. Configurar el entrenamiento.
6. Actualizar parámetros.
7. Evaluar el modelo ajustado.
8. Compararlo con el modelo base.

Si el modelo ajustado no mejora de forma clara, el entrenamiento puede no haber valido la pena.

Preparación de los datos

La calidad de los datos es una de las partes más importantes.

Los ejemplos deberían ser:

• Correctos.
• Consistentes.
• Representativos.
• Relevantes para la tarea.
• Legalmente utilizables.
• Libres de información sensible innecesaria.

Un conjunto grande de ejemplos contradictorios puede ser peor que uno más pequeño pero cuidadosamente preparado.

Ejemplos inconsistentes

Entrada:
"Quiero devolver el producto"

Respuesta A:
"Categoría: devolución"

Respuesta B:
"Categoría: soporte"

Respuesta C:
"Categoría: facturación"

Si situaciones equivalentes reciben etiquetas diferentes sin una razón clara, el modelo recibe señales contradictorias.

Ejemplos de entrada y salida

En muchas tareas de ajuste supervisado cada ejemplo incluye una entrada y el resultado esperado.

Entrada:
"No puedo iniciar sesión"

Salida esperada:
{
  "categoria": "soporte_tecnico",
  "prioridad": "media"
}

Otro ejemplo:

Entrada:
"Me cobraron dos veces"

Salida esperada:
{
  "categoria": "facturacion",
  "prioridad": "alta"
}

El modelo aprende patrones entre entradas y salidas.

Fine-tuning supervisado

En un ajuste supervisado proporcionamos ejemplos con respuestas o etiquetas deseadas.

El sistema compara sus predicciones con las respuestas esperadas y ajusta parámetros para reducir la diferencia.

Entrada
   ↓
Modelo
   ↓
Predicción
   ↓
Comparar con respuesta esperada
   ↓
Calcular error
   ↓
Actualizar parámetros

Este proceso se repite muchas veces durante el entrenamiento.

¿Qué es una epoch?

Una epoch representa una pasada completa por el conjunto de entrenamiento.

Si tenemos 1.000 ejemplos y entrenamos durante tres epochs, el modelo tendrá varias oportunidades de aprender de esos ejemplos.

Sin embargo, más epochs no significa automáticamente un mejor modelo.

Entrenar demasiado puede favorecer el sobreajuste.

¿Qué es el learning rate?

El learning rate, o tasa de aprendizaje, controla de forma conceptual qué tan grandes son los cambios realizados durante la optimización.

Si es demasiado alto, el entrenamiento puede volverse inestable.

Si es demasiado bajo, el aprendizaje puede ser muy lento o no avanzar suficientemente.

Train, validation y test

Utilizar todos los ejemplos para entrenar impide evaluar correctamente si el modelo generaliza.

Es habitual separar los datos.

Train

Se utiliza para actualizar los parámetros.

Validation

Ayuda a evaluar decisiones durante el desarrollo.

Test

Se reserva para medir el rendimiento final sobre ejemplos que el modelo no utilizó para entrenar.

Dataset completo
      ↓
Train
Validation
Test

Sobreajuste

El sobreajuste ocurre cuando el modelo aprende demasiado específicamente los ejemplos de entrenamiento y funciona peor con casos nuevos.

Un síntoma podría ser:

Entrenamiento:
98 % correcto

Datos nuevos:
72 % correcto

Esta diferencia puede indicar que el modelo está memorizando patrones demasiado específicos.

Pérdida de capacidades y catastrophic forgetting

Si un ajuste modifica demasiado el modelo, puede perjudicar capacidades que anteriormente funcionaban bien.

Este fenómeno se relaciona con el concepto de catastrophic forgetting.

Por ejemplo, un modelo podría mejorar mucho en una tarea especializada pero empeorar en instrucciones generales que antes resolvía correctamente.

Por eso conviene evaluar tanto la nueva tarea como capacidades importantes del modelo base.

Ajuste completo vs métodos eficientes

No siempre es necesario modificar todos los parámetros del modelo.

Full fine-tuning

Actualiza una gran parte o la totalidad de los parámetros.

Puede ofrecer mucha flexibilidad, pero suele necesitar más memoria, cómputo y almacenamiento.

Parameter-Efficient Fine-Tuning

Existen técnicas que adaptan solamente una pequeña parte del sistema o añaden parámetros adicionales entrenables.

Esto puede reducir considerablemente los recursos necesarios.

¿Qué es LoRA?

LoRA significa Low-Rank Adaptation.

A nivel introductorio, es una técnica que permite adaptar un modelo sin actualizar directamente todos sus parámetros originales.

En su lugar, introduce componentes entrenables más pequeños.

Modelo base
   +
Adaptación pequeña
   ↓
Modelo adaptado

Esto puede reducir requisitos de memoria y facilitar mantener varias adaptaciones para diferentes tareas.

Cómo evaluar un modelo ajustado

Después del entrenamiento no basta con comprobar algunos ejemplos manualmente.

Debemos compararlo con una línea base.

Podemos evaluar:

• Exactitud.
• Consistencia.
• Formato.
• Calidad lingüística.
• Errores críticos.
• Rendimiento por categoría.
• Coste y latencia.

También debemos comparar el modelo ajustado con el modelo original.

Modelo base:
82 % en la tarea

Modelo ajustado:
91 % en la tarea

Pero...

Modelo base:
94 % en capacidad general

Modelo ajustado:
76 % en capacidad general

La mejora especializada podría haber introducido una pérdida importante en otras capacidades.

¿Cuándo conviene utilizar fine-tuning?

Puede ser útil cuando necesitamos un comportamiento muy repetible o especializado.

Por ejemplo:

• Clasificación con categorías propias.
• Formatos de salida estrictos.
• Estilo consistente.
• Vocabulario especializado.
• Comportamientos repetitivos.

También puede ser útil cuando los prompts necesarios para conseguir ese comportamiento son demasiado largos o complejos.

¿Cuándo no conviene?

Fine-tuning no debería ser automáticamente la primera solución.

Información que cambia frecuentemente

Si necesitas precios actuales, noticias o documentación que cambia, es mejor consultar una fuente actualizada.

Problemas que pueden resolverse con un mejor prompt

Si unas instrucciones claras consiguen el comportamiento deseado, tal vez no sea necesario entrenar.

Pocos ejemplos de baja calidad

Un dataset débil puede empeorar el modelo.

Objetivo poco definido

Si no puedes definir cómo medir la mejora, será difícil saber si el fine-tuning funcionó.

Prompt vs RAG vs fine-tuning

Estas técnicas resuelven problemas distintos.

Prompt

Cambia las instrucciones proporcionadas en cada solicitud.

Problema:
"La respuesta es demasiado técnica."

Solución posible:
mejorar la instrucción.

RAG

Recupera información externa relevante y la añade al contexto.

Problema:
"Necesito responder usando
documentación actualizada."

Solución posible:
RAG.

Fine-tuning

Modifica el comportamiento aprendido del modelo.

Problema:
"Necesito miles de respuestas
con el mismo formato especializado."

Solución posible:
fine-tuning.

Costos y recursos

El fine-tuning añade costos que no existen al utilizar solamente un modelo base.

Pueden incluir:

• Preparación de datos.
• Etiquetado.
• Entrenamiento.
• Evaluación.
• Almacenamiento.
• Mantenimiento.

Además, si cambian los requisitos, puede ser necesario volver a entrenar o actualizar la adaptación.

Privacidad y datos sensibles

Los datasets pueden contener información personal, confidencial o propietaria.

Antes de utilizar datos para entrenamiento debemos revisar:

• Procedencia.
• Permisos.
• Necesidad.
• Información sensible.
• Políticas de retención.

También conviene eliminar datos que no sean necesarios para la tarea.

Limitaciones y riesgos

Sobreajuste

El modelo puede funcionar demasiado bien con los ejemplos conocidos y peor con entradas nuevas.

Sesgos

Si los ejemplos están sesgados, el modelo puede aprender esos mismos patrones.

Datos incorrectos

El modelo puede aprender errores presentes en el dataset.

Pérdida de capacidades

Una adaptación demasiado agresiva puede perjudicar otras tareas.

Memorización

En determinadas condiciones puede existir riesgo de memorizar partes del dataset.

Falsa sensación de especialización

Un modelo ajustado puede sonar más especializado sin necesariamente ser más correcto.

Ejemplo completo: clasificar tickets

Imagina que una empresa recibe miles de mensajes y quiere clasificarlos en cuatro categorías.

facturación
soporte técnico
devolución
otra

Paso 1: definir la tarea

Cada mensaje debe recibir exactamente una categoría.

Paso 2: recopilar ejemplos

Se reúnen tickets reales o ejemplos autorizados y representativos.

Paso 3: revisar etiquetas

Casos equivalentes deben utilizar criterios consistentes.

Paso 4: separar los datos

Parte se utiliza para entrenamiento y otra para evaluación.

Paso 5: medir el modelo base

Antes del fine-tuning debemos conocer el rendimiento inicial.

Modelo base:
84 % de exactitud

Paso 6: entrenar

Se realiza el ajuste utilizando los datos preparados.

Paso 7: evaluar

Se prueban ejemplos que no fueron utilizados durante el entrenamiento.

Modelo ajustado:
92 % de exactitud

Paso 8: analizar errores

Quizá la categoría “otra” tenga un rendimiento mucho peor.

Una única métrica general podría ocultarlo.

Paso 9: comparar costos

Debemos comprobar si la mejora justifica el esfuerzo de entrenamiento y mantenimiento.

Paso 10: monitorear

Si aparecen nuevos tipos de solicitudes, el rendimiento puede cambiar con el tiempo.

Errores comunes

Usarlo para memorizar información reciente

Si los datos cambian con frecuencia, RAG puede ser una mejor opción.

No medir el modelo base

Sin una referencia inicial no sabemos si realmente mejoró.

Usar datos inconsistentes

El entrenamiento reproduce la calidad de los ejemplos.

Evaluar con los mismos datos del entrenamiento

Esto puede dar una impresión exagerada de rendimiento.

Entrenar sin un objetivo medible

Antes de comenzar debemos saber qué significa “mejor”.

Preguntas frecuentes

Conclusión

El fine-tuning permite adaptar un modelo preentrenado a tareas, formatos o comportamientos más específicos sin tener que entrenarlo completamente desde cero.

Su éxito depende en gran medida de la calidad de los datos, la configuración del entrenamiento y una evaluación adecuada sobre ejemplos que el modelo no utilizó para aprender.

También es importante compararlo con alternativas más sencillas. Mejorar un prompt puede resolver problemas de instrucciones, mientras que RAG suele ser más apropiado cuando la necesidad principal es trabajar con información externa o actualizada.

El fine-tuning tiene más sentido cuando existe un objetivo claro, ejemplos consistentes y una forma objetiva de demostrar que el modelo ajustado mejora frente al modelo base.