Fine-tuning

Le fine-tuning consiste à prendre un modèle pré-entraîné (foundation model — LLM, vision, etc.) et continuer son entraînement sur un dataset spécifique au domaine ou à la tâche cible, généralement plus petit. Cela permet d'adapter le modèle à un style, un vocabulaire métier, un format de sortie, ou des patterns spécifiques que le RAG seul ne peut pas garantir.

Les méthodes : (1) full fine-tuning — réentraîner tous les paramètres (coûteux, risque de catastrophic forgetting) ; (2) LoRA (Low-Rank Adaptation) — n'entraîner que de petites matrices d'adaptation (~1% des paramètres), efficace et populaire ; (3) QLoRA — LoRA + quantization 4-bit pour entraîner sur un GPU consommer ; (4) PEFT — famille de techniques Parameter-Efficient Fine-Tuning (LoRA, Prefix Tuning, Adapters) ; (5) RLHF / DPO — alignement avec des préférences humaines.

Quand fine-tuner ? Quand on a besoin de format de sortie strict, style spécifique, classification fiable, latence ou coût réduit (modèle plus petit fine-tuné qui rivalise avec un grand généraliste). Quand préférer le RAG ? Pour des connaissances factuelles fréquemment mises à jour. Souvent les deux sont combinés. Plateformes : OpenAI fine-tuning API, AWS Bedrock, Azure OpenAI, Vertex AI, HuggingFace AutoTrain.