Full definition
Le fine-tuning prend un modèle pré-entraîné (ex : LLaMA, Mistral) et l'ajuste sur un dataset spécialisé pour améliorer ses performances dans un domaine donné. Techniques : full fine-tuning (coûteux), LoRA / QLoRA (efficace et accessible), DPO / RLHF (alignement). Alternative moins coûteuse : le prompt engineering et le RAG. Utile quand on a des données propriétaires massives ou besoin d'un style/format spécifique.
Related terms
LLM (Large Language Model)
Grand modèle de langage entraîné sur de vastes corpus textuels pour comprendre et générer du texte naturel.
LoRA (Low-Rank Adaptation)
Technique de fine-tuning efficace de LLMs avec très peu de paramètres entraînables.
RLHF (Reinforcement Learning from Human Feedback)
Technique clé pour aligner les LLMs sur les préférences humaines.
Other NLP / LLM terms
Want to go beyond the definition?
AI2 trains in AI and data with RNCP-certified programs.