Définition complète
LoRA gèle les poids du modèle de base et entraîne uniquement de petites matrices de rang faible ajoutées à certaines couches. Réduction spectaculaire du coût de fine-tuning : 10 000× moins de paramètres, même performance. QLoRA ajoute la quantification pour réduire encore plus la RAM. Incontournable en 2026 pour fine-tuner Mistral, LLaMA, etc.
Termes liés
Autres termes NLP / LLM
LLM (Large Language Model) — Grand modèle de langage entraîné sur de vastes corpus textue...Prompt engineering — Art et science de rédiger des instructions efficaces pour ob...RAG (Retrieval Augmented Generation) — Technique qui enrichit les réponses d'un LLM par récupératio...Fine-tuning — Adaptation d'un modèle pré-entraîné à une tâche ou domaine s...Embedding — Représentation numérique (vecteur) d'un objet (mot, phrase, ...Hallucination — Production par un LLM d'informations factuellement fausses m...
Envie d'aller plus loin que la définition ?
AI2 forme à l'IA et à la data avec des programmes certifiés RNCP.