Full definition
LoRA gèle les poids du modèle de base et entraîne uniquement de petites matrices de rang faible ajoutées à certaines couches. Réduction spectaculaire du coût de fine-tuning : 10 000× moins de paramètres, même performance. QLoRA ajoute la quantification pour réduire encore plus la RAM. Incontournable en 2026 pour fine-tuner Mistral, LLaMA, etc.
Related terms
Other NLP / LLM terms
LLM (Large Language Model) — Grand modèle de langage entraîné sur de vastes corpus textue...Prompt engineering — Art et science de rédiger des instructions efficaces pour ob...RAG (Retrieval Augmented Generation) — Technique qui enrichit les réponses d'un LLM par récupératio...Fine-tuning — Adaptation d'un modèle pré-entraîné à une tâche ou domaine s...Embedding — Représentation numérique (vecteur) d'un objet (mot, phrase, ...Hallucination — Production par un LLM d'informations factuellement fausses m...
Want to go beyond the definition?
AI2 trains in AI and data with RNCP-certified programs.