Définition complète
BERT (Bidirectional Encoder Representations from Transformers), publié par Google en 2018, a révolutionné le NLP avant l'arrivée des LLMs génératifs. Utilise uniquement la partie encodeur du Transformer. Excellent pour classification, NER, sentiment analysis, question answering. Toujours utilisé en 2026 pour des tâches légères et rapides.
Termes liés
Transformer
Architecture de réseau de neurones basée sur le mécanisme d'attention, fondation des LLMs modernes.
NLP (Natural Language Processing)
Traitement automatique du langage naturel par des machines.
LLM (Large Language Model)
Grand modèle de langage entraîné sur de vastes corpus textuels pour comprendre et générer du texte naturel.
Autres termes NLP / LLM
LLM (Large Language Model) — Grand modèle de langage entraîné sur de vastes corpus textue...Prompt engineering — Art et science de rédiger des instructions efficaces pour ob...RAG (Retrieval Augmented Generation) — Technique qui enrichit les réponses d'un LLM par récupératio...Fine-tuning — Adaptation d'un modèle pré-entraîné à une tâche ou domaine s...Embedding — Représentation numérique (vecteur) d'un objet (mot, phrase, ...Hallucination — Production par un LLM d'informations factuellement fausses m...
Envie d'aller plus loin que la définition ?
AI2 forme à l'IA et à la data avec des programmes certifiés RNCP.