Définition complète
BERT (Bidirectional Encoder Representations from Transformers), publié par Google en 2018, a révolutionné le NLP avant l'arrivée des LLMs génératifs. Utilise uniquement la partie encodeur du Transformer. Excellent pour classification, NER, sentiment analysis, question answering. Toujours utilisé en 2026 pour des tâches légères et rapides.
Termes liés
Transformer
Architecture de réseau de neurones basée sur le mécanisme d'attention, fondation des LLMs modernes.
NLP (Natural Language Processing)
Traitement automatique du langage naturel par des machines.
LLM (Large Language Model)
Grand modèle de langage entraîné sur de vastes corpus textuels pour comprendre et générer du texte naturel.
Autres termes NLP / LLM
Envie d'aller plus loin que la définition ?
AI2 forme à l'IA et à la data avec des programmes certifiés RNCP.