Définition complète
Introduit dans les RNNs avant de devenir la fondation du Transformer. Self-attention : chaque token de la séquence peut 'regarder' tous les autres et pondérer leur importance. Permet de capter des dépendances à longue distance impossible avec des RNNs classiques. Formule : Attention(Q, K, V) = softmax(QK^T/√d_k)V.
Termes liés
Autres termes Deep Learning
Deep Learning (apprentissage profond) — Sous-ensemble du ML basé sur des réseaux de neurones à plusi...Transformer — Architecture de réseau de neurones basée sur le mécanisme d'...Computer Vision — Branche de l'IA dédiée à l'analyse et compréhension d'images...Réseau de neurones — Architecture computationnelle inspirée du cerveau, brique de...CNN (Convolutional Neural Network) — Réseau de neurones spécialisé dans le traitement d'images et...
Envie d'aller plus loin que la définition ?
AI2 forme à l'IA et à la data avec des programmes certifiés RNCP.