Full definition
Introduit dans les RNNs avant de devenir la fondation du Transformer. Self-attention : chaque token de la séquence peut 'regarder' tous les autres et pondérer leur importance. Permet de capter des dépendances à longue distance impossible avec des RNNs classiques. Formule : Attention(Q, K, V) = softmax(QK^T/√d_k)V.
Related terms
Other Deep Learning terms
Deep Learning (apprentissage profond) — Sous-ensemble du ML basé sur des réseaux de neurones à plusi...Transformer — Architecture de réseau de neurones basée sur le mécanisme d'...Computer Vision — Branche de l'IA dédiée à l'analyse et compréhension d'images...Réseau de neurones — Architecture computationnelle inspirée du cerveau, brique de...CNN (Convolutional Neural Network) — Réseau de neurones spécialisé dans le traitement d'images et...
Want to go beyond the definition?
AI2 trains in AI and data with RNCP-certified programs.