Kurz erklärt
Der Transformer ist eine 2017 von Google-Forschern vorgestellte Architektur für neuronale Netzwerke, die den heutigen KI-Boom erst möglich gemacht hat.
Transformer-Modelle lernen Zusammenhänge mithilfe eines sogenannten Aufmerksamkeitsmechanismus (Self-Attention), indem sie die Beziehungen zwischen unterschiedlichen Elementen analysieren – beispielsweise zwischen allen Wörtern eines Absatzes oder verschiedenen Bereichen eines Bildes. Statt einen Satz starr Wort für Wort von links nach rechts abzuarbeiten, erfassen sie den gesamten Kontext gleichzeitig.