"2014年頃、ウスコライトは別のアプローチの考案に乗り出し、その機構を「セルフアテンション（自己注意）」と呼んだ。この種のネットワークは文章のほかの部分を参照しながら単語を解釈することができる。文中のほかの部分を考慮することで、単語に込められた意味を明確にとらえて優れた出力が可能になるのだ。「すべての要素を考慮し、多くの入力を同時に取り入れて、非常に絞った出力を効率的に生み出せます」と彼は言う。AI科学者たちはニューラルネットワークの働きを実際の脳の働きと混同しないよう比喩表現に注意するが、ウスコライトはセルフアテンションが人間の言語処理方法にいくらか似ていると考えているようだ" https://wired.jp/article/sz-eight-google-employees-invented-modern-ai-transformers-paper/