GPT解説2 アテンションの仕組み (Attention, Transformer) | Chapter6, 深層学習

この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。 チャンネル登録と高評価をよろしくお願いいたします。 日本語版Twitter https://twitter.com/3B1BJP 元チャンネル（英語）    / 3blue1brown   元動画（英語）    • Attention in transformers, step-by-step | DL6   訂正 冒頭でAttention機構は2017年の論文ではじめて登場したと紹介していましたが、正しくは2014年にBahdanauらによって初めて導入されていました。もちろんそれ以前にも、人々がこのアイディアについて実験していたのではないかと思います。コメントのご指摘、ありがとうございます！ Attention Is All You Needは従来のシーケンス処理モデルに使われていた回帰型ニューラルネットワークに対して、文字通りAttentionのみでシーケンス処理を可能にし、また多くのアテンションブロックを使用することでモデルの性能を向上させるアプローチが広く受け入れられるきっかけを作ったと言えるのではないでしょうか。 新チャンネルUfolium    • 【ガザ地区】イスラエル・パレスチナ対立の歴史      • アメリカ大統領選挙の仕組み   資料 Andrej Karpathy    • Let's build GPT: from scratch, in code, sp...   vcubingx    • What does it mean for computers to underst...   Anthropic https://transformer-circuits.pub/2021/framework/index.html https://www.gptandchill.ai/codingproblems LLMの歴史 Brit Cruise    • The 35 Year History of ChatGPT   https://arxiv.org/pdf/1301.3781 訳注 「シングルヘッドのアテンション」と訳されている部分は、英語では"Single head of attention"、"Single-headed attention"、"single-head attention"などと表現されています。意味としては「アテンションのヘッド１つ分」という使い方もあれば、「シングルヘッド」という「ある種の特徴や仕様を表現する言葉」として使っている場合もあります。日本語訳では前者のように受け取れる部分でもいくつかは後者で訳していて、これはMulti-head Attentionとの対比をより明確にするためにこのように訳しています。 ---------------------------------------- 英語版翻訳元チャンネルの支援 https://www.patreon.com/3blue1brown アニメーションはmanimで作られています https://github.com/3b1b/manim 英語版公式ソーシャルメディア Webサイト: https://www.3blue1brown.com/ Twitter: https://twitter.com/3Blue1Brown Facebook: https://www.facebook.com/3blue1brown Reddit: https://www.reddit.com/r/3Blue1Brown ---------------------------------------- Music by Vincent Rubinetti Download the music on Bandcamp: https://vincerubinetti.bandcamp.com/album/the-music-of-3blue1brown Stream the music on Spotify: https://open.spotify.com/album/1dVyjwS8FBqXhRunaG5W5u