LLMはどう知識を記憶しているか | Chapter 7, 深層学習

この動画は3Blue1Brownの動画を翻訳・再編集し公式ライセンスのもと公開しているものです。 チャンネル登録と高評価をよろしくお願いいたします。 翻訳: Ufolium ufolium.comでは中高のレベルで楽しめる/学べる数学のコースを提供しています！ https://ufolium.com/ AI Alignment forum post from the Deepmind researchers referenced at the video's start: https://www.alignmentforum.org/posts/iGuwZTHWb6DFY3sKB/fact-finding-attempting-to-reverse-engineer-factual-recall Anthropic posts about superposition referenced near the end: https://transformer-circuits.pub/2022/toy_model/index.html https://transformer-circuits.pub/2023/monosemantic-features Some added resources for those interested in learning more about mechanistic interpretability, offered by Neel Nanda Mechanistic interpretability paper reading list https://www.alignmentforum.org/posts/NfFST5Mio7BCAQHPA/an-extremely-opinionated-annotated-list-of-my-favourite Getting started in mechanistic interpretability https://www.neelnanda.io/mechanistic-interpretability/getting-started An interactive demo of sparse autoencoders (made by Neuronpedia) https://www.neuronpedia.org/gemma-scope#main Coding tutorials for mechanistic interpretability (made by ARENA) https://arena3-chapter1-transformer-interp.streamlit.app/ 日本語版X https://twitter.com/3B1BJP 元チャンネル（英語）    / 3blue1brown   元動画（英語）    • How might LLMs store facts | Deep Learning...   ---------------------------------------- 英語版翻訳元チャンネルの支援 https://www.patreon.com/3blue1brown アニメーションはmanimで作られています https://github.com/3b1b/manim 英語版公式ソーシャルメディア Webサイト: https://www.3blue1brown.com/ Twitter: https://twitter.com/3Blue1Brown Facebook: https://www.facebook.com/3blue1brown Reddit: https://www.reddit.com/r/3Blue1Brown ---------------------------------------- Music by Vincent Rubinetti Download the music on Bandcamp: https://vincerubinetti.bandcamp.com/album/the-music-of-3blue1brown Stream the music on Spotify: https://open.spotify.com/album/1dVyjwS8FBqXhRunaG5W5u