機械学習 on haruki256.com https://haruki256.com/tag/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92/ Recent content in 機械学習 on haruki256.com Hugo ja-JP Sun, 25 Oct 2026 00:00:00 +0000 LLMの学習データは、同じ文章を1トークンずらして入力と正解にする https://haruki256.com/shorts/2026/10/25/causal-lm-shifted-labels-training/ Sun, 25 Oct 2026 09:00:00 +0900 https://haruki256.com/shorts/2026/10/25/causal-lm-shifted-labels-training/ <blockquote> <p><strong>結論</strong></p> <p>LLMの学習方法を理解したいときは、因果言語モデルの入力と正解を、同じトークン列を1つずらした対応として見ると整理できます。未来を見ない仕組みと組み合わせることで、複数の位置について「次に来るトークン」をまとめて学習できます。</p>