Attention on haruki256.com https://haruki256.com/tag/attention/ Recent content in Attention on haruki256.com Hugo ja-JP Sun, 04 Oct 2026 09:00:00 +0900 LLMは文章をどう数値に変え、次のトークンを選ぶのか――トークン化・Attention・KVキャッシュの流れ https://haruki256.com/2026/10/04/how-llm-selects-next-token/ Sun, 04 Oct 2026 09:00:00 +0900 https://haruki256.com/2026/10/04/how-llm-selects-next-token/ <p>LLMへ文章を渡してから、次の一トークンが選ばれるまでには、種類の違う数値が何段階も登場します。トークンID、埋め込み、各層の表現、Attentionの重み、logit、確率は、すべて数値ですが役割は同じではありません。</p>