东锡 NLP 梳理 LLM 基础概念：token 的诞生
一颗 token 的诞生。
AI 导读
Dongxi 东锡 NLP 发文介绍一篇梳理 LLM 基本概念的内容，涵盖 chat、template、logits、detokenize、tokenize、KV cache、prefill、decode 等环节。
主题
查看原帖https://t.co/nTlZDRnQWp
查看原文
https://t.co/nTlZDRnQWp
正文
一颗 token 的诞生。
在这篇里，会把 LLM 的基本概念过一遍，包括：
chat, template logits, detokenize tokenize KV, cache prefill, decode https://t.co/a4FnblpEio