猫=42、狗=43 不代表它们更像：AI 如何把世界变成数字

给“猫”编号 42、“狗”编号 43、“汽车”编号 100，模型并不会因此认为猫和狗更相似，因为编号只是名字，数字本身不携带意义。文本要经过分词、Token ID 和 embedding 三步，真正让语义相近的词在空间中靠近的是从数据中学出的稠密向量，可用余弦相似度衡量。以 GPT-3 为例，词表约 50,257 个 token、嵌入维度 12,288，embedding 矩阵约 6.17 亿参数。