AI 大模型的「中文税」：中文比英文更费 Token，为什么？ - 36Kr

AI大模型在处理中文时，相比英文需要消耗更多Token，这一现象被称为“中文税”。主要原因在于中文的字符系统与英文不同：英文单词由字母组成，每个字母对应一个Token，而中文每个汉字通常对应一个或多个Token，且中文词汇的边界模糊，分词复杂，导致相同信息量下中文所需的Token数量更多。此外，大模型训练数据中英文占比更高，中文语料相对不足，进一步加剧了效率差异。这一“税负”不仅增加了计算成本，也影响了模型对中文的理解和生成速度。解决之道在于优化中文分词算法、增加高质量中文训练数据，以及改进模型架构，以降低中文处理的Token消耗。