清华、蚂蚁和新加坡南洋理工的研究人员在预印本平台 arxiv 上发表了一篇论文《Speculating LLMs’ Chinese Training Data Pollution from Their Tokens》，指出 OpenAI 的 GPT 系列模型使用的中文语料被成人和网络赌博内容污染。大模型使用从互联网上爬取的内容进行预训练，而爬取的内容不可避免会混入成人色情或网络赌博等污染内容。如果不仔细清理数据，那么在构建词汇表和执行分词（Performing tokenization）时可能会生成污染词元（polluted tokens），GPT 系列模型使用的中文词汇表就存在大量污染的中文词元。GPT-o1/o3/4.5/4.1/o4-mini 等模型都使用污染的中文语料库进行了训练。研究人员发现，在 GPT 模型语料库中，超过 23% 的长中文词元或者是成人内容或者是网络赌博，以 GPT-4o 为例，与日本 AV 女星波多野结衣相关的网页比例占到了训练语料库的 0.5%。

 
arxiv.org/html/2508.17771v1