Tag: NLP

TF-IDF 用「词频 × 稀缺度」给词打分，是信息检索绕不开的经典。本文快速讲透它的核心原理，重点展开两大应用：搜索系统里的相关性打分，以及把文本变成稀疏向量后的分类、相似度与关键词提取。

一文讲清大模型分词器的本质：从“为什么需要子词分词”，到结合具体数据的 BPE 训练推导，再到现代大模型标配 BBPE 的核心机制。