The Blog

文本向量化是搜索、推荐与 RAG 共同的地基。本文快速回顾 one-hot、TF-IDF、Word2Vec 等经典方案的思路与局限，重点拆解现代 Embedding 模型的三大支柱：BERT 上下文表示、Sentence-BERT 句向量专用化与对比学习训练范式，并盘点 BGE、GTE、E5、OpenAI text-embedding-3 等主流模型与 MRL、指令前缀等关键技术。

TF-IDF 用「词频 × 稀缺度」给词打分，是信息检索绕不开的经典。本文快速讲透它的核心原理，重点展开两大应用：搜索系统里的相关性打分，以及把文本变成稀疏向量后的分类、相似度与关键词提取。

向量语义召回与 BM25 关键词召回的分数天然不可比，混合检索需要一个仲裁者。本文以混合检索为例讲解 RRF（Reciprocal Rank Fusion）算法的公式与 k 常数的数学直觉，并横向对比分数级融合、名次级融合与学习排序三类融合策略的取舍。

从 RAG 知识库到 Agent 长期记忆，从语义搜索到多模态检索，向量数据库已经成为 AI 应用的标准基础设施。本文从一次 RAG 选型经历出发，梳理向量数据库在现有 AI 系统中的六大典型角色，并客观对比 Milvus、Qdrant、Weaviate、Pinecone、Chroma、pgvector、Elasticsearch 等主流方案的定位与适用场景。

面试官问「讲讲 Skill 是什么，再设计一个排查 Spark 报错的 Skill」。这篇从渐进式披露的三层加载原理讲到 Skill 与 RAG、MCP、微调的生态位辨析，再给出一个可落地的 spark-error-troubleshooting 完整设计——把这道题答成体系。

面试官夸了我的博客，也指出了开源项目里值得讨论的地方；而我更在意的，是那些没讲清楚的基础问题。不过说到底，写博客这件事，本来就不是为了面试。