· liyu · algorithm
文本向量化演进：从 Word2Vec 到现代 Embedding 模型
文本向量化是搜索、推荐与 RAG 共同的地基。本文快速回顾 one-hot、TF-IDF、Word2Vec 等经典方案的思路与局限，重点拆解现代 Embedding 模型的三大支柱：BERT 上下文表示、Sentence-BERT 句向量专用化与对比学习训练范式，并盘点 BGE、GTE、E5、OpenAI text-embedding-3 等主流模型与 MRL、指令前缀等关键技术。
文本向量化是搜索、推荐与 RAG 共同的地基。本文快速回顾 one-hot、TF-IDF、Word2Vec 等经典方案的思路与局限，重点拆解现代 Embedding 模型的三大支柱：BERT 上下文表示、Sentence-BERT 句向量专用化与对比学习训练范式，并盘点 BGE、GTE、E5、OpenAI text-embedding-3 等主流模型与 MRL、指令前缀等关键技术。