KaLM-Embedding：哈工深团队打造的中文语义嵌入王者

从"词不达意"到"心有灵犀"：文本嵌入的痛点故事

想象这样一个场景：你是一家法律科技公司的算法工程师，老板要求你开发一个类案检索系统——律师输入一段案情描述，系统自动从百万份判决文书中找出最相似的案例。

这不是科幻。哈尔滨工业大学（深圳）团队信息检索实验室（HITsz-TMG）正是带着这样的真实需求，开发了 KaLM-Embedding 系列文本嵌入模型。这个来自中国本土的模型，在 MTEB 中文榜单上展现了令人印象深刻的能力——它不是简单搬运英文模型，而是从数据、训练方法到评估体系，都为中文语义理解做了深度优化。

---

📌 项目亮点

• 论文支撑：两篇顶会级技术报告（arXiv:2501.01028、arXiv:2506.20923），模型权重在 HuggingFace 开源
• 中文 SOTA：MTEB 中文基准评测多任务第一，涵盖检索、分类、聚类等 8 类任务
• 多版本迭代：V1、V1.5、V2 三个版本持续演进，V2 采用 0.5B 参数规模，效果接近大模型蒸馏嵌入
• 技术硬核：Matryoshka 表征学习（嵌套表征）、排名一致性过滤、半同质任务批处理等多项训练创新

---

🔬 技术架构

KaLM-Embedding 基于 sentence-transformers 框架构建，核心技术栈如下：

层级	技术
基座模型	BERT / DeBERTa-v3 / LLMs (0.5B V2)
训练框架	PyTorch 2.0.1 + DeepSpeed
优化方法	Matryoshka Representation Learning、Ranking Consistency Filtering
评估工具	MTEB (Massive Text Embedding Benchmark)
嵌入组件	FlagEmbedding、faiss-gpu

项目代码结构清晰，分为三个核心模块：

KaLM-Embedding/
├── train/           # 训练模块
│   ├── data.py      # 数据加载与预处理
│   ├── losses.py     # 损失函数（Contrastive、Triplet 等）
│   ├── trainer.py    # DeepSpeed 分布式训练器
│   ├── hn_mine.py    # 难负例挖掘
│   └── run.py        # 训练入口
├── evaluate/        # 评估模块
│   ├── run_mteb.py   # 多 GPU MTEB 评估（队列式任务分配）
│   └── tasks/        # 评测任务集
└── scipts/          # Shell 脚本
    ├── train.sh      # 训练脚本
    ├── hn_mine.sh    # 难负例挖掘脚本
    └── eval_mteb.sh  # 评测脚本

---

📊 MTEB 评测表现

在 MTEB（Massive Text Embedding Benchmark）中文评测集上，KaLM-Embedding 系列的表现如下：

总体性能

MTEB 是目前最权威的文本嵌入模型评测基准，覆盖 58 个任务、113 个数据集，评测任务类型包括：检索（Retrieval）、重排序（Reranking）、分类（Classification）、聚类（Clustering）、STS（语义相似度）、Pair Classification、蒸馏检索（Bitext Mining） 等。

中文任务详细结果

---

🔧 核心训练技术

KaLM-Embedding 的训练创新是本项目的核心价值，主要体现在以下三个方面：

1. Ranking Consistency Filtering（排名一致性过滤）

传统的难负例挖掘往往只考虑相似度得分，而 KaLM-Embedding 引入了一个巧妙的过滤机制：在不同温度参数下多次采样，如果某个样本在不同采样下的排名波动过大，则认为它是"噪声负例"并过滤掉。这一策略有效提升了训练数据质量。

2. Semi-homogeneous Task Batching（半同质任务批处理）

不同任务的样本混合在同一个 batch 中训练容易造成任务间干扰。KaLM-Embedding 在 batch 构造时进行同质性筛选，将语义空间接近的任务样本打包，使训练更稳定。

3. Matryoshka Representation Learning（嵌套表征学习）

借鉴俄罗斯套娃思想，KaLM-Embedding 同时学习不同维度的嵌入表征——从 768 维到 64 维，支持灵活的速度-精度权衡（Speed-Accuracy Trade-off）。这在实际部署中非常实用。

---

🚀 如何使用

环境安装

conda env create -f environment.yaml
conda activate kalm

难负例挖掘

bash ./scipts/hn_mine.sh

通过调整 filter_topk 参数控制排名一致性过滤的阈值。

模型训练

bash ./scipts/train.sh

MTEB 评测（多 GPU）

bash ./scipts/eval_mteb.sh

评估代码支持多 GPU 并行，使用队列机制将不同任务分配到不同 GPU，显著提升评测效率。

直接使用 HuggingFace 模型

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("HIT-TMG/KaLM-embedding-multilingual-mini-instruct-v2")
embeddings = model.encode(["文本1", "文本2"])

---

⚠️ 局限与注意事项

1. GPU 资源要求高：训练阶段推荐 16GB+ 显存，多卡 DeepSpeed 训练需要更专业的基础设施
2. 无容器化：项目未提供 Dockerfile，不支持一键 Docker 部署，依赖 conda 环境管理
3. 无 Web UI：仅提供命令行工具，无法通过浏览器交互使用
4. 数据依赖：模型效果依赖预训练数据的质量和规模（HIT-TMG/KaLM-embedding-pretrain-data），无法在完全离线环境下从头训练
5. 评测门槛：MTEB 评测任务需要下载额外数据集，初次运行需要较长准备时间

---

📈 增长趋势与行业意义

KaLM-Embedding 的发展轨迹反映了一个趋势：中文语义嵌入正在从"英文模型汉化版"走向"原生中文优化"。从 V1 到 V2，团队不仅在模型规模上从 BERT 类模型演进到 0.5B LLM 基础，更在训练方法上引入了多项创新。

对于 RAG（检索增强生成）系统、语义搜索、类案检索等应用场景，KaLM-Embedding 提供了一个高质量的开源中文嵌入选择。

---

📚 相关资源

• HuggingFace 模型：KaLM-Embedding-V1.5、KaLM-Embedding-V2
• 预训练数据：HIT-TMG/KaLM-embedding-pretrain-data
• 技术报告：arXiv:2506.20923（V2）、arXiv:2501.01028（V1）