SwiftSemanticSearch：把多模态 AI 装进口袋的端侧向量搜索

你有没有想过，有一天可以在手机上直接对着相机说「找一张柯基照片」，然后 AI 就能在本地相册里精准捞出所有相关图片——不需要联网、不需要把数据上传到云端？SwiftSemanticSearch 正在让这件事变成现实。

图1：文字搜图——对着相机说「Dog」，App 即时返回语义相关图片

一、从云端 AI 到「口袋里的 AI」的技术跨越

传统的多模态搜索几乎都依赖云端服务器，带来两个天然瓶颈：

隐私风险：医疗影像、商业文档等敏感内容存在泄露风险。2024 年多起 AI 图像搜索隐私泄露事件已经证明，云端处理并非总是安全的选择。

延迟问题：在弱网或离线环境下，这类应用几乎不可用。以 Apple 为例，其设备搭载的 Neural Engine（ANE）拥有出色的本地推理能力，但长期被闲置。

SwiftSemanticSearch 代表了一种新兴技术范式：端侧 AI（On-Device AI）。整个推理流程——从图片 embedding 生成到向量检索——全部在 iPhone/iPad/Mac 的本地硬件上完成，数据不离开设备。

二、技术架构：UForm + USearch 的端侧双引擎

2.1 多模态 Embedding 层：UForm

UForm 是 Unum Cloud 开源的多模态理解库，专门针对端侧优化。它能够将文本、图片等不同模态的原始数据，编码为统一的向量表示（embedding）。项目使用了预量化模型 uform3-image-text-english-small，以 ONNX 格式分发，可以直接被 CoreML 加载。

2.2 向量检索层：USearch

USearch 是一个比 FAISS 快数倍的向量搜索引擎：

• HNSW 算法：采用分层可导航小世界图，兼顾精度和速度
• 多度量支持：内积、余弦、Haversine（地理距离）等
• 极致量化：INT8/FP16 量化，压缩内存占用同时精度损失极小
• 跨模态统一：同一个索引可同时存储文字和图片向量

2.3 地理空间变体：SwiftVectorSearch

项目还包含 SwiftVectorSearch app，在地图上撒入 1000 个地理锚点，演示 USearch 的 Haversine 度量在地理空间检索中的应用。初始化时使用 metric: .haversine 创建索引，search() 时传入经纬度坐标即可返回附近锚点。

三、两个 demo 的搜索能力

文字搜图（Text-to-Image）：用户输入文字，App 实时将文字转换为向量，在预建图片索引中搜索最相似结果。

图片搜图（Image-to-Image）：拍摄或选择图片，将其 embedding 与索引库比对，返回视觉最接近结果。相机持续捕获画面 → 逐帧 embedding → 增量更新搜索结果，用户几乎感觉不到延迟。

图2：图片搜索——选择一张花卉照片，App 返回语义最接近的图库图片

四、上手指南

git clone https://github.com/ashvardanian/SwiftSemanticSearch.git
cd SwiftSemanticSearch
unzip dataset.zip  # 包含预计算的 embeddings 和索引文件

解压后得到：图库图片名称列表、images.uform3-image-text-english-small.fbin（预计算 embedding）、images.uform3-image-text-english-small.usearch（USearch 索引）、图片本地目录。

用 Xcode 打开项目，选择真机设备编译运行即可。

注意事项：

1. 必须使用真机调试：CoreML 在模拟器上支持有限
2. 预计算数据需提前解压：否则 App 无法加载搜索数据
3. 相机权限：App 需要相机访问权限

五、技术特点与局限性

优势

• 真正的端侧推理：数据和模型都在本地，不存在隐私泄露
• 离线可用：只要预计算好索引，完全不依赖网络
• 高性能：USearch 量化后的向量索引在 iPhone 上可轻松支持百万级图片实时检索
• 多模态统一：UForm 同时理解文字和图片，天然适合跨模态搜索

局限性

• 依赖 Apple 生态：CoreML 是 Apple 专有技术，Android 用户无法体验
• 仅支持英文：当前模型不支持中文等跨语言搜索
• 无 License 声明：使用第三方库时需注意合规性
• Demo 级别：缺少完整错误处理、权限引导和用户反馈机制
• 数据需预处理：实时添加新图片需要额外的预处理步骤

六、行业意义

SwiftSemanticSearch 指向了一个更大的方向——端侧 AI 原生应用。随着 Apple M 系列芯片、Qualcomm Snapdragon X Elite 等 NPU 算力的快速提升，越来越多的 AI 能力正在从云端下沉到端侧。

从向量搜索这个具体场景来看，USearch + UForm 组合展示了端侧多模态搜索的可行性：没有网络的环境下，手机可以理解「找一张在海边拍的照片」这样的语义查询，从本地图库中精准返回结果。结合 RAG 技术，未来可以直接在本地构建私人 AI 知识库。