Pix2Text

你有没有遇到过这种情况：翻开一份 PDF 课件，里面密密麻麻全是数学公式，想复制粘贴到笔记里，结果粘贴出来的全是乱码？在 Pix2Text 出现之前，把图片里的公式和文字转成可编辑的文本，是一件让无数学生和研究人员头疼的事。Pix2Text（P2T）正是为解决这个痛点而生——它是一个开源 Python 工具，能够识别图片中的文字、表格和数学公式，并统一输出为 Markdown 格式，是知名商业工具 Mathpix 的免费开源替代品。

图1：Pix2Text 项目 Logo

项目背景与作者故事

Pix2Text 由独立开发者 Breezedeus 于 2022 年 9 月创建并开源，至今已迭代至 V1.1.4 版本。作者同时维护着同系列的开源工具 CnOCR（文字识别）和 CnSTD（形状检测），三者形成了完整的文档数字化工具链。Breezedeus 在开源社区相当活跃，通过 Discord、微信群、知识星球等渠道与用户保持紧密互动，版本更新节奏稳定。项目获得 3145 个 GitHub Stars 和 272 个 Fork，在开源 OCR 领域具有较高影响力。

核心能力：不止于 OCR

Pix2Text 不是一个普通的图片转文字工具。它的强大之处在于多模态内容识别，能够同时处理：

1. 自然语言文字：支持英文、中文（简体/繁体）、越南语、日语、韩语等 80+ 种语言，英文和中文识别基于 CnOCR（由同一作者开发），其他语言基于 EasyOCR。
2. 数学公式：不仅能识别公式符号，还能将公式还原为标准 LaTeX 语法，直接嵌入 Markdown 输出。识别一份线性代数试卷，可以直接拿到可编译的 LaTeX 源码。
3. 表格结构：内置表格识别模型，能将图片中的表格转为 Markdown 表格格式。
4. 复杂版面：通过 DocLayout-YOLO 布局分析模型，能识别多栏排版、标题、正文、图注等不同区域，保持原始阅读顺序输出。
5. 整页 PDF 转换：不仅支持单张图片，还支持批量将 PDF 文件（即使是扫描件）转换为 Markdown，这是目前大多数开源 OCR 工具不具备的能力。

图2：Pix2Text 处理流程（架构图）

技术架构拆解

从技术实现看，Pix2Text 是一个典型的多模型串联 Pipeline 架构，各模块各司其职：

所有模型均可从 HuggingFace 下载（官方提供国内镜像），推理基于 PyTorch + transformers。MFD/MFR 模型已迭代至 1.5 版本，检测和识别精度相比早期版本有显著提升。作者还提供了 VLM 接口（基于 LiteLLM），支持接入商业 VLM 模型进行公式和表格识别，适用于对精度要求极高的专业场景。

上手体验

安装只需一行命令：

pip install pix2text

如果需要识别中文以外的语言，加上 multilingual 扩展即可。首次运行会自动下载模型文件（数百 MB）。使用方式有三种：

命令行工具 p2t：

p2t predict -l en,ch_sim -i input.jpg -o output.md

Python API：

from pix2text import Pix2Text
p2t = Pix2Text(enable_formula=True, enable_table=True)
result = p2t('input.jpg')
print(result['text'])

HTTP 服务：通过 p2t serve 启动 Web 服务，支持 API 调用，便于集成到其他系统。

如果不想配置 Python 环境，也可以直接访问 P2T 在线服务（p2t.breezedeus.com），每日免费 10,000 字符限额；或使用 HuggingFace 在线 Demo 试用。

局限与不足

尽管功能强大，Pix2Text 也有其局限：

• 无 Docker 容器化：企业用户需手动配置 Python 环境和 CUDA 驱动，不如 Docker 一键启动便捷。
• 竖排文字识别：对竖排文字、古籍繁体字的识别效果仍有提升空间。
• PDF 批处理速度：CPU 环境下大页数 PDF 转换较慢，建议配合 GPU 使用。
• 复杂公式错误率：嵌套分数、多行公式等场景偶尔出现 LaTeX 语法错误，需人工复核。

行业意义

Pix2Text 的出现填补了开源社区在「图片公式识别」这一细分领域的能力空白。在此之前，Mathpix 是该领域的绝对霸主，但其商业定价（每月 $5 起）让许多个人用户和学术团队望而却步。Pix2Text 的开源彻底改变了这一格局。

随着 V1.1 版本引入 DocLayout-YOLO 布局分析和 VLM 接口支持，Pix2Text 正从单一的公式识别工具演变为端到端文档数字化的综合解决方案。这一演进路径与当前多模态大模型（VLM）的趋势高度吻合，未来有望进一步整合 VLM 能力，提供更智能的版面理解和内容理解。

总体而言，Pix2Text 是一个技术实力扎实、社区运营良好、迭代节奏稳定的优质开源项目。对于需要将 PDF、扫描件、图片等非结构化文档转为可编辑文本的开发者、研究者和学生来说，它是一个值得优先考虑的选择。