cyber-doctor

想象一下，深夜孩子发烧，你焦急地在网上搜索症状，却越看越慌；或者父母记性不好，你在外地工作无法陪同就医，只能干着急——这不是某个家庭的困境，而是整个中国社会医疗资源不均衡的缩影。三甲医院门庭若市，基层诊所门可罗雀，优质医疗资源高度集中在少数城市，让无数普通人面临"看病难、问诊贵"的现实困境。

正是在这一背景下，来自东南大学的一个学生团队在暑期实训课程中，开发了一款名为「赛博华佗」（Cyber Doctor）的开源项目。它以多模态大语言模型为核心，结合知识图谱、检索增强生成（RAG）、语音交互等多项技术，试图打造一个"人人都能拥有的 AI 私人医生"——不依赖高端硬件，不要求专业背景，只需一个 API 接口，就能完成疾病初诊、病历解读、健康咨询等日常医疗辅助工作。

图1：赛博华佗机器人头像

一、项目背景与创始故事

「赛博华佗」诞生于东南大学暑期实训课程，由学生团队独立开发。项目名称本身就蕴含着技术理想——"赛博"代表人工智能与数字技术，"华佗"代表传统中医的智慧与医者仁心，二者结合，象征用 AI 技术传承和延伸医疗服务的初心。

作者 Warma10032 在 README 中坦言，项目最初的设计目标是解决医疗资源不平衡问题——落后地区的人们获取优质医疗资源往往需要跋涉千里，而大语言模型的出现让人们看到了破局可能：只要接入一个足够聪明的 AI 医生，即使在偏远山区，也能获得基于专业知识的健康建议。

当然，项目团队也明确声明：这是一个辅助工具而非医疗器械，AI 给出的建议不能替代专业医生的诊断。这一态度既是对用户负责，也是对项目边界的清醒认知。

二、核心技术架构

赛博华佗采用多智能体（Multi-Agent）架构，整体设计围绕一个中央调度器 + 多个专用处理模块展开，类似于一个医院的分诊台：患者描述症状后，分诊护士判断病情类型，然后分配到对应科室。

图2：赛博华佗功能模块架构

2.1 核心调度层（app.py + qa/）

项目的主入口是 app.py，约 19KB 代码量，核心是 Gradio 构建的 Web 界面。主函数 grodio_view() 负责处理用户请求的全生命周期：接收文本/图片/音频/文档等多元化输入，通过 parse_question() 解析用户意图，再由 get_answer() 调度到对应工具函数。

意图识别模块 qa/purpose_type.py 定义了 11 种用户目的类型：

• 文本对话（text）：通用问答
• 语音生成（Audio）：TTS 语音输出
• 视频生成（Video）：调用视频生成模型
• 图片生成（ImageGeneration）：文生图
• 图片描述（ImageDescribe）：图生文，多模态理解
• RAG（基于文件检索）：上传 PDF/Word/文本文件，RAG 增强回答
• PPT 生成（PPT）：自动生成演示文稿
• 网络搜索（InternetSearch）：联网获取实时信息
• Word 文档生成（Docx）：生成 Word 文档
• 知识图谱问答（KnowledgeGraph）：基于 Neo4j 图数据库的专业领域问答

这种枚举驱动的意图分类模式，使得系统可以精确地将用户请求路由到最合适的后端处理模块，避免用一个通用 prompt 处理所有请求，从而提高回答质量。

2.2 LLM 客户端层（client/）

项目设计了工厂模式的 LLM 客户端架构（clientfactory.py），支持多种后端接入：

• 智谱 AI（默认，glm-4-flash / glm-4v-flash 等）
• DeepSeek（deepseek-chat / deepseek-reasoner）
• 阿里通义千问（qwen-max / qwen2.5 系列）
• 硅基流动（SiliconFlow 聚合平台）
• 豆包大模型（字节火山引擎）
• Ollama（本地模型封装，通过 http://127.0.0.1:11434/v1）

所有客户端均兼容 OpenAI SDK 接口规范，这意味着只要是支持 OpenAI 兼容格式的模型 API，都可以无缝接入。项目默认使用智谱 AI，也正是踩着"即插即用"的设计原则实现多模型支持。

2.3 知识增强层（RAG + 知识图谱）

这是赛博华佗区别于普通聊天机器人的关键所在。

RAG 模块（rag/）：用户可以上传 PDF、Word、纯文本文件，系统会通过 Modelscope 的中文句子嵌入模型（iic/nlp_corom_sentence-embedding_chinese-base）将文本向量化，存入 FAISS 向量数据库。查询时，将用户问题也向量化，通过相似度检索召回相关文本片段，作为上下文注入 LLM prompt，实现"结合你的知识库回答"的效果。

知识图谱模块（kg/ + model/KG/）：支持连接 Neo4j 图数据库，使用 Cypher 语句查询。项目默认配置了医疗领域的图谱节点类型（科室、疾病、症状、药物、食物、检查手段等）和关系类型（属于、好评药物、治疗方法等）。通过 check_entity() + relation_tool() 两步，先从用户问题中抽取实体，再查询实体之间的关系，将结构化知识注入 LLM 上下文。

这种"向量检索 + 图谱推理"双轨增强的设计，让 AI 不仅能回答"是什么"，还能回答"为什么"和"怎么办"。

2.4 多模态交互层（audio/ + 模型调用）

• 语音输入：通过 SpeechRecognition（whisper 模型）将音频转为文字
• 语音输出：通过 edge-tts 将 LLM 回复转为语音，支持多种方言
• 图片理解：调用多模态模型（glm-4v-flash）识别病历、药品说明书等
• 图片生成：调用文生图模型（cogview-3-flash）生成医学插图
• 视频生成：调用视频生成模型（cogvideox-flash）

2.5 文档生成层（ppt_docx/）

使用 python-pptx 和 python-docx 库，根据用户需求自动生成 PPT 和 Word 文档。生成的文档基于结构化的内容模板，可以一键导出，便于医疗记录的整理和分享。

三、Web UI 体验

项目使用 Gradio 作为 Web UI 框架，这是目前 AI 应用领域最流行的开源 UI 库之一，特点是写几行 Python 代码就能快速构建美观的交互界面。

图3：文本交流界面

图4：语音对话界面

用户访问 http://localhost:7860 即可看到两个并排的 Tab：文本交流和语音对话。文本界面支持多文件上传（图片/音频/PDF/Word），语音界面直接使用麦克风收音，真正实现了"只要会说话就能用"的低门槛交互设计。

四、典型应用场景

4.1 病历识别与解读

图5：病历识别功能

用户上传一张病历照片，AI 自动识别其中的文字（检查项目、数值、诊断结论），并结合医学知识图谱给出解读。例如，血常规中某项指标偏高，AI 会解释这可能意味着什么，并建议是否需要进一步检查。

4.2 医疗知识问答

基于 Neo4j 知识图谱的专业问答，可以回答"糖尿病患者宜吃什么食物"这类涉及多跳关系的问题——先找到"糖尿病"节点，再通过"宜吃"关系连接到"食物"类型的节点，最终给出个性化建议。

4.3 自动生成 PPT / Word 报告

图6：PPT 和 Word 文档自动生成

医生或患者可以用自然语言描述需求，AI 自动生成格式规范的医学报告或演示文稿，大大减少整理资料的时间。

五、部署与上手

环境要求

• Python >= 3.10（推荐 3.10）
• 内存 >= 4GB（无 GPU 依赖，CPU 即可运行核心功能）
• 磁盘空间约 2GB（存放依赖库和可选的本地模型）
• 必须：一个 LLM API Key（智谱 AI 有免费额度）
• 可选：Neo4j 图数据库（使用知识图谱功能时需要）

部署步骤（3 步）

# 1. 克隆项目
git clone https://github.com/Warma10032/cyber-doctor.git
cd cyber-doctor

# 2. 配置 API Key
cp .env.example .env
# 编辑 .env，填入 LLM_BASE_URL 和 LLM_API_KEY

# 3. 安装依赖并启动
pip install -r requirements.txt
python app.py
# 访问 http://localhost:7860

知识图谱配置（可选）

项目推荐使用 OpenKG 上的开源医疗知识图谱（面向家庭常见疾病的知识图谱），导入 Neo4j 后填写 config/config-web.yaml 中的数据库连接信息即可启用。

六、技术局限与风险提示

尽管赛博华佗在功能设计上颇具亮点，但以下局限需要在实际使用时格外注意：

1. AI 不能替代医生：项目 README 明确声明"不能作为最终诊断依据"，LLM 的幻觉问题在医疗领域可能导致严重后果，用户必须自行核实 AI 给出的医疗建议。

2. API 成本：项目依赖商业 LLM API（非 Ollama 模式），在高频使用场景下可能产生一定费用。团队也承认"缺少测试多家 API 的能力"，不同 API 的适配可能存在 bug。

3. 缺乏容器化：项目没有提供 Dockerfile 或 docker-compose，无法一键部署，对非技术用户有一定门槛。

4. Whisper 依赖网络：语音识别默认使用 whisper 自动下载模型，若网络不畅可能失败，需提前准备模型文件。

七、行业意义与展望

图7：知识图谱增强检索效果

赛博华佗的核心价值不在于它能做多精准的诊断，而在于它探索了一条"AI + 医疗知识"的可行路径：RAG 解决知识时效性问题，知识图谱解决专业推理问题，多模态解决输入多样化问题，语音交互解决老年群体使用门槛问题。

这种组合式 Agent 架构，对于任何需要结合领域知识的 AI 应用都有参考价值——无论是法律咨询、教育辅导还是金融分析，都可以用类似的思路，将通用 LLM 的语言能力与领域知识库的结构化信息结合起来，打造真正专业垂直的 AI 助手。

作为学生实训项目，能达到 440+ GitHub Stars 的关注度，说明社区对"AI + 医疗"这个方向有真实需求。期待作者能持续维护，特别是完善 API 适配、补充测试用例、增加 Docker 支持，让更多人受益于这个有温度的开源项目。