Microsoft Health Intelligence Machine Learning Toolbox

图1：Microsoft Health Intelligence 项目标识

一、一个「小脚本」引发的云端算力需求危机

2021年夏天，微软研究院的一支团队遇到了一个经典困境：一位医学影像研究员写了一个 Python 脚本，在本地处理 100 张 CT 扫描图像，效果很好。但当他需要处理 PANDA 数据集（全球最大前列腺癌组织病理学数据集，11000+ 全视野数字切片） 时，本地工作站算力告急——单次运行需要数天，更别说调参迭代了。

他的需求非常具体：把本地脚本无缝扩展到云端GPU集群，数据从 Blob Storage 读取，结果写回 Blob Storage，整个过程不需要重写业务逻辑。Azure Machine Learning（Azure ML）正好满足这个需求，但原生的 SDK 调用门槛不低。

微软研究院 Health Intelligence 团队因此开发了 HI-ML（Health Intelligence Machine Learning）工具箱，它的核心目标只有一个：让医学影像 + 深度学习研究者，能用最少的代码改动，把本地 Python 脚本一键部署到 Azure ML 云端集群。

该项目由微软研究院联合医学团队开发，2021年7月开源，MIT 许可证，目前维护活跃（最新提交 2025年10月），GitHub 星标 308 个，提交贡献者以微软内部研究人员为主。

二、工具箱的「三层架构」：从数据到模型再到云

HI-ML 工具箱不是一个单一的 Python 包，而是由 三个核心组件 组成的模块化体系：

2.1 hi-ml-azure：云端调度层（最外层）

这是整个工具箱的「入口」。对于任何现有 Python 脚本，只需添加一行代码：

from health_azure import submit_to_azure_if_needed
if __name__ == '__main__':
    run_info = submit_to_azure_if_needed(
        compute_cluster_name="preprocess-ds12",
        input_datasets=["images123"],
        output_datasets=["images123_resized"],
        default_datastore="my_datastore"
    )

运行脚本时加一个 --azureml 参数，脚本就自动从本地执行变为 Azure ML 云端任务。submit_to_azure_if_needed 函数会判断当前是否在 Azure ML 环境中：如果在本地运行，路径指向本地文件夹；如果在云端，路径自动映射到 Blob Storage。整个过程对业务逻辑完全透明。

依赖包：azure-ai-ml、azureml-core、azureml-dataset-runtime[fuse]、azureml-train-core、mlflow>=2、tensorboard、pandas。

2.2 hi-ml：ML 组件层（中间层）

提供可复用的深度学习组件，涵盖：

• 数据加载器（health_ml/data/）：病理学图像、医学影像的专用 PyTorch DataLoader
• 网络架构（health_ml/networks/）：包含 Transformer、CNN 等常用模块，支持多分支网络
• 损失函数（health_ml/losses/）：医学影像专用损失（多实例学习、不平衡样本处理等）
• 训练流程（health_ml/runner.py、health_ml/training_runner.py）：封装 PyTorch Lightning，提供标准化的训练循环
• 配置系统（health_ml/deep_learning_config.py）：基于 Hydra/YACS 的实验配置管理

依赖包：pytorch-lightning>=1.6、lightning-bolts==0.4.0、timm==0.6.12、torchmetrics、monai-weekly（医学影像专用 PyTorch 扩展）、SimpleITK、pydicom、pandas、numpy。

2.3 hi-ml-cpath：病理学专用工作流（最深层）

这是工具箱中 AI 浓度最高 的部分，专门针对 全视野数字切片（WSI, Whole Slide Image） 的处理。核心模型包括：

• TcgaCrckImageNetMIL：基于多实例学习（MIL）的组织病理学分类模型，在 TCGA（癌症基因组图谱）和 PANDA 数据集上训练
• CTransPath 等预训练病理模型：对比学习训练的病理图像特征提取器
• torchstain：用于组织病理学图像归一化（消除染色差异）
• cucim：GPU 加速的病理学图像处理库

运行示例（提交到 Azure ML）：

conda activate HimlHisto
python ../hi-ml/src/health_ml/runner.py \
    --model health_cpath.TcgaCrckImageNetMIL \
    --cluster=training-nd24

2.4 hi-ml-multimodal：多模态健康数据（新增）

处理多模态健康数据，支持图像 + 文本的联合建模。核心论文：

• ECCV 2022：Making the Most of Text Semantics to Improve Biomedical Vision-Language Processing
• CVPR 2023：Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing

提供零样本图像分类（文本提示驱动）和预训练模型，模型权重托管在 Hugging Face。

三、技术特点：为什么医疗AI研究者偏爱这套工具

3.1 Azure ML 无缝集成

区别于其他医学影像工具箱（如 MONAI、nnU-Net），HI-ML 最大的差异化在于 Azure ML 深度集成。它不只是「能在云上跑」，而是从数据加载、实验配置到训练监控，提供了一整套与 Azure ML 原生功能打通的抽象层。

对于已经使用 Azure 云服务的医疗机构和企业（这在北美和欧洲医疗行业非常普遍），HI-ML 大幅降低了深度学习的运维门槛。

3.2 Conda 环境锁定

项目使用 create_and_lock_environment.sh 脚本，通过 conda-lock 或手工 freeze 的方式，生成完全锁定版本的 environment.yml，确保不同实验之间的依赖一致性。这对医学影像研究至关重要——同一数据集上的不同模型版本，若依赖不一致，结果可能完全不同。

3.3 PyTorch Lightning 统一训练框架

所有训练流程基于 PyTorch Lightning，代码简洁且高度可复用。LightningContainer 抽象让添加新模型只需继承 + 配置，无需重写训练循环。

3.4 GPU 支持与测试分层

测试分为三类：无标记（仅 CPU）、@pytest.mark.gpu（CPU+GPU）、仅 GPU（需手动 skipif），确保测试套件在无 GPU 环境下也能通过，同时 GPU 测试不会遗漏。

四、上手门槛与使用场景

适用人群：

• 有 Azure ML 使用经验的医学影像研究者
• 需要处理大规模 WSI（Whole Slide Image）数据集的病理 AI 团队
• 在 Azure 云上做医疗 AI 研究的学术机构

不适用场景：

• 独立本地部署（无 Azure 账户）
• 需要即开即用 Web UI 的用户（无 GUI）
• 已有 MONAI 完整工作流的团队（功能重叠）

安装方式：

• 完整工具箱：pip install hi-ml
• 仅 Azure 层：pip install hi-ml-azure
• 病理学专用：cd hi-ml-cpath && make env && conda activate HimlHisto
• 多模态：pip install hi-ml-multimodal

五、局限性与争议

平台锁定：Azure ML 深度绑定是双刃剑——降低了 Azure 用户的使用门槛，但也让非 Azure 用户几乎无法使用核心功能。

文档门槛：项目文档较为技术化，需要有一定的 Azure ML 和 PyTorch 基础才能顺畅上手。

与 MONAI 的重叠：hi-ml-cpath 的病理学模型与 MONAI 存在功能重叠，但 HI-ML 侧重于端到端工作流和 Azure 集成，而非通用医学影像框架。

六、行业意义与趋势

HI-ML 代表了微软「医疗AI民主化」战略的代码侧实现——将研究院的前沿成果（ECCV/CVPR 论文中的多模态模型）快速转化为可复用的工具包，降低医疗AI的落地门槛。

随着 Hugging Face 上多模态模型的普及，以及 Azure 在医疗行业的持续深耕（Azure Health AI 服务），HI-ML 作为「微软医疗AI工具链」的核心组件，预计会继续得到更新和维护。对于在 Azure 生态中工作的医学影像 AI 研究者，这是不错的效率工具选择。