data-product-portal
conveyordata/data-product-portal加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
微信扫码咨询客服
POMOAI — 让开源 AI 即刻运行
加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
一个拥有 20 个数据团队的金融机构，每启动一个新数据项目，都要经历漫长的"申请-审批-排队"流程：找基础设施团队申请服务器，找数据平台团队开通数据权限，找安全团队审批数据访问，找运维团队配置网络策略。一个简单的销售预测模型，从立项到拿到第一条真实数据，需要整整 6 周。
这不仅仅是效率问题，更是治理失控的信号。当数据访问散落在各个团队的自由裁量中，数据血缘断裂、合规审计缺失、数据质量参差不齐这些问题就会像野草一样蔓延。
Data Product Portal 正是为解决这个问题而生——它不是又一个数据目录，而是一套以数据产品为中心的全生命周期治理平台。
Data Product Portal 由比利时数据工程公司 Dataminded 开发并开源。Dataminded 长期服务于欧洲金融机构和大型企业，积累了大量的数据平台建设经验。在实践中，他们发现：
企业不缺数据平台技术，缺的是让这些技术被安全、受控地规模化使用的方法。
传统的数据目录（Data Catalog）只解决"数据在哪里"的问题，但从不解决"谁能访问、如何申请、权限如何控制"。Data Product Portal 的核心理念是 "Governance by Design"（设计即治理）——在数据产品创建的第一天，就把治理策略、访问权限、技术配置全部内嵌进去，而不是事后打补丁。
这是整个系统的核心单元。每个数据产品有明确的产品负责人（Data Product Owner），负责管理团队、申请数据访问、管理发布流程。一个数据产品对应一个有明确业务目标的数据计划，而不是简单地注册一张数据库表。
Output Ports 是数据产品的对外暴露层。它将一个或多个技术资产（Technical Assets）打包，对外提供读取权限。访问授权的单位是数据产品而不是个人用户，这意味着权限管理始终在业务语义的正确粒度上。
用户是数据产品的参与者，根据角色获得不同权限。用户可以同时参与多个数据产品，但必须明确"当前在哪个数据产品上下文中工作"，这样就保证了数据访问始终在正确的业务范围内存取。
技术资产是数据产品的物理输出——文件、表、消息队列 Topic 等。在数据产品内部，技术资产拥有完全读写权限；只有当它们被显式打包成 Output Port 后，才对外提供只读访问。这种设计保证了数据产品内部的安全开发隔离。
从代码结构来看，Data Product Portal 采用经典的前后端分离架构：
后端（Python）：
前端（TypeScript/React）：
基础设施：
图1：Data Product Portal 主界面——展示数据产品的全局视图与治理状态
用户在 Portal 中填写数据产品基本信息后，系统自动生成配套的云平台配置。例如，创建一个"AWS S3 + Glue ETL"数据产品，Portal 会生成对应的 Terraform 配置、DAG 调度逻辑和 IAM 权限策略。
Portal 提供了 Dagre.js 驱动的 DAG 可视化界面，展示数据产品之间的依赖关系。当某个上游数据源发生变更时，下游所有受影响的数据产品一目了然。
图2：Data Product Portal 与企业数据平台的集成架构图
Backend 实现了 FastMCP 服务端，数据产品信息可以通过 MCP 协议被 AI Agent 查询。这意味着可以用自然语言询问："最近有哪些数据产品申请了销售部门的敏感数据访问？"，AI Agent 实时查询 Portal API 后返回答案。
内置的 integrations/data_quality 模块支持接入 Great Expectations 等数据质量框架。数据产品注册时可以选择接入质量规则，不合格的数据产品无法通过发布审批。
克隆仓库后，一条命令即可启动完整环境：
docker compose up
# 访问 http://localhost:8080
沙箱模式下，PostgreSQL 会自动导入 sample_data.sql，包含预设的用户、数据产品和数据集。用户可以用测试账号登录（OAuth 默认关闭），体验从创建数据产品、配置访问权限到发布数据管线的完整流程。
生产环境推荐使用 Helm Chart 部署到 Kubernetes，支持通过 ConfigMap 和 Secret 注入 OIDC（OpenID Connect）认证配置和 AWS 凭据。
亮点：
局限：
Data Product Portal 背后是近年来数据管理领域的重要范式转变：Data Mesh（数据网格）。传统数据平台以数据仓库为中心，数据被集中管控；Data Mesh 则主张数据作为一等产品，每个业务域自己负责数据的生产、质量和访问。
Portal 的价值在于：它把 Data Mesh 的理念工程化了。通过标准化的工作流、审批机制和访问控制，让企业可以真正规模化地实践 Data Mesh，而不只是停留在架构图纸上。
目前已有企业将其用于：
技术评分：85/100
文档质量：极高（多语言文档、详细概念说明、丰富的博客文章）
推荐部署方式：Docker Compose（开发/演示）/ Kubernetes（生产）