TweetFeed
社区驱动的开源威胁情报聚合器,实时采集 Twitter 安全社区的恶意 IOC 数据
加载项目详情…
本应用为开源项目,仅供学习研究,请遵守其开源协议。
社区驱动的开源威胁情报聚合器,实时采集 Twitter 安全社区的恶意 IOC 数据
加载项目详情…
本应用为开源项目,仅供学习研究,请遵守其开源协议。
想象一下,你是一家公司的安全工程师,早上打开邮箱发现某员工点击了一条钓鱼链接,窃取了公司 OA 系统的登录凭证。这条钓鱼链接可能在一个小时前被某位安全研究员发到了 Twitter 上,配上了 #phishing 标签。如果你的安全系统能在一小时前就拦截这条链接,这场事故本可以避免。
这正是 TweetFeed 试图解决的问题。
TweetFeed 由独立安全研究者 Daniel Lopez(@0xDanielLopez)于 2021 年 8 月创建,定位是一个社区驱动的威胁情报平台。核心思路很朴素:安全社区的从业者每天会在 Twitter/X 上分享他们发现的恶意链接、钓鱼域名、恶意 IP 和样本哈希,TweetFeed 的自动化管道持续监听这些信息,将它们提取、标准化并免费向公众分发。
图1:TweetFeed 项目Logo
四年运营下来,该仓库已积累超过 56000+ URL、40000+ 域名、13000+ IP、1700+ SHA256 哈希(按年度统计),覆盖 120 多个威胁标签,从常见的 #phishing、#scam 到高持续性威胁如 #Kimsuky、#DPRK、#Lazarus 均有所涉及。
IOC(Indicators of Compromise,可疑指标)是指安全事件中留下的数字痕迹,包括恶意域名、钓鱼 URL、攻击者使用的 IP 地址、恶意文件的哈希值等。传统上,IOC 主要通过商业威胁情报平台(如 VirusTotal、Recorded Future)或政府机构(如 CISA)发布。
Twitter/X 在这个生态中有一个独特优势:大量一线安全研究员每天在平台上实时分享最新发现的威胁。APT 组织刚注册新域名,安全研究员可能在 30 分钟内就发推标注 #APT 和 #Kimsuky 标签。这种实时性是大多数商业平台无法企及的。
TweetFeed 正是这座金矿的挖掘机——它用自动化管道代替人工,持续扫描社区共享的威胁情报,让任何人都能免费获取接近实时的数据。
TweetFeed 不只是生成一份 CSV 文件就完事,而是针对不同安全工具生态提供了多种标准化输出:
| 输出格式 | 适用场景 | 刷新频率 |
|---|---|---|
| CSV | 直接导入 SIEM、EDR、脚本分析 | 15分钟 |
| RSS 2.0 | RSS 阅读器订阅告警 | 15分钟 |
| MISP 格式 | MISP / OpenCTI / TheHive 等威胁情报平台 | 15分钟 |
| STIX 2.1 | 结构化威胁情报标准交换 | 15分钟 |
| REST API | 程序化查询、Claude AI Agent 集成 | 实时 |
每种格式均支持四档时间窗口:当日(today)、近7天(week)、近30天(month)、近365天(year),方便用户根据需求取舍数据量和实时性之间的平衡。
CSV 的标准 schema 为:date, user, type, value, tags, tweet_url
每条 IOC 记录都携带了原始 Twitter 链接,用户可以直接回溯到发帖者主页,确认情报来源的可靠性。这在安全领域非常关键——假阳性在威胁情报中是真实存在的问题,可溯源的 IOC 数据比黑名单更有价值。
2024 年最值得关注的更新是 MCP Server 的上线。
MCP(Model Context Protocol)是一种让 AI 代理安全调用外部工具的协议标准。TweetFeed 部署了自己的 MCP Server,暴露了 8 个工具:
这意味着如果安全分析师在处理一个钓鱼网站事件,只需向 Claude 提问这个 URL 在 TweetFeed 中有没有被标记过,Agent 就能自动调用 TweetFeed MCP 工具获取答案,无需人工打开网页查表。在 SIEM 告警响应、威胁狩猎等场景中,这种 AI 增强的工作流正在成为新趋势。
图2:TweetFeed 作者 Daniel Lopez(@0xDanielLopez)
对于企业安全团队,TweetFeed 的价值不在于又一个数据源,而在于零成本接入现有工作流。
整个集成方案的核心逻辑是:数据由 TweetFeed 负责采集和更新,企业只需配置好消费端,无需维护爬虫、无需付费买商业 Feed。
必须承认,TweetFeed 的数据质量高度依赖 Twitter 社区的活跃度和准确性。存在几个值得关注的局限:
第一,Twitter API 限制。自从 Elon Musk 接管 Twitter 后,API 定价大幅上涨,TweetFeed 的数据采集管道在 2022-2023 年间经历了多次中断和调整。作者在 README 中提到这是项目面临的最大挑战之一。
第二,假阳性风险。社区分享的 IOC 未经严格验证直接入库,可能包含误标或过期数据。企业使用时建议配合白名单机制(README 中提供了各平台的 whitelist 示例),避免误拦截正常业务流量。
第三,数据覆盖偏差。Twitter 安全社区以英语为主流语言,对中文、日语、俄语等地区的威胁覆盖相对薄弱。高针对性地域攻击(如中文黑产)可能不在 TweetFeed 的视线范围内。
第四,非原创数据。TweetFeed 本质上是情报聚合器而非原始分析机构,它的价值在于覆盖面和实时性,而非深度分析。对于需要 APT 组织完整活动报告的场景,仍需要专业威胁情报服务。
TweetFeed 的存在本身代表了一种趋势:威胁情报的民主化。传统上,高质量 IOC Feed 是商业产品的核心竞争力,价格不菲。TweetFeed 用社区加自动化加免费的模式打破了这一壁垒,让中小企业、独立安全研究者乃至个人用户都能获取接近实时的威胁情报。
从数据规模看,项目目前月均新增约 15000 条 IOC,年度新增约 100000+ 条,覆盖钓鱼、诈骗、僵尸网络、勒索软件、APT 活动等多类型威胁。这些数据对于训练 AI 安全模型、构建威胁检测规则库同样具有参考价值。
截至 2026 年 6 月,该仓库在 GitHub 上积累了 661 stars、70 forks,且保持着每日活跃更新(GitHub 最后更新时间为今日 11:45 UTC),说明项目并未因 Twitter API 变化而停止运营。
无需安装任何软件,直接通过 API 查询:
# 查询今日钓鱼 URL
curl -s 'https://api.tweetfeed.live/v1/today/phishing/url'
# 用 Python 分析年度 IP 威胁
import pandas as pd
df = pd.read_csv('https://raw.githubusercontent.com/0xDanielLopez/TweetFeed/master/year.csv',
names=['date','user','type','value','tags','tweet'])
print(df[df.type=='ip'].groupby('value').size().sort_values(ascending=False).head(20))
对于 AI Agent 用户,只需在 Claude Desktop 中配置 MCP Server URL https://mcp.tweetfeed.live 即可开始查询。
一句话总结:TweetFeed 是安全社区给全行业的免费礼物——把 Twitter 上零散的威胁情报碎片聚合成可机读的 IOC 数据库,通过多格式导出无缝嵌入企业安全栈,并支持 AI Agent 智能查询,是威胁情报民主化的标杆项目。