media2.dev.to

扫描了5,754个AI智能体代码文件 — 通过的23个没有秘密

EU AI Act, AI智能体合规, AI代码审计, AIR Blackbox, 韩国AI基本法开发

Show HN: Open-source scanner finds 97% of AI agent code non-compliant EU AI Act

airblackbox/airblackbox — Open-source EU AI Act compliance scanner

EU AI Act Compliance for AI Agents, Open Source | AIR Blackbox

"我的AI智能体代码能通过EU AI Act吗?"有人真的因为好奇扫描了5,754个文件来找答案。

结果97%不合格。但通过的23个文件里,有一个谁都没刻意追求的共同点。

3秒摘要

扫描5,754个文件 → 97%未通过第9条 → 平均得分2.2/6 → 通过的23个=只是写得好的代码 → 3分钟自查清单

还以为是法务部门的事

一提到EU AI Act(欧盟人工智能法案),大家第一反应就是律师和文书工作。但最近Hacker News上的一篇帖子,把这个固有印象彻底颠覆了。

一位开发者做了个叫AIR Blackbox的开源静态分析工具,对11个知名开源AI项目(GitHub星标总数超过341,000)的5,754个文件,按EU AI Act的6项条款(第9、10、11、12、14、15条)逐一扫描。结果是这样的。

2.2/6

平均条款得分

97%

第9条(风险管理)不合格率

23个

六条全部通过(占5,754个的0.4%)

如果故事到这就结束,那也就是又一篇"合规很难"的文章。但作者留下的后续评论才是真正的重点。在全部通过六条的文件里,有一个是LiteLLM的认证模块,引人注意的是,它压根不是为了合规而写的。它只是本来就有访问控制、结构化日志、时间戳和错误处理而已。

作者是这么总结的:"团队把AI智能体部署到生产环境却零合规基础设施,不是因为不在乎,而是因为没有能让这件事变简单的工具。" 换句话说,欧盟要求的不是什么特殊的法律知识,而是工程师本就该有的基本功。

六条里到底哪条最卡人?

按条款拆开看,难度差距很明显。第11条(技术文档)通过率高达98%,原因简单到有点无语——Python开发者本来就会写docstring和类型标注。反过来,第9条(风险管理)有97%都没通过。这条看的是LLM调用周围有没有错误处理和降级逻辑,而大多数项目基本是"能跑就行"的水平。

条款	检查什么	5,754个文件扫描结果
第9条	风险管理(错误处理·降级逻辑)	97%未通过 — 六条里垫底
第10条	数据治理(PII检测·输入校验)	未单独公布数字
第11条	技术文档(docstring·类型标注)	★98%通过 — 六条里最高
第12条	记录留存(日志·审计追踪)	未单独公布数字
第14条	人工监督(审批·终止开关)	未单独公布数字
第15条	准确性与安全(提示注入防御)	未单独公布数字

作者只公布了六条里最差(第9条)和最好(第11条)这两个数字。其余四条没有单独披露,但既然平均分是2.2/6,大概率大部分都在中等偏下。

还有人用同一个扫描器,把三个完整框架整个扫了一遍。CrewAI和LangFlow六条里过了四条;做RAG流水线的Quivr只过了一条。

	CrewAI	LangFlow	一眼看结果
人工监督	有560行的human_feedback装饰器	有防护栏+提示注入检测	两者都强
记录留存	PASS	PASS	只有Quivr是WARN
总分	4/6	4/6	Quivr只有1/6

结论是,合规得分基本就是这个项目工程成熟度的代理指标。那些本来就有完善人工审核钩子和链路追踪的项目,自然而然就排在了前面。

提醒

有人拿着这个扫描结果,跑去别的开源项目下面提"加个这个功能"的issue,反响并不总是好的。有人在浏览器自动化框架browser-use提的请求,就被以"not planned"关闭了。光凭一次自动扫描的结果就去别人仓库开issue之前,最好再想一想。

这事儿轮不到隔岸观火

EU AI Act对高风险系统的义务将于2026年8月2日全面生效。违规最高罚款3,500万欧元或全球营业额的7%,以较高者为准。只要你的服务面向欧盟用户,或者把AI系统投放到欧盟市场,哪怕总部在韩国,也可能被纳入监管。

而韩国自己也有一部类似的法律。《AI基本法》已于2026年1月22日生效,韩国由此成为继欧盟之后第二个建立起综合性AI监管体系的国家。一旦被归为"高影响AI",就会像EU AI Act一样承担风险识别、评估和缓解的义务,违规最高罚款3千万韩元。不过韩国科技信息通信部为了减少企业的混乱,已经决定把监管执行至少延后一年,所以眼下更像是准备期,而不是马上要动真格。

换句话说,欧盟那边有个明确的8月2日死线,韩国国内虽然还在缓冲期,但方向已经定了。现在把代码理顺,相当于两边的监管都提前准备好了。

3分钟自查 — 现在就能做

安装
pip install air-blackbox一行就搞定。不用注册,不用API key。
跑一遍扫描
在项目根目录执行air-blackbox comply --scan. -v。全程本地分析,代码绝不会离开你的电脑。
先看薄弱条款
大多数项目会卡在第9条(风险管理)、第10条(数据治理)。先从LLM调用周围的错误处理和输入校验入手。
承认已有的东西
如果你已经在写docstring和类型标注,第11条基本上已经过了。把"缺的"和"已有的"分开,再排优先级。
加框架专属层(可选)
用LangChain或CrewAI的话,pip install air-blackbox[langchain]就能装上专属信任层。