
微信:13728911712
微信:18123927567
邮箱:jenny@usai.org.cn
邮箱:devin.huang@usai.org.cn
地址:深圳市宝安区福永街道怀德社区立新南路宝德工业中心锦城商务大厦2楼2009



2025 年 3 月 28 日,IEC 发布面向人工智能分析与机器学习的数据质量标准,对应 ISO/IEC 5259 系列,由 ISO/IEC JTC 1 下属的 SC 42 归口。这套标准处理的是一个很实际的问题:喂给模型的数据,凭什么算「够好」。
过去这件事靠项目经验判断,评审时说不清。5259 把数据质量拆成可度量、可复核的指标,让「数据合格」从主观判断变成有据可查的结论。
5259 系列按环节拆开:先统一概念与术语,再给数据质量的度量方法,然后是管理与治理的要求,最后落到过程框架。与之配套的还有 ISO/IEC 22989 定义人工智能的基础概念,ISO/IEC 23053 描述用机器学习构建 AI 系统的通用框架。
几份文件的分工很清楚:22989 管词怎么用,23053 管系统怎么搭,5259 管数据怎么算合格。做技术文档时引用哪一份,取决于要证明的是概念一致性、架构合理性,还是数据可信度。
准确性是第一条,指数据值与其描述的真实对象是否一致。完整性看的是缺失比例,以及缺失是否集中在某个子群体。一致性管同一字段在不同来源、不同时间点的取值是否冲突。
时效性决定数据在当前场景下还有没有效。代表性与平衡性则关系到模型在不同人群、不同工况下的表现是否被数据覆盖。这几条里,代表性问题最难在事后发现,因为测试集往往和训练集同源,错得一样。
第一处是标注一致性。同一张图、同一段文本,两个标注员给出不同标签时,很多团队只做多数表决,不记录分歧率。分歧率本身就是数据质量的证据,丢掉可惜。
第二处是数据血缘。数据从采集、清洗到入库经过几道手,每道改了什么,若没有记录,出问题只能整批回滚。第三处是场景偏移。产品上市后使用环境变了,数据分布随之变化,原本合格的训练数据会慢慢失配,而技术文档里往往只写一次性验收结论。
这套标准不针对某一类产品,也不产生强制认证。它的实际作用在评审环节:当客户或监管方问「你的 AI 功能凭什么可信」,能拿出数据质量指标、标注记录和血缘链,比一份功能说明有说服力得多。
对做智能硬件的企业,建议把数据质量要求前置到需求阶段。等模型训练完再补数据治理记录,成本会高出一个量级,而且很多过程信息已经补不回来了。