打造网上国际投资促进平台 致力于中国投资促进事业
您现在的位置:首页 > 产业新闻 > 人工智能 > 文字新闻
首个生成式AI安全指导性文件来了,明确31种安全风险
发布时间:2023-10-13  来源:澎湃新闻  

  10月11日,全国信息安全标准化技术委员会官网发布《生成式人工智能服务安全基本要求》(征求意见稿),面向社会公开征求意见。

  这是国内首个专门面向生成式AI安全领域的规范意见稿,也是对7月网信办等七部门推出的的支撑。

  征求意见稿首次提出生成式AI服务提供者需遵循的安全基本要求,涉及语料安全、模型安全、安全措施、安全评估等方面。可以说,每一个生成式AI服务提供者都有必要对此进行细细研读。

  按照意见稿总则,生成式AI服务要想获得备案“通行证”,需要按照本文件中各项要求逐条进行安全性评估,并将评估结果以及证明材料在备案时提交。换句话说,每一个大模型企业的生成式AI产品若想要“持证上岗”,就必须逐条核对是否符合这份文件中的要求。

  具体来看:

  1、在语料安全要求方面,征求意见稿从来源安全、内容安全、标注安全三方面提出了要求。

  比如:提供者要建立语料来源黑名单,不使用黑名单来源的数据进行训练,单一来源语料内容中含违法不良信息超过5%的就要“拉黑”;训练语料包含文学、艺术、科学作品的,应重点识别训练语料以及生成内容中的著作权侵权问题;应有多个语料来源,并应合理搭配境内外来源语料等。

  2、在模型安全要求方面,征求意见稿从基础模型使用、生成内容安全、服务透明度、内容生成准确性、内容生成可靠性五大方面做出了严格要求。

  比如:提供者如使用基础模型进行研发,不应使用未经主管部门备案的基础模型;应在网站首页等显著位置向社会公开第三方基础模型使用情况等信息;生成内容所包含的数据及表述应符合科学常识或主流认知、不含错误内容等。

  3、在安全措施要求方面,征求意见稿从模型适用人群、场合、用途,个人信息处理,手机使用者输入信息用于训练,图片、视频等内容标识,接受公众或使用者投诉举报,向使用者提供生成内容,模型更新、升级,这七大方面提出了要求。

  比如:服务用于关键信息基础设施、自动控制、医疗信息服务、心理咨询等重要场合的,应具备与风险程度以及场景相适应的保护措施;服务适用未成年人的和不适用未成年人的,应采取提及的不同措施;应设置监看人员,及时根据国家政策以及第三方投诉情况提高生成内容质量等。

  4、在安全评估要求方面,征求意见稿从评估方法、语料安全评估、生成内容安全评估、内容拒答评估四方面给出了十分具体的参考。

  比如:在语料安全评估方面,提供者对语料安全情况进行评估时,要采用人工抽检,从全部训练语料中随机抽样不少于4000条语料,合格率不应低于96%。

  5、此外,征求意见稿还提出了一些其他要求,涉及关键词库、分类模型、生成内容测试题库、拒答测试题库等方面。

上一条:千亿蓝海新市场:“机器人+Al”赋能高空作业,特种机器人赛道快速成长
下一条:今年国务院将为企业减负超万亿元 降费占六成
与我们联系
  • 联系电话:+86-0512-53660867
  • 传  真:+86-0512-53660867
  • 邮  箱:info@investchn.com
Copyright © 2015-2024 InvestCHN.com All Rights Reserved. 版权所有:投促中国