當前位置:首頁 > 新聞快報 > 正文內容

百家樂:OpenAI宣布公开招募“红队”网络 面向AI的超级专家库呼之欲出

admin3年前 (2023-09-21)新聞快報352

财联社9月20日讯(编辑 史正丞)北京时间周三凌晨,美国科技初创公司OpenAI发布公告,宣布启动全球招募“红队”网络成员,旨在引入外部力量,提前挖掘出AI系统存在的缺陷和风险。


(来源:OpenAI)

所谓的“红队”网络,即Red Teaming,概念来自于军事模拟。即找一队人来模拟假想的“敌人”,来测试本方(即“蓝队”)的准备水平。在AI领域中,“红队”的任务就是模拟黑客或者其他的潜在危险人物,试图找到大语言模型的漏洞,从而避免AI在现实社会中协助从事危害社会安全等不法目的。

OpenAI表示,过去几年里一直有不同领域的专家来协助测试未发布的模型,现在则是要组建一支“常规部队”,网罗大量来自不同地域、不同语言、不同专业领域、不同生活经验的人,共同使得AI模型更加安全。与过往仅在重要版本上线前招一批人集中测试不同,OpenAI将会根据需求在整个开发周期中启用数量不定的成员展开测试。

同时这个“红队”网络也将成为OpenAI的全球专家库,同时OpenAI也会提供平台,让“红队”成员之间进行交流。OpenAI也在官网上列出部分他们希望招募的专家方向,但也强调并不局限于这些领域。

Cognitive Science:认知科学
Chemistry:化学
Biology:生物学
Physics:物理学
Computer Science:计算机科学
Steganography:隐写术
Political Science:政治学
Psychology:心理学
Persuasion:说服
Economics:经济学
Anthropology:人类学
Sociology:社会学
HCI (Human-Computer Interaction):人机交互
Fairness and Bias:公平与偏见
Alignment:目标对齐
Education:教育
Healthcare:医疗保健
Law:法律
Child Safety:儿童安全
Cybersecurity:网络安全
Finance:金融
Mis/disinformation:误/假信息
Political Use:政治应用
Privacy:隐私
Biometrics:生物识别
Languages and Linguistics:语言与语言学

顺便一提,OpenAI也表示会给参与“红队”项目的成员支付酬金(但没讲具体会给多少钱),但OpenAI也强调,参与“红队”的项目一般会要求签署保密协议,或者在某一段不特定的时间内保持沉默。

OpenAI表示,申请通道将会在今年12月1日前保持开放,公司将滚动审核申请,后续将评估是否需要再进行公开招募。

走上台面的OpenAI“红队”成员

正如OpenAI所述,“红队”的建制已经存在很久,而且有不少成员已经接受过媒体的公开专访了。

在今年4月英国《金融时报》的揭秘文章中,美国罗彻斯特大学的化学工程教授Andrew White介绍称他参加了GPT-4的“红队”测试,他的攻击目标是用ChatGPT来创造一种全新的神经毒素。White表示他用了“插件”功能,向大模型输送化学论文和化学制造商的目录,大模型甚至还给他找到了一个可以生产假想毒素的地方。

White表示,大模型最终可以帮助许多人更快、更准确地做化学试验,但这里也有一个严重的危险,就是会有些人拿AI去做一些危险的尝试。

在得到White的反馈后,OpenAI对系统做出了改动,确保不会回应类似的提问。根据媒体找到的10来个背景迥异的“红队”成员——有律师、教师、风控人员、安全研究人员等,大多数都位于美国和欧洲。他们透露,在GPT-4发布前的几个月里,他们大致花了10-40个小时来测试这个模型,报酬大概是每个小时100美元。

“百家樂:OpenAI宣布公开招募“红队”网络 面向AI的超级专家库呼之欲出” 的相關文章

金价反弹 黄金回收业务也火了

  证券时报记者 吴家明   最近一段时间,国际金价出现了反弹迹象。不同于此前的“淘金热”,黄金回收业务此时也“火”了。   价格标准不一   “今天的饰品金价是每克404元,回收黄金的价格是当日金价...

追踪马斯克行踪?推特永久封禁账号,马斯克发声回应

追踪马斯克行踪?推特永久封禁账号,马斯克发声回应

  来源:环球时报   【环球时报综合报道】推特永久封了一个追踪其老板马斯克私人飞机位置的账户,尽管马斯克上个月还发誓将保留该账户作为承诺“言论自由”的一部分。   美国有线电视新闻网14日报道称,...

隔夜要闻:欧美股市收跌 美国商业活动继续萎缩 马斯克平价转让推特股权 币安也有挤兑风险?三日净流出60亿

隔夜要闻:欧美股市收跌 美国商业活动继续萎缩 马斯克平价转让推特股权 币安也有挤兑风险?三日净流出60亿

  欲览更多环球财经资讯,请移步7×24小时实时财经新闻直播   市场   收盘:衰退忧虑渐增 美股连续第二周下跌    12月16日美股成交前20:马斯克封禁记者账号,欧盟警告将制裁推特   周五...

白重恩谈数字经济企业监管:不应限制规模,而要抑制垄断行为

白重恩谈数字经济企业监管:不应限制规模,而要抑制垄断行为

  12月17日,在2023《财经》年会上,清华大学经济管理学院院长白重恩表示,合理和稳定的监管对于保持市场信心特别重要,尤其是对于数字经济企业。监管的目标是高质量发展,对企业社会责任的要求,也应该...

丰富居民生活用品消费 积极恢复接触型、聚集型、流动型消费

丰富居民生活用品消费 积极恢复接触型、聚集型、流动型消费

  转自:央视网   央视网消息:全国政协经济委员会副主任宁吉喆12月17日在2022—2023年中国经济年会上表示,明年要努力提升居民基本消费、传统消费,积极恢复接触型、聚集型、流动型消费。   ...

美银:过去五年ETF成香饽饽 科技股正被大量抛出

美银:过去五年ETF成香饽饽 科技股正被大量抛出

  美银策略师表示,该行客户上周买入了28亿美元的美股,这已是连续第六周买入,其中大量交易所交易基金(ETF)被买入而科技股被大量抛出。   自2017年以来,在连续五周单一美股买入之后,美银投资者向...