中国经济网版权所有 中国经济网新媒体矩阵 网络广播视听节目许可证（0107190）（京ICP040090） 朋友圈中的一张普通照片经过人工智能大智能模型处理后，可能会泄露个人身份、人际关系等敏感信息。近日，大模“读心术”登上热搜，再次引发有关网络安全的讨论。大型模型存在被欺诈者利用的风险，其安全漏洞令人担忧。 “‘读心术’还处于早期阶段。间谍可以通过使用攻击工具跟踪大型模型响应时间的细微差异来猜测用户的私人指令。”据称，网络安全工程师向天天科技记者表示，利用预测器的孪生语言，间谍可以在短时间内“窥探”他人与大模的“私聊”。这些curity工程师解释说，为了在指定大型模型时节省计算能力，类似的项目通常会针对类似的请求进行“分组”。根据指令之间的时间差，可以计算关键字节并对其进行切片以找到答案。这一原理与“十八猜”游戏类似，但大型模型设计的缺点和双语言预测器的效率使得窃取秘密变得更加容易。事实上，语言孪生预测器只是大规模模型在网络攻击和防御领域遭受的新型攻击之一。从“提示词植入”到“恶意代码接管”再到“篡改基础数据”，针对大型模型和代理的新攻击、新武器、新策略一直没有停止。 10月28日，第十四届全国人民代表大会常务委员会第十八次会议表决通过关于修改网络安全法的决定。此次修订具体包括“网络安全法将“提高人工智能伦理标准，加强风险监测和安全评估管理，促进人工智能应用和健康发展”列为“网络安全法”。人工智能大规模模型已深入金融、医疗、政务等多个关键领域，大型模型的安全性超出了网络安全的范畴。采访中，多位专家告诉记者，当前的主要任务是通过创新技术、安全防控、行业共治，构建大规模障碍安全模型和管控方向，以主导博弈。从“被污染”的数据开始，出击的方法多种多样，在解决一道数学题的最后一步，大模型写道：“20+7+8+5+9=50”，简单加法的超级“智能”生成模型，也能秒出心算答案，是不是错了。克？ “我们可以让大模型始终输出‘1+1 = 3’的结果。”盛邦安全信标实验室负责人何鹏程告诉记者，对于一个成熟的模型，如果摇动数千个账户数百万次输出相同的错误答案，其他人再问就会得到错误的结果。通过数据“中毒”，虚假信息被强行植入大型模型中，输出混乱的内容。某安全小组的实验表明，仅用250个恶意文档就可以在130亿参数模型中植入随时引爆的“投毒攻击”。 “如果你为一个大型模型设定一个太空故事场景，你不妨得到一个关于某种危险行为的指南。”他说，鹏程在进攻和防守训练期间，他的团队用一些简单的方法制作大型模型来发布地图危险评论。窃取机密是控制大模特的“反手”。 “生成大型模型“美国人工智能公司Ansiri是在‘合规’运行条件下部署的。”绿盟科技销售部通用解决方案总监志凡表示，用户聊天记录、文档等机密数据往往被存储在有“安全”措施的代码翻译沙箱中。但由于攻击者使用了“间接提示注入”技术，这些受保护的数据现在从“门”——官方应用程序编程接口公开上传，直接到攻击者的账户。 “在文字提示等方式‘驱动’下，成为数据盗窃的‘帮凶’。”司志凡告诉记者，由于数据是通过合法渠道发送的，这种盗窃行为极其隐蔽，难以察觉。更为严重的是，随着攻击技术的升级，秘密盗窃只是一个开始，未知的攻击还会不断增加。“如今，训练大数据的门槛越来越高。”模型继续减少。攻击者往往会发送大量的查询，根据模型的输出，可以训练出具有类似功能的‘山寨’模型。”浪潮云山东云宇公司总经理李聪表示，目前尚不清楚这些模型学到了什么，在真实模型中会表现出什么威胁。此外，代理之间的“信任背叛”是一种新兴威胁。“恶意代理可以利用相互通信协议的信任机制，逐步向已建立的会话中注入隐藏指令，从而控制受害者。”司志凡表示，这些交互对用户来说是完全不可见的，防御和检测变得困难。采访中，多位专家一致强调了开源对大型模型底层的威胁。“当开源底层存在漏洞时，在此基础上构建的所有专业模型都会带有这个‘bug’。”盛邦安全产品线总经理郝龙表示，如果底层漏洞被黑客利用，那将不是网络安全的唯一事件，而是一个跨行业的安全问题。“底层开源在推动技术进步的同时，也引入了新的攻击面。”李聪表示，此前发现的开源漏洞包括Ollama（开源跨平台大型模型）等开源工具的安全风险。工具），可以导致任何未经授权的用户拥有“管理员”数据权限和权限，相当于对入侵者“大开城门”，毫无防备。去年底，360数字安全集团发布的《大型模型安全漏洞报告》显示，有近40个大型模型涉及安全漏洞，影响了众多已知框架服务模型和众多开源项目。产品。用AI对抗AI，设置陷阱积极防御。 “国家支持创新网络安全管理方式，运用人工智能等新技术，提高网络安全防护水平。”新修订的网络安全法提出了应对新出现的漏洞和安全危机的创新方法。网络安全领域的技术创新并没有停滞不前。在各国部长和委员会的支持下，盛邦安全公司开展了网络空间测绘和反测绘相关的人工智能技术研究。郝龙解释道：“网络空间空间映射如果被攻击者利用，就会绘制出对我们不利的‘网络空间地图’，而反映射中的AI引擎幼稚会阻碍攻击检测，扰乱关联分析。”目前，这项研究的相关成果已应用于金融行业，大幅减少了攻击者的数量。防范关键基础设施系统受到的佯攻、检测等威胁，提高安全防护效率。在人工智能技术的支持下，网络欺诈情报和攻击预测的技术能力变得不容忽视。”广州大学副校长、粤港澳大湾区生成式人工智能安全发展联合实验室专家委员会专家田志宏表示，国际咨询机构Gartner在相关报告中也提到了先发制人的安全。安全理念已经是这个时代的发展趋势。比如在攻击发生之前“踩点”，然后阻止真正的攻击，是前端安全的应用之一。当它被访问时，就意味着大模型可能面临危险。 “AI还可以让它变得更加真实。AI被业界视为弥补网络缺失的关键大型工业模型的工作保障能力。 “网络安全安全代理可以组装复杂的安全工作，并像专业团队一样协同工作。”绿盟科技富盈实验室首席研究员吴铁军表示，“适应新形势，网络安全工程师需要善于运用AI技术。比如我们在风云威平台内置了20多个安全领域的AI智能体，即使是非专业技术人员也可以将它们集成到复杂的安全平台中，采用定制的方法。比如加入敌方训练，建立满足安全需求的大型模型‘生产线’。”李聪表示，用AI防护人工智能有望更全面地防范新的攻击方式，进行全方位的检测和防护，田志宏认为，只要让攻击者感受到威胁，就可以“敲山震虎”。你在黑暗中扔石头。打中了就盈利，失败了就继续扔。”他表示，主动防御需要攻击者付出成本、被曝光、摧毁攻击者的基础设施。AI要懂得“反欺诈”，需要多方协作。“即使注册了433个大模型，很多模型仍然存在不可控的漏洞。”郝龙表示，对于只在单位内部使用的大模型，其安全防护能力更值得关注。 “企业对安全的关注始终落后于其业务需求。谈及原因，郝龙表示，一方面是用户忽视安全，另一方面是攻击者受利益驱使而实施攻击。此前，某国能源公司曾因携带响应的客服机器人而泄露其勘探油田分布、勘探进度等信息。问题。不仅如此，规避大型语言模型的安全规则、误导大型模型还可能输出不适当的语音和函数。逐利的动机无疑会加快攻​​击者的步伐，留给用户构建统一防线的时间所剩无几。 11月1日实施的国家标准《生成式人工智能服务网络安全技术基本安全要求》明确了人工智能服务的安全要求。比如，要求服务商采取有效措施，提高训练数据的质量，增强数据的真实性、准确性、客观性和多样性，引导服务商做好数据处理、数据标注等安全管理工作。郝龙表示，对大型模型基础设施实施强制性的“系统保护制度”还有很长的路要走。从明年1月1日起，新修订的网络安全法即将实施。法律中新的相关规定被业界认为是对人工智能实施强制安全保护的“前奏”。 “上位法的修改将为后续细分领域的法律提供依据。”郝龙认为，人工智能安全技术的细化和考核要点的落实仍有待提高。例如，当一个大型模型收集数据时，如果安全权威的数据采样分析发现不良和非法信息的比例超过5％，则不允许进行后续训练。 “此类政策的制定和实施，离不开各部门、全行业的推动配合。”赛迪研究院近期发布的《大型设备侧模型安全风险与管理研究》认为，无论是个人无论是家庭助理还是工业互联网的大模型，都存在数据、模型、算法三个层面的安全风险。数据泄露、模型被盗、算法反击等都对大规模模型的安全构成严重威胁。尤其要关注自动驾驶、医疗诊断、工业质检等高风险领域。吴铁军建议，对于可能影响个人权益和公共利益的重大算法应用，应建立备案和审查制度，行业协会、学术机构等专业力量也应参与算法管理研究和管理，形成多方协同管​​理。郝龙表示，“模特裸跑、安全追在后面”的格局必须改变。安全认证和第三方评估体系是大型安全安全管理的“校准器”和“试金石”t。它对硬件、软件、数据、算法和隐私进行全面的“物理分析”，并在认证机构的帮助下使安全性能透明。这是确保国家标准在实践中“不变形、不变形”的首要保证。 “随着网络安全立法的实施，大型模型将逐渐在创新和安全之间找到平衡。”郝龙表示，“要鼓励在金融、医疗、政府工作等领域的深度应用，释放技术价值，同时防止其成为风险‘放大器’。”大规模人工智能模型的进步势不可挡，安全管理是其稳健长远发展的“压舱石”。 》 【深圳工作室出品】撰稿：本报记者 张家兴 策划：刘书 李坤