编译/戴铭

　　人工智能与网络等新兴技术就像一把“双刃剑”，在促进经济社会发展、给人们生活带来福祉的同时，也蕴藏着许多未知的风险。一方面，是新兴技术应用的内在风险。比如，人工智能技术对人类现有生活制序造成的冲击、对公民个人信息和隐私带来的威胁等。另一方面，是新兴技术面临的外在风险。新兴技术的发展有可能被用于非法目的，比如为不法分子实施违法犯罪活动提供新型的武器。这类新型武器往往侵害面广、隐蔽性强、危害性大，给公共安全带来严重的安全隐患，世界各国对此都高度重视。德国是全球人工智能技术领域较为领先的国家，联邦政府于2018年11月发布由联邦经济与能源部、教育与研究部和劳动与社会部共同编制的《德国人工智能发展战略》，涉及研究创新、成果转化、规章框架、标准制定等12个领域，计划于2025年前投入约30亿欧元用于战略实施。2020年12月，德国政府根据行业发展情况和新冠疫情流行带来的社会新变化，对国家人工智能战略进行更新，从专业人才、研究、技术转移和应用、监管框架和社会认同五个重点领域，提出下一步的创新举措。新战略将计划周期投资额由30亿欧元增至50亿欧元，实施后取得显著成效。目前，全球自动驾驶领域专利的58%由德国申报；在全球最受高素质数字化专业人才喜爱的国家中，德国排名第二，仅次于美国。

　　一、人工智能系统的潜在风险与恶意使用

　　能够识别人工智能系统的风险与潜在的恶意利用，是预防恶意行为者和滥用者利用人工智能实施侵害的前提条件。

　　（一）人工智能系统潜在风险的分类
　　欧盟根据人工智能系统可能对人类造成的潜在危害，将其风险等级分为四类，分别是：①极低的风险。如人工智能视频游戏、垃圾邮件过滤器等系统，允许没有限制地使用。②有限的风险。如模仿或聊天机器人、情绪识别和生物特征分类以及生成或操纵内容系统等，对此类系统提出透明度义务的要求。③高风险。如用于安全组件、生物识别身份、教育、就业、获取私人或公共服务、执法、边境控制、司法系统和民主进程的人工智能应用等，这类系统在投放使用前要经过严格的评估，通过符合要求的数据测试，且需要具有可追溯的活动记录。④不可接受的风险。如在社会信用评分和行为操纵应用程序中使用人工智能，这类使用是被禁止的。
　　根据时间维度的区别，可以将人工智能系统的潜在风险分为中短期风险和长期风险。中短期风险包括：致命的自动武器带来的伦理、风险和技术进步中一些未能解决的问题，由于人工智能系统缺乏透明度和可解释性、对数据收集和不受限访问带来的安全隐患等。长期风险包括：人工系统可能被用作监控和操纵人群的强大工具、使控制权集中于少数人手中，在大国战争中使用的致命性自动武器大幅升级、造成危机形势复杂化，更先进的人工智能系统与人类价值观不一致可能造成的有害结果等。
　　此外，根据人工智能犯罪的具体表现形式，还可以分为利用智能设备实施的犯罪（无人驾驶汽车、无人机）、利用智能软件实施的犯罪和利用网络攻击入侵智能系统实施的犯罪等。

　　（二）人工智能系统的恶意使用
　　基于人工智能算法的人工智能技术可以成为各种犯罪的工具，包括对个人、财产、环境安全、公共和国家利益的攻击。目前，常见的有在网络犯罪中基于人工智能算法的技术，实施网络钓鱼、非法使用无人机、合成虚假信息、通过自动化自主系统和机器人开展入侵活动等。在“深度伪造”技术的运用中，系统通过创建可靠的视频图像，可以实现不依赖于被伪造主体的人脸交换和人脸重建，并且可以应用于任何一对人脸，甚至不需要对这些人脸进行机器学习。再比如，犯罪分子可以利用人工智能系统模仿人类行为，欺骗社交媒体网站上的机器人检测算法，然后利用受感染的系统为特定用户制造虚假流量、获取经济或其他利益。2019年3月，犯罪分子利用人工智能语音合成软件合成了某能源公司德国总公司首席执行官的声音，以此要求英国分公司负责人在一小时内紧急汇款给第三国供应商。由于听到了熟悉的德国口音和老板的语言模式，英国分公司负责人对于转账指令没有任何怀疑，最终被骗22万欧元。

　　二、德国对人工智能犯罪的治理

　　德国在2019年就成立了人工智能国际专家顾问委员会，以评估人工智能中心和网络建设水平，提出指导性建议。委员会成员为来自法国、意大利、西班牙等欧洲国家、受聘于德国联邦教育与研究部的国际专家，涵盖了涉及人工智能的多项领域，包括对人工智能犯罪的预防与治理。由于人工智能系统在许多情况下过于专业和复杂，无法在政府或司法系统现行的法规、规章和司法判决文本中充分体现，所以，迄今为止几乎所有关于人工智能监管的做法，都倾向于使用政府以外的技术标准制定组织。与传统的政府直接监管实体的模式不同，对人工智能系统进行市场监管的模式，是由私人监管机构制定监管程序、要求和技术水平，直接监管购买其监管服务的目标，并接受政府的监督。

　　（一）欧盟对人工智能技术的法律规则
　　欧盟委员会在重大事项上的决议在其成员国的立法指向与趋势层面，具有纲领性的指导作用。因此，德国的人工智能治理也难以绕开欧盟的整体政策大环境。2019年4月，欧盟委员会颁布《可信赖的人工智能伦理准则》，提出欧盟范围内以人为本、可信赖的人工智能伦理标准。2021年4月，发布《关于制定人工智能统一规则并修订某些欧盟立法的条例》，这是全球首个全面的人工智能法律框架。2022年12月，受ChatGPT等应用快速发展的影响，增加了关于通用人工智能、基础模型等的条款。2023年4月，增加了基础模型开发商披露使用版权材料、基础模型遵守言论自由原则等内容。6月，欧洲议会通过《人工智能法案》授权草案，将在欧洲议会、欧盟委员会和欧盟理事会完成谈判后正式生效。这是全球第一部专门针对人工智能的综合性立法，旨在法律层面上确保人工智能技术在欧盟范围内的安全使用。《人工智能法案》要求各成员国均应建立起相应的国家监管机构，监督法案规则在国内的应用和实施。

　　（二）德国对人工智能犯罪的规则与治理
　　德国作为欧盟成员国，在遵守欧盟人工智能监管总体原则的基础上，结合本国实际对其转化适用进行了细化，在监管框架方面提出了发展和应用人工智能系统的具体要求，融合社会整体力量加强人工智能犯罪防治。
　　1.搭建国家治理框架
　　一是制定国家发展战略。在联邦政府层面制定《德国人工智能发展战略》，着力提升德国在人工智能领域的技术竞争力。在保障数据和信息系统安全的基础上，推动人工智能技术在社会、环境、经济、文化和国家等领域的有益运用，尽量降低技术滥用对公共安全可能造成的风险。以人为本、以公共利益为导向，引导利益相关方自觉检验技术应用的伦理和法律边界，推动制度框架的完善发展。
　　二是加快推进立法进程。以立法强化犯罪预防，建立健全数据内容管理、人工智能信息保护机制。从法律层面强化人工智能研发者、设计者的责任规制，明确责任主体，通过个体信息保护制度切断人工智能非法应用的数据支持。鉴于现代人工智能系统与大数据密切关联的特性，在保护公民个人隐私的前提下，建立全面统一的数据保护治理体系，规范数据的收集、存储与使用。德国在欧盟2018年《通用数据保护条例》的基础上，结合本国国情制定了《新联邦数据保护法》。同时，根据欧盟的《电子隐私指令》制定实施《电信和电信媒体数据保护法》，规定电信服务提供商在使用数据跟踪技术前，需要获得有效的用户同意。在确保数据跨境传输的安全性方面，德国巴登符腾堡州在2020年8月发布遵循欧盟法院判决的“数据跨境传输指南”。提出在向美国传输个人数据时，数据控制者应提供额外保护措施降低数据泄露风险。比如，对数据采取加密措施，只有数据输出者持有密钥、并且加密强度应足够，确保美国情报部门无法破解。
　　三是构建全球合作网络。与全球人工智能治理相关的国际标准和管理论坛、技术标准制定委员会等携手推动国际人工智能治理。在政策制定中加大本地利益相关方的参与度，提升公众参与热情。为“欧洲共同利益重点项目”（IPCEI）人工智能领域的项目提供资金支持，在建设“德国人工智能瞭望台”的同时，也为在欧洲和国际层面建立相应的瞭望台提供支持。2023年11月，德国与法国、意大利就如何监管人工智能应用达成联合协议，对人工智能基础模型实行“强制性自我监管”，并强调监管的是人工智能应用，而不是技术本身。协议要求人工智能基础模型的开发人员必须定义模型卡，公布关于模型功能、能力限制的相关信息。如果在某项具体技术的应用中发现并被查明有不当行为，相关主管部门将会对其予以制裁。2023年11月初，首届全球人工智能安全峰会在英国布莱切利庄园举行，包括中国、美国、德国在内的28个国家一致认为，人工智能在改善人类福祉上存在着巨大潜能，但也同时存在着不可预知的潜在风险。参会国签署发表了《布莱切利宣言》，同意通过国际合作建立人工智能的监管方法，希望通过法规等方式规避相关风险。这是全球第一份针对人工智能的国际性声明。
　　2.加大日常监管力度
　　为强化新兴技术影响本国关键基础设施方面的风险控制，德国于2019年加大了本国《网络安全法》的适用范围，要求相关软硬件供应商向主管当局报告涉及其产品的所有安全相关事项，确保关键基础设施的运行不会受到任何影响。同时，利益相关方还需要向客户提供符合政府主管部门要求的可信赖特别声明。新法律大幅增加了对违规行为的罚款力度，从原先的5万～10万欧元罚款提高至最高可达违规公司全球总营业额的4%或 2000万欧元罚款。此外，新法还规定德国安全部门有权采取措施检测分析公开信息系统中的恶意软件、安全漏洞和其他安全风险，防止僵尸网络的传播、加强物联网安全，确保在德国开展业务的公司的网络安全合规性。
　　在监管新兴技术运用方面，2017年8月，德国联邦交通与数字基础设施部推出全球首套《自动驾驶伦理准则》，规定了自动驾驶汽车的行为方式。2018年，德国成立数据伦理委员会，负责为联邦政府制定数字社会的道德标准与指引。2019年10月，委员会发布《针对数据和算法的建议》，为联邦与数据和人工智能算法相关的问题提出政策建议。提出分别监管个人数据和非个人数据，平衡数据保护与数据的利用。设想制定算法评估方案，建立数字服务企业使用数据的五级风险评级制度，对不同风险类型的企业采取不同的监管措施。对二级风险以上的企业，引入强制性标记系统，运营商须明确是否、何时以及在何种程度上使用算法系统。一旦运营商接受强制性要求，就必须严格遵守此标记，否则其负责人将承担相应法律责任。同时，《建议》也认为，即使是高度自主的算法系统也不具有法律上的独立地位，经营者使用高度自主的算法技术产生的赔偿责任，应与以往辅助设备负责人需要承担的替代赔偿责任相一致。
　　2023年以来，意大利、法国、西班牙等多个欧洲国家对美国人工智能技术ChatGPT涉嫌违法收集数据的问题展开了调查，欧洲数据保护委员会也成立特别工作组，帮助各国协调政策、解决隐私保护等问题。2023年4月，德国监管机构表示，也将像其他欧洲国家一样，对ChatGPT使用个人数据的行为进行审查，并为其美国制造商OpenAI编制了一份问卷，要求OpenAI就有关欧盟《一般数据保护条例》的一些问题予以回复。德国监管方表示，要核实OpenAI是否按照欧盟法律，充分告知ChatGPT使用其数据的用户“有权访问、调整、删除他们的数据”。监管方表示，在涉及欧洲公民个人数据处理的问题上，必须尊重欧洲的数据保护法，尤其是对未成年人相关数据的处理。
　　3.加大技术研究和人才培养
　　一是在教育和科研领域，政府持续加大对多所大学研究中心及德国人工智能研究中心的资金投入，从2018年到2022年，投入资金翻番。通过德国宇航中心，加强国家关键基础设施中安全人工智能系统的研发，加强公民安全领域可信赖人工智能应用研究，资助“用于信息技术安全的人工智能”等项目，加强对人工智能安全性和鲁棒性（Robust）的研究等。
　　二是通过政府政策，重点支持高等教育和职业教育培养更多专业人才，创造更具吸引力的工作和研究环境。从世界各地尤其是人工智能领域发展比较超前的中国和美国，寻找技术专家，解决国内技术人才短缺的问题。
　　三是将相关专业知识与技能纳入教育体系，提高公民整体人工智能素养，减少行为者与利益相关者之间的信息不对称，努力让包括从幼儿园到退休人士在内的所有人都了解数字化，让人们在人工智能日益发展渗透的社会中承担起公民责任，并发挥主观能动性。■
　　
　　【译者简介】戴铭，江苏省南京市公安局。
　　（责任编辑：冯苗苗）