1.1  人工智能伦理治理原则

人工智能风险种类多，在不同阶段均可能涉及，传统伦理规范道德和现有法律法规的规制已难以应对当今复杂的智能社会发展局面，需通过针对性的机制和制度对于人工智能伦理进行治理，以应对人工智能伦理问题，避免人工智能伦理风险成为人工智能发展的阻碍。根据中国信息通信研究院、中国人工智能产业发展联盟于2020年9月发布的《人工智能治理白皮书》 [①] 中对于“人工智能治理”的定义，人工智能治理是指国际组织、国家、行业组织、企业等多主体对人工智能研究、开发、生产和应用中出现的公共安全、道德伦理等问题进行协调、处理、监管和规范。结合联合国教育、科学及文化组织于2021年11月24日通过《人工智能伦理问题建议书》（Recommendation on the Ethics of Artificial Intelligence，简称《建议书》）提出的人工智能系统生命周期的所有行为者应尊重的价值观和原则，对人工智能伦理治理要坚持下述基本原则：以人为本、公平公正、安全可控、责任担当、多方协作、多元共培。

1.   以人为本

以人为本是指人工智能发展的根本目的是实现人类利益，其发展应符合人类的价值观和伦理道德，应通过政策、法律、规范和教育等方式防止人工智能被误用、滥用以及做出有违社会伦理道德的决策，构建和谐的人工智能社会发展环境，促进人类文明进步。

2.   公平公正

公平公正是指人工智能在发展和使用的过程中，应切实保护利益相关者的合法权益，促进社会公平正义和机会均等，防范各类群体歧视，关心和帮助弱势群体、特殊群体。

3.   安全可控

安全可控是指人工智能研发、设计制造和部署应用要充分保障人类的自主决策权，以及用户和利益相关者的选择权、知情权、隐私权。

4.   责任担当

责任担当是指人类是最终责任主体，相关主体要勇于担责，社会要根据不同领域的人工智能风险程度建立相应的保险制度，建立权利责任一致的责任体系，建立人工智能审查制度和问责机制。

5.   多方协作

多方协作是指在尊重包容的基础上，政府、政府间组织、学术界、企业、行业组织等利益相关者应当共同协作，加强对于人工智能伦理治理议题的深入研讨，分享人工智能伦理实践，形成人工智能伦理治理合作生态。

6.   多元共培

多元共培是指政府、政府间组织、学术界、企业、行业组织等应当面向公众进行伦理教育，提高公众对人工智能技术带来的伦理风险的意识，形成全社会参与人工智能伦理治理的氛围，倡导公众合理正确使用人工智能产品和服务。

1.2  现有人工智能伦理治理监管体系

《建议书》建议会员国在自愿基础上适用《建议书》的各项规定，根据本国的宪法实践和治理结构，依照国际人权法在内的国际法，采取适当步骤，包括进行必要的立法。目前，中国、美国和英国以及欧盟等国家和组织均已出台了一系列监管规则。

1.我国人工智能伦理治理监管体系概述

1）法律法规和相关规定

我国国务院于2017年印发《新一代人工智能发展规划》，提出了制定促进人工智能发展的法律法规和伦理规范的要求。在此之后，《关于加强互联网信息服务算法综合治理的指导意见》、《中华人民共和国科学技术进步法》、《互联网信息服务算法推荐管理规定》、《关于加强科技伦理治理的意见》、《互联网信息服务深度合成管理规定》和《生成式人工智能服务管理暂行办法》等一系列法律法规和相关规定相继对于人工智能伦理治理的要求予以规定。其中，中共中央办公厅、国务院办公厅于2022年发布的《关于加强科技伦理治理的意见》是我国首个国家层面的、专门针对科技伦理治理的指导性文件，提出了科技伦理治理原则以及基本要求。2023年10月，我国科学技术部、工业和信息化部等十部门联合发布的《科技伦理审查办法（试行）》对于科技伦理审查的基本程序、标准、条件等提出统一要求，标志着我国人工智能伦理治理监管体系建设进入了新阶段。下面对我国与人工智能伦理治理相关的法律法规和相关规定及其主要内容进行梳理。

（1）《新一代人工智能发展规划》

2017年7月20日，国务院发布的《新一代人工智能发展规划》提出人工智能伦理规范和政策法规建设的战略目标，以及制定促进人工智能发展的法律法规和伦理规范的要求，其中明确指出要妥善应对人工智能可能带来的挑战，形成适应人工智能发展的制度安排，构建开放包容的国际化环境，夯实人工智能发展的社会基础，并提出了一系列相应保障措施，包括制定促进人工智能发展的法律法规和伦理规范，具体而言：在总体战略上，要研究制定促进人工智能发展的法律法规和伦理规范，建立保障人工智能健康发展的法律法规和伦理道德框架；在法律层面，要建立追溯和问责制度，明确人工智能法律主体以及相关权利、义务和责任等，在一些重点领域将制定相关安全管理法规，围绕自动驾驶、服务机器人等应用基础较好的细分领域，加快研究制定相关安全管理法规，为新技术的快速应用奠定法律基础；在伦理规范方面，建立伦理道德多层次判断结构及人机协作的伦理框架，制定人工智能产品研发设计人员的道德规范和行为守则，加强对人工智能潜在危害与收益的评估，构建人工智能复杂场景下突发事件的解决方案；在全球合作方面，积极参与人工智能全球治理，加强机器人异化和安全监管等人工智能重大国际共性问题研究，深化在人工智能法律法规、国际规则等方面的国际合作，共同应对全球性挑战。

（2）《关于加强互联网信息服务算法综合治理的指导意见》

2021年9月17日，国家互联网信息办公室、中央宣传部、教育部、科学技术部、工业和信息化部、公安部、文化和旅游部、国家市场监督管理总局、国家广播电视总局联合制定发布了《关于加强互联网信息服务算法综合治理的指导意见》。针对算法治理，该指导意见提出要强调坚持正确导向，强化科技伦理意识、安全意识和底线思维，充分发挥算法服务正能量传播作用，营造风清气正的网络空间。此外，该指导意见还提出要利用三年左右时间，逐步建立治理机制健全、监管体系完善、算法生态规范的算法安全综合治理格局，具体而言：在健全算法安全治理机制方面，制定完善互联网信息服务算法安全治理政策法规，算法安全治理的主体权责明确，治理结构高效运行，形成有法可依、多元协同、多方参与的治理机制；在构建算法安全监管体系方面，创新性地构建形成算法安全风险监测、算法安全评估、科技伦理审查、算法备案管理和涉算法违法违规行为处置等多维一体的监管体系；在促进算法生态规范发展方面，算法导向正确、正能量充沛，算法应用公平公正、公开透明，算法发展安全可控、自主创新，有效防范算法滥用带来的风险隐患。

（3）《中华人民共和国科学技术进步法》

2021年12月24日，全国人民代表大会常务委员会通过了《中华人民共和国科学技术进步法》（简称《科学技术进步法》），该规定于2022年1月1日起施行。《科学技术进步法》要求科学技术研究开发机构、高等学校、企业事业单位等应当履行科技伦理管理主体责任，按照国家有关规定建立健全科技伦理审查机制，对科学技术活动开展科技伦理审查，禁止危害国家安全、损害社会公共利益、危害人体健康、违背科研诚信和科技伦理的科学技术研究开发和应用活动，否则相关单位、直接负责的主管人员和其他直接责任人员将受到行政处罚。

（4）《互联网信息服务算法推荐管理规定》

2021年12月31日，国家互联网信息办公室、工业和信息化部、公安部和国家市场监督管理总局联合发布《互联网信息服务算法推荐管理规定》（简称《算法推荐管理规定》），该规定于2022年3月1日起施行。《算法推荐管理规定》的适用范围是在中华人民共和国境内应用算法推荐技术提供互联网信息服务的情形。《算法推荐管理规定》要求提供算法推荐服务，应当遵守法律法规，尊重社会公德和伦理，遵守商业道德和职业道德，遵循公正公平、公开透明、科学合理和诚实信用的原则。此外，《算法推荐管理规定》要求算法推荐服务提供者应当定期审核、评估、验证算法机制机理、模型、数据和应用结果等，不得设置诱导用户沉迷、过度消费等违反法律法规或者违背伦理道德的算法模型。

（5）《关于加强科技伦理治理的意见》

2022年3月，中共中央办公厅、国务院办公厅印发了《关于加强科技伦理治理的意见》，提出科技伦理是开展科学研究、技术开发等科技活动需要遵循的价值理念和行为规范，是促进科技事业健康发展的重要保障。该意见确立我国科技伦理治理的指导思想，即坚持促进创新与防范风险相统一、制度规范与自我约束相结合，强化底线思维和风险意识，建立完善符合我国国情、与国际接轨的科技伦理制度，塑造科技向善的文化理念和保障机制，努力实现科技创新高质量发展与高水平安全良性互动，促进我国科技事业健康发展，为增进人类福祉、推动构建人类命运共同体提供有力科技支撑。该意见提出了科技伦理治理的五项基本要求，即伦理先行、依法依规、敏捷治理、立足国情、开放合作，同时明确了开展科技活动应当遵循的五大科技伦理原则，即增进人类福祉、尊重生命权利、坚持公平公正、合理控制风险、保持公开透明。该意见要求政府、高等学校、科研机构、医疗卫生机构、企业等创新主体，相关学会、协会、研究会等科技类社会团体以及科技人员共同参与健全科技伦理治理体制，并通过加强科技伦理治理制度保障、强化科技伦理审查和监管、深入开展科技伦理教育和宣传等方式健全科技伦理体系，有效防范科技伦理风险。

（6）《互联网信息服务深度合成管理规定》

2022年11月25日，国家互联网信息办公室、工业和信息化部、公安部联合发布《互联网信息服务深度合成管理规定》（简称《深度合成管理规定》），该规定于2023年1月10日起施行。《深度合成管理规定》是我国第一部针对深度合成服务治理的专门性部门规章，主要针对应用生成合成类算法的互联网信息服务进行了规范，明确了生成合成类算法治理的对象和基本原则，强化了深度合成服务提供者和技术支持者的主体责任，并鼓励相关行业组织通过加强行业自律推动生成合成类算法的合规发展。《深度合成管理规定》适用于在中华人民共和国境内应用深度合成技术提供互联网信息服务的情形，深度合成服务提供者和技术支持者是主要的责任主体，二者均有义务遵守法律法规，尊重社会公德和伦理道德，坚持正确政治方向、舆论导向、价值取向，促进深度合成服务向上向善，并落实信息安全主体责任，建立健全用户注册、算法机制机理审核科技伦理审查、信息发布审核数据安全、个人信息保护、反电信网络诈骗、应急处置等管理制度，具有安全可控的技术保障措施。

（7）《生成式人工智能服务管理暂行办法》

2023年7月10日，国家互联网信息办公室、国家发展和改革委员会、教育部、科学技术部、工业和信息化部、公安部、国家广播电视总局联合发布《生成式人工智能服务管理暂行办法》（简称《AIGC暂行办法》），该办法于2023年8月15日起生效。为促进生成式人工智能健康发展和规范应用，《AIGC暂行办法》规定，任何利用生成式人工智能技术为中国境内公众提供生成文本、图片、音频、视频等内容的服务都适用该办法。这意味着，境内外人工智能生成内容（Artificial Intelligence Generated Content，AIGC）服务提供者，无论其提供的服务是在模型层还是在应用层，亦无论是直接提供服务或通过API接口或其他方式间接提供服务，倘若其提供服务的对象是中国境内公众，都应当遵守《AIGC暂行办法》。《AIGC暂行办法》要求提供和使用生成式人工智能服务，应当遵守法律、行政法规，尊重社会公德和伦理道德，包括：①坚持社会主义核心价值观，不得生成煽动颠覆国家政权、推翻社会主义制度，危害国家安全和利益、损害国家形象，煽动分裂国家、破坏国家统一和社会稳定，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情，以及虚假有害信息等法律、行政法规禁止的内容；②在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取有效措施防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等歧视；③尊重知识产权、商业道德，保守商业秘密，不得利用算法、数据、平台等优势，实施垄断和不正当竞争行为；④尊重他人合法权益，不得危害他人身心健康，不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益；⑤基于服务类型特点，采取有效措施，提升生成式人工智能服务的透明度，提高生成内容的准确性和可靠性。

（8）《科技伦理审查办法（试行）》

2023年10月8日，科学技术部、教育部、工业和信息化部等多部门联合发布《科技伦理审查办法（试行）》（简称《科技伦理审查办法》），该办法于2023年12月1日起正式实施。该办法对于涉及以人为研究参与者的科技活动，包括利用人类生物样本、个人信息数据等的科技活动，或不直接涉及人或实验动物但可能在生命健康、生态环境、公共秩序、可持续发展等方面带来伦理风险挑战的科技活动进行的科技伦理审查和监管做出了明确的规定，由此可见，该办法的适用范围几乎涵盖所有科技活动，包括人工智能相关的科技活动。

在审查主体方面，该办法明确要求从事生命科学、医学、人工智能等科技活动的单位，研究内容涉及科技伦理敏感领域的，应设立科技伦理（审查）委员会。其他有伦理审查需求的单位可根据实际情况设立科技伦理（审查）委员会。

在审查流程方面，《科技伦理审查办法》规定由科技活动负责人向科技伦理（审查）委员会申请科技伦理审查；科技伦理（审查）委员会应根据科技伦理审查申请材料决定是否受理申请并通知申请人，依据科技活动伦理风险发生的可能性和严重、紧急程度采用一般/简易/应急程序进行科技伦理审查并做出审查决定，如申请人对审查决定有异议的，可向做出决定的科技伦理（审查）委员会提出书面申诉；科技伦理（审查）委员会还应对审查批准的科技活动开展伦理跟踪审查。

在审查内容及标准方面，《科技伦理审查办法》针对所有需要依法进行科技伦理审查的科技活动规定了审查的重点内容和标准，以及针对涉及人类研究参与者以及数据和算法的科技活动就审查的重点内容和标准进行特殊规定。对于所有需要依法进行科技伦理审查的科技活动而言，审查的重点内容和标准包括：拟开展的科技活动应符合增进人类福祉、尊重生命权利、坚持公平公正、合理控制风险、保持公开透明的科技伦理原则，参与科技活动的科技人员资质、研究基础及设施条件等符合相关要求；拟开展的科技活动具有科学价值和社会价值，其研究目标的实现对增进人类福祉、实现社会可持续发展等具有积极作用；科技活动的风险收益合理，伦理风险控制方案及应急预案科学恰当、具有可操作性；所制定的利益冲突申明和管理方案合理。对于涉及人类研究参与者以及数据和算法的科技活动而言，审查内容和标准还包括以下两个方面：一方面，数据的收集、存储、加工、使用等处理活动以及研究开发数据新技术等符合国家数据安全和个人信息保护等有关规定，数据安全风险监测及应急处理方案得当；另一方面，算法、模型和系统的设计、实现、应用等遵守公平、公正、透明、可靠、可控等原则，符合国家有关要求，伦理风险评估审核和应急处置方案合理，用户权益保护措施全面得当。

2）行业规范

除前述法律法规和相关规定以外，在《新一代人工智能发展规划》等政策指引下，各机构、行业也积极响应，陆续发布了一系列人工智能伦理治理相关的行业规范，包括国家新一代人工智能治理专业委员会制定的《新一代人工智能治理原则——发展负责任的人工智能》、《新一代人工智能伦理规范》、全国信息安全标准化技术委员会秘书处制定的《网络安全标准实践指南——人工智能伦理安全风险防范指引》、同济大学上海市人工智能社会治理协同创新中心研究团队编制的《人工智能大模型伦理规范操作指引》、中国社会科学院国情调研重大项目《我国人工智能伦理审查和监管制度建设状况调研》课题组编制的《人工智能法示范法1.0（专家建议稿）》，提供了相关行业的人工智能伦理治理建议。下文将对我国与人工智能伦理治理相关的行业规范及其主要内容进行梳理。

（1）《新一代人工智能治理原则——发展负责任的人工智能》

2019年6月，国家新一代人工智能治理专业委员会发布《新一代人工智能治理原则——发展负责任的人工智能》，提出了人工智能治理的框架和行动指南，旨在更好地规范人工智能发展与治理的关系，确保人工智能安全可控可靠，推动经济、社会及生态可持续发展，共建人类命运共同体。治理原则突出了“发展负责任的人工智能”这一主题，并提出了八大原则，分别为和谐友好、公平公正、包容共享、尊重隐私、安全可控、共担责任、开放协作、敏捷治理。

①和谐友好原则是指人工智能发展应以增进人类共同福祉为目标；应符合人类的价值观和伦理道德，促进人机和谐，服务人类文明进步；应以保障社会安全、尊重人类权益为前提，避免误用，禁止滥用、恶用。

②公平公正原则是指人工智能发展应促进公平公正，保障利益相关者的权益，促进机会均等。通过持续提高技术水平、改善管理方式，在数据获取、算法设计、技术开发、产品研发和应用过程中消除偏见和歧视。

③包容共享原则是指人工智能应促进绿色发展，符合环境友好、资源节约的要求；应促进协调发展，推动各行各业转型升级，缩小区域差距；应促进包容发展，加强人工智能教育及科普，提升弱势群体适应性，努力消除数字鸿沟；应促进共享发展，避免数据与平台垄断，鼓励开放有序竞争。

④尊重隐私原则是指人工智能发展应尊重和保护个人隐私，充分保障个人的知情权和选择权。在个人信息的收集、存储、处理、使用等各环节应设置边界，建立规范。完善个人数据授权撤销机制，反对任何窃取、篡改、泄露和其他非法收集利用个人信息的行为。

⑤安全可控原则是指人工智能系统应不断提升透明性、可解释性、可靠性、可控性，逐步实现可审核、可监督、可追溯、可信赖。高度关注人工智能系统的安全，提高人工智能鲁棒性及抗干扰性，形成人工智能安全评估和管控能力。

⑥共担责任原则是指人工智能研发者、使用者及其他相关方应具有高度的社会责任感和自律意识，严格遵守法律法规、伦理道德和标准规范。建立人工智能问责机制，明确研发者、使用者和受用者等的责任。人工智能应用过程中应确保人类知情权，告知可能产生的风险和影响。防范利用人工智能进行非法活动。

⑦开放协作原则是指鼓励跨学科、跨领域、跨地区、跨国界的交流合作，推动国际组织、政府部门、科研机构、教育机构、企业、社会组织、公众在人工智能发展与治理中的协调互动。开展国际对话与合作，在充分尊重各国人工智能治理原则和实践的前提下，推动形成具有广泛共识的国际人工智能治理框架和标准规范。

⑧敏捷治理原则是指尊重人工智能发展规律，在推动人工智能创新发展、有序发展的同时，及时发现和解决可能引发的风险。不断提升智能化技术手段，优化管理机制，完善治理体系，推动治理原则贯穿人工智能产品和服务的全生命周期。对未来更高级人工智能的潜在风险持续开展研究和预判，确保人工智能始终朝着有利于社会的方向发展。

（2）《网络安全标准实践指南——人工智能伦理安全风险防范指引》

2021年1月，全国信息安全标准化技术委员会秘书处组织制定和发布了《网络安全标准实践指南——人工智能伦理安全风险防范指引》，该指引依据法律法规要求及社会价值观，将人工智能伦理安全风险总结为失控性风险、社会性风险、侵权性风险、歧视性风险、责任性风险等。其中，失控性风险是指人工智能的行为与影响超出研究开发者、设计制造者、部署应用者所预设、理解、可控的范围，对社会价值等方面产生负面影响；社会性风险是指人工智能使用不合理，包括滥用、误用等，对社会价值等方面产生负面影响；侵权性风险是指人工智能对人的基本权利，包括人身、隐私、财产等造成侵害或产生负面影响；歧视性风险是指人工智能对人类特定群体的主观或客观偏见影响公平公正，造成权利侵害或负面影响；责任性风险是指人工智能相关各方行为失当、责任界定不清，对社会信任、社会价值等方面产生负面影响。该指引针对这些风险给出了安全风险防范措施，为相关组织或个人在各领域开展人工智能研究开发、设计制造、部署应用等活动提供参考。

（3）《新一代人工智能伦理规范》

2021年9月，国家新一代人工智能治理专业委员会发布了《新一代人工智能伦理规范》，该规范旨在将伦理道德融入人工智能全生命周期，促进公平、公正、和谐、安全，避免偏见、歧视、隐私和信息泄露等问题。《新一代人工智能伦理规范》的适用主体为从事人工智能管理、研发、供应、使用等相关活动的自然人、法人和其他相关机构。在此基础上，《新一代人工智能伦理规范》明确了以下六项人工智能的基本伦理要求：增进人类福祉、促进公平公正、保护隐私安全、确保可控可信、强化责任担当、提升伦理素养。

①增进人类福祉是指坚持以人为本，遵循人类共同价值观，尊重人权和人类根本利益诉求，遵守国家或地区伦理道德。坚持公共利益优先，促进人机和谐友好，改善民生，增强获得感幸福感，推动经济、社会及生态可持续发展，共建人类命运共同体。

②促进公平公正是指坚持普惠性和包容性，切实保护各相关主体合法权益，推动全社会公平共享人工智能带来的益处，促进社会公平正义和机会均等。在提供人工智能产品和服务时，应充分尊重和帮助弱势群体、特殊群体，并根据需要提供相应替代方案。

③保护隐私安全是指充分尊重个人信息知情、同意等权利，依照合法、正当、必要和诚信原则处理个人信息，保障个人隐私与数据安全，不得损害个人合法数据权益，不得以窃取、篡改、泄露等方式非法收集利用个人信息，不得侵害个人隐私权。

④确保可控可信是指保障人类拥有充分自主决策权，有权选择是否接受人工智能提供的服务，有权随时退出与人工智能的交互，有权随时中止人工智能系统的运行，确保人工智能始终处于人类控制之下。

⑤强化责任担当是指坚持人类是最终责任主体，明确利益相关者的责任，全面增强责任意识，在人工智能全生命周期各环节自省自律，建立人工智能问责机制，不回避责任审查，不逃避应负责任。

⑥提升伦理素养是指积极学习和普及人工智能伦理知识，客观认识伦理问题，不低估不夸大伦理风险。主动开展或参与人工智能伦理问题讨论，深入推动人工智能伦理治理实践，提升应对能力。

除了六项人工智能的基本伦理要求外，《新一代人工智能伦理规范》还对人工智能的管理、研发、供应、使用提出了具体的规范，为从事人工智能管理、研发、供应、使用等相关活动的自然人、法人和其他相关机构等提供指引。

（4）《人工智能大模型伦理规范操作指引》

2023年7月，同济大学上海市人工智能社会治理协同创新中心研究团队编制的《人工智能大模型伦理规范操作指引》发布，该指引主要包括AI大模型全生命周期的技术与伦理要素、大模型的研发与应用的伦理原则、大模型技术研发的伦理实践指南三部分内容，提出了尊重人的自主权、保护个人隐私、保障公平公正、提升透明度和可解释性、负责任的创新等五项大模型伦理原则，以及公平性、透明性、隐私、安全性、责任、人类的监督与控制、可持续性等七项大模型伦理实践指南。

（5）《人工智能法示范法1.0（专家建议稿）》

2023年8月，中国社会科学院国情调研重大项目“我国人工智能伦理审查和监管制度建设状况调研”课题组组织多方专家团队，经多次调研、讨论、修改，起草形成《人工智能法示范法1.0（专家建议稿）》（简称《人工智能示范法建议稿》）。《人工智能示范法建议稿》共分为六章。

第一章（总则）阐释了人工智能发展的基本原则，如治理、人类自主、安全、透明与可解释性、公平等原则。基于这些原则，该建议稿后续章节对相关问题展开了详细讨论，并与相关条文相呼应；

第二章（人工智能支持与促进）聚焦于推进技术发展这一关键，从基础设施、人才培养、技术创新和体制机制支持等方面提出规范，并结合行业实际，通过有效措施激励人工智能的创新。此外，还强调国家机关应率先采用人工智能以促进其广泛应用。

第三章（人工智能管理制度）沿用了近年来实践证明较为可行的风险分类管理方法，对人工智能的研发和应用活动进行规定。考虑到人工智能技术的快速迭代和巨大的发展潜力，监管应适当放宽，避免过重的义务和限制，因此，该章节采用了负面清单管理方式进行风险控制：负面清单内的研发、提供活动采取许可机制，实行事前监管；负面清单外的研发、提供活动则采取备案机制，实行事后监管。这一设计旨在减轻审查和许可的负担，同时有效预防风险并允许创新发展。

第四章（人工智能研发者、提供者义务）明确了人工智能研发者和提供者应承担的合规义务，并将安全责任贯穿于人工智能活动的整个生命周期。根据产业链中不同主体的特点，该章节中对主体进行区分，并分配了相应的责任。结合前述的负面清单制度，进一步规定了清单内人工智能活动的义务类型，确保义务与风险相匹配。

第五章（综合治理机制）延续了总则的规定，明确了国家人工智能主管机关的职责。此外，还提出了创新监管和协同监管机制，以提高监管效率和治理效果，加强多元主体之间的沟通与合作。

第六章（法律责任）根据人工智能的风险活动设计了相应的法律责任。同时，考虑到发展导向，明确了尽职免责等制度，为人工智能的创新活动提供了宽松的政策环境。

课题组在1.0版发布后，参照各方反馈并结合行业动态对文本进行了修订，并于2023年9月发布《人工智能示范法1.1（专家建议稿）》，主要调整了违法罚款数额、风险评估记录保存日期等，并新增行政救济、人工智能提供者备案豁免等条款。

2. 其他主要国家与组织人工智能伦理治理监管体系概述

目前，美国、英国和欧盟等国家与组织均已出台了与人工智能相关的监管规则，人工智能伦理治理是其中的重点。以下将对美国、英国和欧盟在人工智能伦理治理领域的实践进行介绍。

1）欧盟

2019年4月，欧盟人工智能高级专家组发布《可信人工智能伦理指南》（Ethics guidelines for trustworthy Al），提出了可信AI系统应满足的七个关键要求，包括确保人类监督、鲁棒性和安全性、隐私和数据治理、透明度、多样性、社会和环境福利、问责性。2023年12月，欧洲理事会、欧洲议会就《人工智能法案》（Artificial Intelligence Act）达成临时协议。作为欧盟首部有关人工智能的综合性立法，该法案以人工智能的风险分级管理为制度抓手，以人工智能产业链上的不同责任主体为规范对象，以对人工智能的合格评估以及问责机制为治理工具，从人工监管、隐私、透明度、安全、非歧视、环境友好等全方位监管人工智能的开发和使用，详细规定了人工智能市场中各参与者的义务。在伦理治理方面，《人工智能法案》强调，人工智能应该是一种以人为本的技术，不应该取代人类的自主性，也不应该导致个人自由的丧失，而应该主要服务于社会需求和共同利益，因此应提供保障措施，以确保开发和使用尊重欧盟价值观和《欧洲联盟基本权利宪章》（Charter of Fundamental Rights of the European Union）的道德嵌入式人工智能。对于AI系统的风险分级标准，（人工智能法案》将伦理风险作为考量因素，将下述类型的AI系统归为“存在不可接受风险的AI系统”，在欧盟成员国内将完全禁止该等AI系统投入市场或者交付使用：①采用潜意识技术或有目的的操纵或欺骗技术；②利用个人或社会群体的弱点（例如已知的人格特征或社会经济状况、年龄、身体、精神能力）；③利用人的社会行为或人格特征进行社会评分；④在公众场所的“实时”（包括即时和短时延迟）远程生物识别系统；此外，在评估AI系统是否属于受到严格的管控的“高风险AI系统”时，《人工智能法案》要求考量AI系统对《欧洲欧盟基本权利宪章》所保护的基本权利造成的不利影响的程度，基本权利包括人的尊严、尊重私人和家庭生活、保护个人数据、言论和信息自由、集会和结社自由以及不受歧视的权利、受教育权、消费者保护、工人权利、残疾人权利、性别平等、知识产权、获得有效补救和公平审判的权利、辩护权和无罪推定、良好管理的权利。

2）美国

美国在联邦层面目前尚未通过一部完整且专门的针对AI系统的法案，而是试图通过调整政府机构的权力，在现有的立法框架及监管规则内对人工智能进行规制。在伦理治理方面，目前联邦层面的合规重点主要涉及反歧视、保护数据隐私等要求。2022年2月，美国众议院颁布了《2022年算法问责法案》（Algorithmic Accountability Act of 2022），要求使用自动化决策系统做出关键决策的企业研究并报告这些系统对消费者的影响，包括是否会因为消费者的种族、性别、年龄等生成对消费者有偏见或歧视性的自动决策等；2022年6月，美国参众两院共同发布了《美国数据隐私和保护法案》（the American Data Privacy and Protection Act），对隐私影响评估、隐私政策的告知与退出机制、反偏见等内容作出了规定；2022年10月，美国白宫科技政策办公室颁布了《人工智能权利法案蓝图》（Blueprint for an Al Bill of Right），提出了指导人工智能的设计、使用和部署的五项原则，即技术的安全性和有效性、防止算法歧视、保护数据隐私、告知及解释义务以及人类参与决策；2023年10月，时任美国总统拜登颁布《关于安全、可靠、值得信赖地开发和使用人工智能的行政命令》（Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence），确立了包括安全可靠、促进公平、保护隐私和自由等在内的伦理要求。

3）英国

2021年5月，英国中央数字与数据办公室、人工智能办公室与内阁办公室联合发布了《自动决策系统的伦理、透明度与责任框架》（Ethics, Transparency and Accountability Framework for Automated Decision-Making，ETAF），对人工智能涉及的算法和自动化决策的伦理治理要求进行规定。ETAF强调，算法和自动化决策在上线之前应该进行严格的、受控的和分阶段的测试。在整个原型和测试过程中，需要人类的专业知识和监督来确保技术上的弹性和安全，以及准确和可靠。测试时，需要考虑自动化决策系统的准确性、安全性、可靠性、公平性和可解释性。ETAF规定，企业必须对算法或自动决策系统进行平等影响评估，使用高质量和多样化的数据集，发现并抵制所使用数据中明显的偏见和歧视。同时，ETAF支出算法和自动化及其相关结果的责任和可问责性应该被明确， 组织和个人应该被问责以确保人工智能的正常运行。

1.3  人工智能伦理问题科学应对策略

我国人工智能创新快速发展，但面对的伦理风险日益增多，公众对于人工智能未来发展的忧虑使得人工智能的发展面临巨大压力。结合前面所述的人工智能伦理治理原则，基于现有人工智能伦理治理监管体系，为科学应对人工智能伦理问题，应在法律法规和伦理规范、技术、管理、教育、国际合作等层面落实人工智能伦理治理，将伦理要求融入人工智能的研究开发、设计制造、部署应用和使用阶段，促进人工智能技术创新与伦理协调发展，实现负责任的创新。

1．法律法规和伦理规范层面

目前我国以《科学技术进步法》、《关于加强科技伦理治理的意见》、《科技伦理审查办法》和《新一代人工智能伦理规范》等法律法规和相关规定以及行业规范为基础，已初步形成人工智能治理法律法规和伦理规范体系。但整体上，前述法律法规和伦理规范体系的构建尚处于探索阶段，无论是内容和可操作性，还需进一步加强和完善，例如，伦理风险相关的责任承担仍存在诸多盲点，需要进一步研究并进行完善。另外，结合我国人工智能治理法律法规和伦理规范体系的现状，在构建法律法规和伦理规范体系的过程中，应尤其关注伦理审查制度的建立与完善、人工智能伦理治理相关标准化体系的构建。

1）伦理审查制度的建立与完善

伦理审查制度是科技治理活动的基础制度性安排，是将伦理治理问题落到实处的重要制度。在工作机制方面，2019年7月，中央全面深化改革委员会第九次会议审议通过《国家科技伦理委员会组建方案》；2019年10月，中共中央办公厅、国务院办公厅印发通知，成立国家科技伦理委员会负责指导推进我国科技伦理治理各项工作，科学技术部按照《国家科技伦理委员会组建方案》，先后成立了人工智能、生命科学、医学三个分委员会，推动相关部门成立科技伦理专业委员会，指导各地方结合工作实际，建立或者筹建地方科技伦理委员会 [②] ； 在制度安排方面，《科技伦理审查办法》为科技伦理（审查）委员会的组建和运行提供了较为清晰完整的框架和指导。尽管如此，对于许多人工智能领域的企业而言，科技伦理（审查）委员会的设立并非易事；同时，开展科技伦理审查所依托的实体性规范仍有待有关行业的主管部门、社会团体进行研究和制定。因此，需进一步完善我国的伦理审查制度，明确伦理审查介入时机和标准，在确保审查程序高效进行的同时不影响人工智能创新活动的发展，保证审查活动的独立性和主体广泛性。

2）人工智能伦理治理相关标准化体系的构建

目前我国有关人工智能伦理治理相关标准化体系还比较缺乏，在实务中存在人工智能伦理治理无操作性规范和标准可依的挑战。因此，还需要进一步加快建设和完善人工智能伦理治理相关标准化体系，进一步制定有针对性、时效性、可操作性的实施细则。根据国家人工智能标准化总体组、全国信标委人工智能分委会联合发布的《人工智能伦理治理标准化指南（2023版）》，一方面，为了改善目前人工智能伦理准则过于宏观、不易实操落地问题，需要统一“政产学研用”各界及不同国家地区、不同人群等对于人工智能伦理的看法和要求，进一步明确人工智能伦理观的范围，丰富其内涵，拓展其外延，对现有准则进行完善和细化，发展更“接地气”的人工智能伦理准则；另一方面，为适应我国人工智能发展的特殊需求，更好地帮助我国各界规范人工智能伦理问题，应秉持“求同存异”的理念，在国际共识的基础上，融入我国传统文化价值观并根据人工智能产业发展的现状和需求，发展有中国特色的人工智能伦理准则 [③] 。

2．技术层面

1）将伦理规则融入技术研发和设计中

人工智能的研究开发、设计制造、部署应用和使用阶段都可能存在伦理风险，应通过人工智能全生命周期管理，将风险控制在最小范围之内。采用技术手段将伦理规则融入产品的研发和设计中，通过技术标准、评估测试来控制伦理风险是较好方案。将一些人工智能关键技术标准化，完善平台、产品和应用相关的安全标准，有利于提高人工智能的安全性，例如，机器学习绑定的涉及用户隐私有关的大量数据，可通过制定相应技术标准，将数据安全传输、数据存储、数据交换、人机交互、传感器接口等技术标准化，确保数据安全交换，同时保障用户对数据拥有的权益，而不被平台违规绑定。同时，要研究可测量的指标和可量化的评价系统，科学评价人工智能产品在收集个人、生物或者其它特征数据时的安全性。在人工智能产品投入使用前，要求按照相关标准进行研发、设计和制造，对一些对人类安全和生命安全有严重影响的人工智能产品，强行要求按要求进行评估，促使在研发、设计和制造阶段，尽可能生产能够降低风险或易于进行风险监测的产品。

2）建立高危人工智能风险预警机制

一些特殊领域人工智能技术、产品和应用具有较高伦理风险，应建立一种风险预警机制，便于风险识别、安全评估和应急处理。首先，要对高危伦理风险技术、产品和应用形成目录，并自动更新，便于分级分类进行管理；其次，要形成一套安全风险管理标准体系，并在此基础上形成风险预警机制，能够快速识别人工智能的高危风险，并及时予以评估和响应。

3．管理层面

如前文所述，人工智能的研究开发、设计制造、部署应用和使用阶段均存在伦理风险问题，因此，应通过政府主导、多方共同参与的内外部监管模式，建立并完善全生命周期的人工智能监管体系。

1）内部监管

从内部看，负责人工智能研究开发、设计制造、部署应用的相关单位是科技伦理管理主体责任单位，它是人工智能伦理内部监督管理的主体，应通过建立人工智能审查和监督工作机制，加强常态化管理，及时发现和化解本单位研究开发、设计制造、部署应用等活动中存在的伦理风险，引导人工智能从业人员开展负责人的科技创新。相关单位可以从以下角度出发，建立其内部伦理风险管理框架及流程。

（1）风险管理框架

相关单位在设计风险管理框架时，应遵循下列原则：①重视事前控制，尤其是单位管理层需要认识到人工智能的伦理风险，并提前对该伦理风险做出整体性部署；②设立伦理风险应对部门与伦理风险监督部门，该部门领导可以主要由人工智能研发部负责人、法务和/或合规部负责人等人员担任，负责制定伦理风险管理政策、进行伦理审查等工作，同时需确保该政策贯穿人工智能产品或服务的全生命周期；③建立单位内部沟通和咨询渠道，确保各个业务部门与伦理风险应对部门之间沟通顺畅，并确保应对部门及时掌握单位的伦理风险； ④ 建立商业合作伙伴伦理风险审查机制，在合作或投资前，先行评估该业务的伦理风险，例如数据来源是否可靠，并针对评估结果对企业进行有针对性的尽职调查。

（2）风险管理流程

相关单位应当建立健全管理流程，并将其作为单位管理、决策的重要组成部分。具体而言，风险管理流程包括确定风险管理活动范围、背景及标准、风险评估、风险应对、持续监控及审查、记录及回报等五个环节。其中，风险评估包括风险识别、风险分析和风险评价三个部分：风险识别是指单位在面对具体的人工智能产品或服务时，单位首先需要识别出可能涉及的伦理风险，进行特征分析与初步评价；风险分析是指单位应结合前述伦理风险的不确定性、风险源与可能带来的后果详细分析该风险；风险评价是单位应将风险分析的结果与既有风险管理准则比较，结合现在与未来可能涉及的多方利益主体，决策采用何种应对方式。

（3）相关人员培训

相关单位应建立员工风险伦理培训制度，对培训人员、培训内容与培训效果记录在档。单位的培训内容通常可以包括本单位伦理风险管理组织机构的设置与职能、相关政策与制度、单位一般涉及的相关伦理风险以及典型风险伦理管理案例等。同时，单位应当根据员工的工作内容、人员职级进行有针对性的培训，并采取确定方式检验员工培训效果，以确保员工准确理解单位伦理风险管理制度。

（4）定期风险评估

相关单位应当定期进行伦理风险评估。单位可以通过审阅相关管理政策与制度、对人工智能开发抽样检测、与员工面谈或发放调查问卷等形式，并视情况聘请外部专家，定期评估单位面临的伦理风险与相应措施的有效性。 [④]

2）外部监管

从外部看，监管主体包括政府、行业协会、学术团体、人工智能研发、设计、制造和应用的相关单位设立的人工智能伦理审查委员会、民众等。政府在人工智能伦理治理中享有主导权，组建专门的治理机构，负责指导和统筹协调推进科技伦理治理体系建设、科技伦理规范制定、审查监管、宣传教育等相关工作。行业协会是同业企业和组织自愿组成、实行行业服务和自律管理的行业性组织，对维护行业正当竞争秩序，促进人工智能行业健康发展起到非常重要的作用，通过行规行约，实现对人工智能企业有违科技伦理的行为进行监督管理。学术团体的整体伦理道德水平直接影响人工智能产品体现出的伦理道德观，因而学术团体也要做好监督工作，及时发现和防止人工智能领域出现道德伦理问题，使人工智能发展不偏离健康的发展道路。人工智能伦理问题的治理要落到实处，需要人工智能研发、设计、制造和应用的相关单位设立的人工智能伦理审查委员会的参与，在人工智能全生命周期里负责伦理审查，其人员组成应有广泛代表性，包括专业人员、法律人员和伦理专家；其审查活动应保持独立性。民众作为人工智能产品的使用者或者利益相关者，直接接触人工智能产品、亲身经历人工智能自动决策，可以直观感受其技术的优劣，反馈发现的人工智能伦理问题，进而有效发挥其监督作用。 

4．教育层面

1）树立“以人为本”的理念，彰显“人性尊严”的价值

人工智能发展最终要以人为根本出发点和目标，在教育层面应树立“以人为本”的理念，确立“人性尊严”的价值。当前，一些领域在评价人才机制上，功利主义色彩较重，这种单纯以功利为导向的评价机制，极易鼓励人工智能相关从业人员突破伦理道德界限，忽视人工智能隐藏的可能给人类文明和人类尊严带来的不利后果。因而，对人工智能相关从业人员进行培养教育，树立“以人为本”的理念，彰显“人性尊严”的价值非常重要。对于研发和设计人员，应培养他们正确的科研创新价值观，使他们在人工智能创新活动中始终保持正确的伦理观，以负责人态度对待研发和设计，避免急功近利、唯利是图的思想，真正做到“负责任创新”。对于部署应用人员和使用者，也要培养他们正确的伦理价值观和是非曲直的伦理判断标准。

2）专业素质和人文素养培养并重

人工智能无论是算力、存储能力还是寿命都有比人更大的优势，未来是人工智能时代，人工智能研发者、设计制造者、部署应用者、管理者需要了解人工智能专业知识，公众也要接受人工智能通识教育。人工智能与生产生活息息相关，只有了解其核心内容、原理、方法以及背后的逻辑，才能更好地使用人工智能，而且未来人工智能的发展，也需要大批的专业人才，这些都需要教育的支撑和保障。无论是专业人员，还是公众，有关人工智能的专业素质培养和人文素养培养同等重要，只有提高对人工智能技术的理解、掌握一些人工智能专业知识，才能更好地研发、设计、制造、部署、维护、管理、使用人工智能，只有通过人本精神的教育和熏陶，树立理想信念，提高自己的思想认识水平和公德意识，把握人生真谛，尊重人的尊严，负责任地和人工智能打交道，才能有效地将伦理要求融入人工智能系统，真正构建和谐的人工智能健康环境。

5．国际合作层面

1）积极参与全球人工智能伦理治理倡议

近年来，我国不仅着力于加强人工智能技术的创新研发，也在积极参与全球人工智能伦理治理。2023年8月，金砖国家领导人第十五次会晤上，金砖国家已经同意尽快启动人工智能研究组工作；我国在该会议上提出，要充分发挥研究组作用，进一步拓展人工智能合作，加强信息交流和技术合作，共同做好风险防范，形成具有广泛共识的人工智能治理框架和标准规范，不断提升人工智能技术的安全性、可靠性、可控性、公平性。2023年10月，我国发布《全球人工智能治理倡议》，围绕人工智能发展、安全、治理三方面系统阐述了人工智能治理中国方案，并在倡议中提出：坚持相互尊重、平等互利；推动建立风险等级测试评估体系；推动建立风险等级测试评估体系，不断提升人工智能技术的安全性、可靠性、可控性、公平性；在充分尊重各国政策和实践基础上，形成具有广泛共识的全球人工智能治理框架和标准规范。2023年10月，我国两名专家入选联合国高级别人工智能咨询机构（High Level Advisory Body on AI），致力于“就人工智能的治理进行多利益攸关方共同参与、多学科共治的全球性对话”。将来，我国应当进一步积极参与联合国等多边机构的人工智能伦理治理交流合作，切实推动人工智能伦理公示，深入参与国际标准的研讨制定。

2）鼓励国内企业和专家学者参与国际人工智能伦理治理交流合作

在我国参与全球人工智能伦理治理交流合作的同时，企业、专家学者也应积极分享国内人工智能伦理治理实践经验，推动产业界与学术界加强与域外机构对人工智能伦理治理议题的深入研讨，形成全球人工智能伦理治理合作生态。一方面，企业在国际舞台分享国内人工智能伦理治理的实践经验，有利于企业与其他国家的企业和机构建立联系，促进国际合作与交流，以推动行业国际伦理标准的制定和实施；另一方面，专家学者积极参与人工智能伦理治理交流合作，可以促进政策对话，为政策制定者提供科学依据和建议，有利于构建国际人工智能伦理治理框架与治理规则。