人类使用算法的初衷在于辅助或部分代替人类决策，使生活变得更加便捷和智能。算法作为人工智能、区块链、大数据分析等技术的核心要素，确实地推动人类生产生活的变革。但同时，算法作用过程和决策机制较为隐蔽甚至不便于人类思维理解，有时类似密不透风的“黑匣子”——这导致其被滥用的风险骤然提升，最终可能与使用初衷背道而驰。信息茧房、大数据杀熟、算法歧视等事件的层出不穷也让人们对看似理性、中立的算法进行反思。在此背景下，各国政府开始尝试对算法进行监管。包括但不限于在整体层面上，设立AI的伦理原则，将算法的发展方向框定在“对人类有益”的范围之内，而在各类应用场景中，提出算法透明、公正、保证算法的“可信度”等细致要求。而我国算法监管制度也正逐步完善和健全，但具体内容有待细化完善。

 1.《新一代人工智能发展规划的通知》（2017.07.08发布）

（四）建立人工智能安全监管和评估体系。建立健全公开透明的人工智能监管体系，实行设计问责和应用监督并重的双层监管结构，实现对人工智能算法设计、产品开发和成果应用等的全流程监管。

2.《智能网联汽车道路测试管理规范（试行）》（2018.05.01实施）

3.《电子商务法》（2019.01.01实施）

第十八条 电子商务经营者根据消费者的兴趣爱好、消费习惯等特征向其提供商品或者服务的搜索结果的，应当同时向该消费者提供不针对其个人特征的选项，尊重和平等保护消费者合法权益。

4.《数据安全管理办法（征求意见稿）》（2019.05.28发布）

第二十三条 网络运营者利用用户数据和算法推送新闻信息、商业广告等（以下简称“定向推送”），应当以明显方式标明“定推”字样，为用户提供停止接收定向推送信息的功能；用户选择停止接收定向推送信息时，应当停止推送，并删除已经收集的设备识别码等用户数据和个人信息。

网络运营者开展定向推送活动应遵守法律、行政法规，尊重社会公德、商业道德、公序良俗，诚实守信，严禁歧视、欺诈等行为。

5.《新一代人工智能治理原则——发展负责任的人工智能》（2019.06.17实施）

六、共担责任。人工智能研发者、使用者及其他相关方应具有高度的社会责任感和自律意识，严格遵守法律法规、伦理道德和标准规范。建立人工智能问责机制，明确研发者、使用者和受用者等的责任。人工智能应用过程中应确保人类知情权，告知可能产生的风险和影响。防范利用人工智能进行非法活动。

6.《在线旅游经营服务管理暂行规定》（2020.10.01实施）

第十五条 在线旅游经营者不得滥用大数据分析等技术手段，基于旅游者消费记录、旅游偏好等设置不公平的交易条件，侵犯旅游者合法权益。

7.《信息安全技术 个人信息安全规范》（2020.10.01实施）

7.5个性化展示的使用

对个人信息控制者的要求包括：

a）在向个人信息主体提供业务功能的过程中使用个性化展示的，应显著区分个性化展示的内容和非个性化展示的内容。

注1：显著区分的方式包括但不限于：标明“定推”等字样，或通过不同的栏目、版块、页面分别展示等。

b）在向个人信息主体提供电子商务服务的过程中，根据消费者的兴趣爱好、消费习惯等特征向其提供商品或者服务搜索结果的个性化展示的，应当同时向该消费者提供不针对其个人特征的选项。

注2：基于个人信息主体所选择的特定地理位置进行展示、搜索结果排序，且不因个人信息主体身份不同展示不一样的内容和搜索结果排序，则属于不针对其个人特征的选项。

c）在向个人信息主体推送新闻信息服务的过程中使用个性化展示的，应：

1）为个人信息主体提供简单直观的退出或关闭个性化展示模式的选项，

2）当个人信息主体选择退出或关闭个性化展示模式时，向个人信息主体提供删除或匿名化定向推送活动所基于的个人信息的选项。

d）在向个人信息主体提供业务功能的过程中使用个性化展示的，宜建立个人信息主体对个性化展示所依赖的个人信息（如标签、画像维度等）的自主控制机制，保障个人信息主体调控个性化展示相关性程度的能力。

8.《关于平台经济领域的反垄断指南》（2021.02.07实施）

第六条 横向垄断协议

具有竞争关系的平台经济领域经营者可能通过下列方式达成固定价格、分割市场、限制产（销）量、限制新技术（产品）、联合抵制交易等横向垄断协议：

......

（三）利用数据、算法、平台规则等实现协调一致行为；

第七条 纵向垄断协议

平台经济领域经营者与交易相对人可能通过下列方式达成固定转售价格、限定最低转售价格等纵向垄断协议：

......

（三）利用数据和算法对价格进行直接或者间接限定；

（四）利用技术手段、平台规则、数据和算法等方式限定其他交易条件，排除、限制市场竞争。

第十七条 差别待遇

具有市场支配地位的平台经济领域经营者，可能滥用市场支配地位，无正当理由对交易条件相同的交易相对人实施差别待遇，排除、限制市场竞争。分析是否构成差别待遇，可以考虑以下因素：

（一）基于大数据和算法，根据交易相对人的支付能力、消费偏好、使用习惯等，实行差异性交易价格或者其他交易条件；

（二）实行差异性标准、规则、算法；

（三）实行差异性付款条件和交易方式。

9.《信息安全技术 个人信息安全影响评估指南》（2021.06.01实施）

10.《上海新一代人工智能算法创新行动计划（2021-2023年）》（2021.07.08发布）

11.《关于维护新就业形态劳动者劳动保障权益的指导意见》（2021.07.16实施）

（十）督促企业制定修订平台进入退出、订单分配、计件单价、抽成比例、报酬构成及支付、工作时间、奖惩等直接涉及劳动者权益的制度规则和平台算法，充分听取工会或劳动者代表的意见建议，将结果公示并告知劳动者。工会或劳动者代表提出协商要求的，企业应当积极响应，并提供必要的信息和资料。指导企业建立健全劳动者申诉机制，保障劳动者的申诉得到及时回应和客观公正处理。

12.《个人信息保护法》（2021.11.01实施）

第八条 处理个人信息应当保证个人信息的质量，避免因个人信息不准确、不完整对个人权益造成不利影响。

第二十四条 个人信息处理者利用个人信息进行自动化决策，应当保证决策的透明度和结果公平、公正，不得对个人在交易价格等交易条件上实行不合理的差别待遇。通过自动化决策方式向个人进行信息推送、商业营销，应当同时提供不针对其个人特征的选项，或者向个人提供便捷的拒绝方式。通过自动化决策方式作出对个人权益有重大影响的决定，个人有权要求个人信息处理者予以说明，并有权拒绝个人信息处理者仅通过自动化决策的方式作出决定。。

第五十五条 有下列情形之一的，个人信息处理者应当事前进行个人信息保护影响评估，并对处理情况进行记录：

（一）处理敏感个人信息；

（二）利用个人信息进行自动化决策；

……

13.《信息安全技术 机器学习算法安全评估规范（征求意见稿）》（2021.08.03发布）

不断发展的算法技术是一把“双刃剑”，企业合理利用算法可为消费者提供更便捷的个性化服务，从而有利于线上市场的良性竞争和发展。但面对巨大利益，企业也可能利用算法来满足一己私利而侵犯消费者的合法权益。上文也提到了算法所带来的各种法律和社会问题，那么，企业在开发使用算法过程中应注意如下合规要点：

1. 设置退出机制和申诉机制

如前文所述，在定推、个性化展示场景中，企业应提供退出机制，即用户可以说不，赋予用户选择权。不仅如此，企业基于用户画像所使用的用户个人信息在使用目的终止后应予以删除并匿名化处理。在其他基于个人特征的场景中，企业要提供有效的申诉机制，如保险公司通过分析香烟、酒精、极限运动、驾驶等偏好数据，评估个人信息主体的生活方式、健康状况等，据此作出是否提高保费的决策；设置在工作场所的IT监测系统，监控员工的电子邮件、所使用的应用程序等，用于分析员工是否认真工作并以此决定KPI考核。由于算法自带的主观性、所处理数据的质量以及技术偏差，极易造成算法歧视，申诉机制为算法偏差导致的权益损害提供了救济途径。

近期，俄罗斯某在线支付公司使用算法解雇了147名员工，理由是算法判断这些员工“不敬业、效率低下”。该算法通过对员工线上的表现对员工进行标记，如是否参加了相关会议，是否在工作时间处理个人事务，是否积极与客户沟通等。该事件被更多质疑的是算法未必准确，在公司决策将员工裁掉之前应该有对话环节，给予员工申辩的机会，以纠正算法可能带来的错误判断。

2. 增强算法透明度和可解释性

《个人信息保护法》第二十四规定，利用个人信息进行自动化决策，应当保证决策的透明度和和结果公平、公正。通过自动化决策方式作出对个人权益有重大影响的决定，个人有权要求个人信息处理者予以说明。该条款提到了保证决策的透明度以及要求处理者对算法予以说明。目前普遍认为算法应当公开，增强算法的透明性，保证消费者的知情权，但是可作为企业商业秘密的算法，应该通过何种方式公开、向谁公开、公开到哪种程度，恐怕还需要实践给出答案。

算法运行本质是数据输入、输出的过程，但在输入输出之间存在无法解释的“黑洞”，引发“算法黑箱”问题。部分专家学者认为，由于算法黑箱的存在，技术上的不可解释性，公开算法的源代码或架构并无太大意义，因为公开并不能提供有效的对算法的说明，还有可能泄露企业的商业秘密，甚至相关主体利用公开的算法损害其他主体的正当权益。例如在搜索算法中，谷歌曾经依赖于一种叫作PageRank的算法确定搜索排序，当谷歌公开这种算法之后，很多网站就开始利用此类算法，以此达到提升网站在谷歌搜索结果排名靠前的目的，导致那些与搜索内容并不相关的网站也被谷歌搜索并排在前面。出于防范算计算法的考虑，如今谷歌采取考虑上百种参数的综合判断的搜索算法并不断更新核心算法，维持了搜索算法的秘密性。

因而，应当公开的是算法决策逻辑或决策体系。目前一些电商平台简要说明了算法所依据的个人信息字段以及决策逻辑。如某平台隐私政策中：“我们为向您展示更契合您需求的商品或服务信息，我们会收集和使用您在访问或使用淘宝平台网站或客户端时的浏览、搜索记录及设备信息、服务日志信息，以及其他取得您授权的信息，通过算法模型预测您的偏好特征，匹配您可能感兴趣的商品、服务或其他信息，并根据您点击、浏览或购买的情况，对向您展示的商品、服务或其他信息进行排序。为满足您的多元需求，我们会在排序过程中引入多样化推荐技术，拓展推荐的内容，避免同类型内容过度集中”。但是这种披露是否满足监管对于算法公布的要求，恐怕有待于进一步探讨。

我们认为，鉴于算法的秘密性，企业可在常规场景中以用户所能理解的语言解释算法的基本逻辑、所依据的个人信息字段以及算法结果使用目的，并向用户提供申诉途径；在特定场景触发时可向特定人群详细披露，如民事争议、投诉、网络安全事件等向司法部门、主管部门、监管部门公开。上文提到的外卖算法系统，执法机构可以对外卖平台进行专家内部审查，检查这些企业的算法是否满足了对劳动者的安全保障义务。对于企业来说，由于算法的开发和使用必然留痕，开发者也应注意算法的设计是否遵守法律法规、伦理道德和标准规范，是否对公共利益和企业利益进行平衡，是否有效保护了用户的权益，特别是用户的知情权。

3. 按比例原则进行人工干预

人工干预是指商家/平台不能完全依赖机器算法，应按照比例原则加入人工审核机制。比如某短视频平台的审核算法，在该平台上每天有大量的新作品上传，纯靠机器审核容易被钻空子，纯靠人工审核又不太现实。因此，双重审核成为算法筛选视频内容的第一道门槛。

该算法的具体规则是：先通过提前设置好的算法来识别新作品的视频画面和关键词，一是作品、文案中是否存在违规行为，如果疑似存在，就会被机器拦截，通过飘黄、标红等提示人工注意；二是通过抽取视频中的画面、关键帧，与平台大数据库中已存在的海量作品进行匹配消重，内容重复的作品进行低流量推荐，或者降权推荐；针对机器审核筛选出疑似违规作品，以及容易出现违规领域的作品，审核人员进行逐个细致审核。如果确定违规，将根据违规账号进行删除视频、降权通告、封禁账号等处罚。部分平台曾经由于过分依赖机器审核，导致大量违法违规、低俗信息在网上流传，监管对其进行约谈并要求整改。

人机互补，人为干预可以在一定程度上解决算法所带来的风险。但是，鉴于算法运用的场景之丰富与普遍，算法早已渗透进我们的生活和工作，不可能在所有使用算法的场景都引入人工干预，这时就需要对所使用的算法可能造成的后果进行安全评估。

4.对算法进行安全/影响评估

在算法公开受限，人工干预不适用所有场景的情况下，对算法的开发和使用进行有效的安全/影响评估就显得特别重要。《个人信息保护法》第五十五条规定，利用个人信息进行自动化决策的应当进行个人信息保护影响评估。在《信息安全技术 机器学习算法安全评估规范（征求意见稿）》和《信息安全技术 个人信息安全影响评估指南》中，都对算法的安全评估提出了具体的标准，但是两份国标的评估侧重点却又不同。

《信息安全技术 个人信息安全影响评估指南》从个人信息权益保护的角度提出，认为高风险个人信息处理活动应该进行安全评估。其附录对高风险个人信息处理活动及场景进行了列举，包括对个人信息主体使用社交网络和其他应用程序的行为进行分析，以便向其发送商业信息或垃圾邮件；银行或其他金融组织在提供贷款前使用人工智能算法对个人信息主体进行信用评估，并且数据处理涉及与信用评估没有直接关联的数据；以及电商平台监控用户购物行为，进行用户画像，分析用户的购买偏好，从而自动设置促销价格，或设置针对用户特定偏好的营销计划等。

《信息安全技术 机器学习算法安全评估规范（征求意见稿）》侧重于从算法的设计开发、验证测试、部署运行、维护升级、退役下线等全生命周期进行安全评估，算法安全不仅涉及算法自身安全，也涉及算法应用安全，算法安全应满足算法保密性、完整性、可用性、可控性、鲁棒性和隐私性等基本安全属性。规范第八章的安全评估实施包括了明确评估范围、制定评估方案、编制评估报告等内容，附件A还给出了算法安全所需满足的各项安全指标。

两份国标中的安全评估分为自评估和第三方评估，不排除政府基于监管而委托第三方进行的评估。虽然推荐性国标不具有强制执行力，但却是企业减轻免除责任的实施手段之一，如企业事先事中都对算法的安全性进行评估，既使发生网络/数据安全事件，主管/监管部门考虑到人工智能技术的不可预测性以及企业已经尽责的情况下予以手下留情。具体如何进行安全评估，可自行参照国标，在此不展开。

以自动驾驶领域为例，该领域直接与人们的生命、财产安全息息相关，其安全性为人们所担忧。上文提到，美国国家公路交通安全管理局对特斯拉自动驾驶系统展开安全调查，各国对自动驾驶均持谨慎态度，要求进行充分的测试才有可能大规模投产。2018年4月，三部委联合印发了《智能网联汽车道路测试管理规范（试行）》的通知，对智能网联汽车的测试提出具体的要求，但没有对测试通过后的相关程序予以明确。我们认为，在诸如公共服务、交通驾驶、金融服务、健康卫生、福利教育等重要领域等，应当构建完整的算法测试规则与程序给企业以指引。

对于企业来说，算法的安全性以及对个人权益的影响有多大，需要事先结合相关规定进行安全/影响评估，尽可能减少算法带来的潜在风险，推动可信的、负责任的、以人为本的算法决策机制，同时，企业应将算法可能导致的后果与网络/数据安全应急机制相结合，当出现基于算法导致的安全事件时，企业可以迅速作出反应并减少负面影响。

综上，尽管算法应用已十分广泛，影响着我们生活的方方面面，但是对算法的规制目前还处于起步阶段，相关的法律法规尚不完善，还有待于进一步的探索和研究，但是可以看到，政策制定者已经对出现的算法问题进行了有针对性的规制，从政策反馈的速度来看，监管正在着力促使算法的合法合规，以不损害个人、组织和公共利益、国家安全为前提，力求解决人工智能时代产生的新问题。对于企业来说，算法的开发和使用不仅要合法合规，还要考虑是否可信、负责、符合一般伦理。