检测令条款：欧盟《预防与打击儿童性虐待的条例》会侵犯隐私权吗？

近年来，随着互联网的普及，儿童网络性虐待（sexual abuse）与性剥削（sexual exploitation）在全球范围内日趋严重。根据英国慈善机构儿童社会（The Children’s Society）的定义，儿童性虐待指“儿童被强迫、诱骗进行性行为”，儿童性剥削则指“成年人通过向儿童提供礼物、金钱，甚至表达好感等方式骗取儿童的信任，从而引诱儿童进行性行为，为儿童性虐待的一种”，儿童性剥削具体可能体现为剥削者引诱儿童向其发送性暴露照片、与其发生性对话或直播、拍摄性行为等。^[1]

自1998年美国国会成立的国家失踪和受剥削儿童中心（National Center for Missing & Exploited Children, NCMEC）设立专门接受在线儿童性剥削举报的平台CyberTipline以来，CyberTipline已审核了由公众或网络平台报告的数亿张涉及儿童在线性虐待内容（Child Sexual Abuse Material, CSAM）的图像，该平台的工作人员会尝试找到发生性虐待的地点信息，并将该信息传送给当地的执法机构以供进一步调查。

仅是2022年，CyberTipline就收到来自世界各地的超过3200万涉嫌儿童在线性剥削的报告，包括儿童性拐卖、儿童性骚扰、未经允许向儿童发送色情制品、网上引诱儿童发生性行为等，而其中有超过99.5%的内容都疑似涉及持有、制造、传播CSAM。^[2]

来源：CyberTipline网站

英国儿童保护慈善机构全国防止虐待儿童协会（National Society for the Prevention of Cruelty to Children，NSPCC）在2018年2月至3月进行的一份关于儿童上网体验的调查显示，在英国，每20名儿童中就有1名在与陌生人进行直播时被要求脱掉一件衣服。^[3] 

在欧盟国家，由欧盟发布的一份关于打击犯罪的报告显示，2022年共发现了684起儿童性剥削案件，这些案件中有536起涉及新的儿童性剥削制品。执法机构对此开展了60项调查，而只有30名犯罪嫌疑人被执行逮捕。^[4] 

欧盟理事会网站的人权频道页面揭示了更惊人的数字：在欧洲，约有五分之一的儿童遭受过某种形式的性暴力，包括性骚扰、强奸、性诱拐、露阴癖等；70%-85%的儿童认识施害者，而绝大部分的施害者是儿童信任的人；三分之一的儿童从不告诉任何人有关性虐待的事，儿童因羞愧、害怕、不知何为性暴力或误认为与施害者处于某种“亲密关系”中而保持沉默。^[5]

来源：欧盟理事会网站 ^[6]

为了更好地防治儿童网络性虐待，2022年5月11日欧盟的立法建议与执行机构欧盟委员会通过了一项预防与打击儿童性虐待的立法提案——《预防与打击儿童性虐待的条例》（下称“CSAR”）^[7]，委员会在CSAR提案通过当天发布的新闻稿中指出，在欧洲，儿童网络性虐待的防治目前主要依靠网络平台的自愿检测与报告，而事实证明，自愿行动是不够的，欧洲需要统一的规则来预防与打击儿童性虐待。^[8] 

然而，这一提案引发了极大争议，仍处于欧盟理事会（Council of the European Union）的讨论阶段，需要理事会与欧洲议会（European Parliament）的共同表决通过才能生效。

CSAR的关键规定在于，它要求网络服务提供方必须评估并降低其平台上存在的儿童网络性虐待的风险，并在需要时采取针对性措施来检测、报告并移除涉及CSAM的内容。而争议正是围绕着CSAR关键规定中的关键：检测令条款（Detection Orders，第7-11条）。

来源：EUR-Lex欧盟法律公开网站

关于检测令的规定集中在CSAR的第7-11条。根据这五项条款的规定，CSAR授予协调机构（Coordinating Authorities）要求司法机构或独立行政机构发出检测令的权力，以要求网络托管服务或人际通信服务的提供方（如Instagram，Facebook等，下称“提供方”）对其特定服务的儿童性剥削情况进行检测。

协调机构由各成员国提名并指定，负责CSAR的执行，包括启动检测令程序、屏蔽程序与删除程序，监督检测令、屏蔽令与移除令的执行，以及在国家层面协调与CSAR的所有相关工作。

在启动检测令程序时，协调机构应当先拟定检测令要求的草案（draft request），在其中写明检测令的主要内容与发出检测令的理由，将草案发至根据CSAR设立的新欧盟中心（EU Center）与提供方，听取双方意见后，再次考虑其检测令要求。

如果协调机构仍认为其要求合理，确实有证据表明平台存在着严重的儿童性虐待情况，以及在考虑受检测令影响的各方的基本权利与利益后，认为确实利大于弊，那么协调机构则应在酌情调整草案后，将草案发送至网络服务提供方。提供方应当在协调机构规定的合理期限内，向协调机构出具一份检测令执行计划，若检测令的执行存在高风险，或与儿童网络性诱拐相关，那么提供方必须评估执行检测令对数据保护的影响，同时必须听取数据保护国家机构的意见。

在收到提供方出具的执行计划后，协调机构若再次确认其要求合理，那么则有权正式向司法机构或独立的行政机构发出检测令要求，相应机构在收到要求后，应当继续作出评估，若检测令要求确实有合理依据，那么其有权发出检测令。

检测令发布后，收到检测令的网络服务提供方即有义务检测其服务中的CSAM。检测报告将会发送至EU Center，该中心将对涉嫌CSAM的内容进行检查，以排除错误报告，并在必要时将其转交执法部门和欧洲刑警组织（Europol）。

致力于保护人权与自由的非营利国际性倡导组织欧洲数字权利（European Digital Rights，EDRi）自2022年CSAR提案出台以来就是该提案的最激烈反对者之一。

2022年10月，EDRi将其对CSAR的立场写成了一份名为“人人都能安全上网：维护私密、安全的通信”（A safe internet for all：upholding private and secure communication）的报告，分析了CSAR通过的背景、欧盟法律框架、CSAR关键条款，并给出了结论与建议^[9]；2023年5月，EDRi将报告的关键点进一步总结成了一本26页的小册子^[10]。

在这本小册子中，EDRi将批评的矛头之一对准了检测令条款，认为该条款会不可避免地侵犯用户隐私权。

来源：EDRi网站

EDRi归纳了三种可能会被要求进行检测的内容——已知的CSAM（known CSAM），新的CSAM（new CSAM）与儿童性诱拐（child sexual grooming），并对这三种内容的检测方式分别提出了批评。

已知的CSAM通常指的是以前报告、审查过并已存入哈希（hash）数据库中的图像或视频。哈希值是通过哈希函数对输入数据生成的固定长度的字符串或数字。这个过程是单向的，意味着从哈希值无法还原出原始输入数据，因此它常常被用于加密明文。

检测已知的CSAM的过程是这样的：扫描网络平台上的内容，如用户发出的信息等，并将其与哈希数据库中的内容进行比对，如能比对成功，则说明扫描的内容为收录在数据库中的已知的CSAM。

针对检测已知的CSAM的方式，EDRi质疑数据库及扫描技术并不像其开发者主张的那样精确，对其精确性并不存在独立验证，因为在法案实施影响评估报告（Impact Assessment）中，涉及扫描、检测技术准确性的数据来源于技术开发者本身。

EDRi作出这一论断的依据有二：一，出具报告的欧盟委员会称，其对扫描、检测工具准确性的评估完全基于开发商自行报告的统计数据；二，EDRi的成员也进一步作出了信息获取自由（A Freedom of Access to Information，FOIA）的申请，要求委员会提供其认为扫描、检测工具有足够准确性的更多依据，委员会根据这一申请，确认其基于行业声明（industry claims），即开发商本身的陈述，作出了准确性判断，并没有独立的第三方对扫描、检测工具的准确性进行验证。

新的CSAM指的是以前未被报告且认定为CSAM或未放入哈希数据库的内容。检测新CSAM则依靠裸露程度检测等基于AI的技术，这类AI技术经过大量训练，以区分开CSAM与非CSAM。EDRi质疑这类技术不仅会标记CSAM内容，而且会标记CSAM之外的满足裸露程度要求或其他指标的内容，例如标记儿童洗澡时的照片或穿着比基尼的成人照片为CSAM。

EDRi首先批评了被欧盟委员会认为具有极高准确度的PhotoDNA技术，该技术由微软开发，是目前用于检测CSAM内容的主要技术之一。根据LinkedIn于2021年发布的其在2021年7月14日至2021年12月31日期间使用技术检测、报告和删除CSAM的相关数据，被PhotoDNA识别为CSAM的75个文件中，只有31个的确是CSAM，而这就意味着该技术的准确率只有41%。

依据Meta爱尔兰分公司（Meta Platforms Ireland Limited）2022年2月发布的其在2021年11月8日至2021年12月31日期间使用技术检测、报告和删除CSAM的相关数据，EDRi强调，在不到两个月的时间里，检测技术对207个Facebook与Instagram账户作出错误报告，认为其传播CSAM并删除了其账户，此外，还有数千名用户仍在就删除其账户提出申诉^[11]。

而错误报告的后果是极为严重的，EDRi引述了一篇纽约时报于2022年8月21日发布的报道，报道中提到一位父亲拍下了儿子的裸体发给医生寻求医疗建议，这些照片与视频自动备份到谷歌云储存空间（Google cloud），两天后，因这些内容被标记为CSAM，其谷歌账户被禁用，他失去了所有朋友、同事的联系方式，以及儿子一岁时的所有照片。接着，这位父亲还受到当地警察局的调查。

儿童性诱拐指的是刻意与儿童或儿童的家人建立情感关系，以降低儿童或其家人的戒心，进而达到性虐待的目的。检测则需要使用基于AI的语言分析与概率技术来搜寻诱拐证据，包括可能表明某人正在诱拐儿童的文字、音频或其他行为，这些AI技术大量学习过现有的儿童性诱拐模式。

如同其对检测新CSAM的技术的态度，EDRi认为，基于AI技术检测儿童性诱拐也存在误报的可能。不仅如此，EDRi进一步指出，由于儿童性诱拐的判断很大程度上基于其文字、音频或其他行为的前后语境，并且性诱拐行为的构成也依赖于不同欧盟国家对性同意年龄的规定，AI技术很难理解语境与法律框架的不同，因此会更容易产生误报结果。

即使是最先进的基于机器学习的自然语言处理（Machine Learning-based Natural Language Processing，ML-NLP）模型，其在学习大量的人类自然语言后，也会在理解人类语言中的情感、理解上下文语意、识别文本中的关键词等自然语言处理主要任务上有着高达百分之几的错误率。

以上批评聚焦于检测技术的准确性及误报的后果，EDRi还强调了检测令对端到端加密（end-to-end encrypted, E2EE）的影响。端到端加密是一种安全通信方式，其中通信的两端（发送方和接收方）之间的数据在整个传输过程中都是加密的，即使在数据传输的中间节点（如网络服务提供商）也无法解密或访问其内容。强调隐私与安全性的通信软件已经采用了端到端加密，如WhatsApp与Signal，二者都默认以端到端加密的方式保护用户的所有消息与通话。

EDRi认为，尽管CSAR规定检测用于特定情形，但确定特定情形的过程要求平台检测所有人的内容，包括端到端加密内容。由于CSAR提案并不将端到端加密内容作为不受检测的例外，那么这就会从根本上破坏端到端加密的安全性。因为目前已知可用于检测E2EE内容的方法要么会削弱加密，要么会需要引入客户端扫描（Client-Side Scanning，CS，指在加密前或解密后，在通信的一端对手机、电脑等客户端设备上的内容进行扫描），而客户端扫描受到网络安全保护与人权保护人士的严重诟病。

EDRi引用了致力于保护隐私权的非营利组织隐私国际（Privacy International，PI）2022年9月发布的一份关于隐私保护与端到端加密的报告，报告称，客户端扫描可以通过比对用户设备上的信息与储存在远程服务器上的信息，使得执法部门能够对用户设备进行远程搜索，而不仅仅是阅读加密通信的内容；它为了寻找CSAM，而扫描了所有用户通过端到端加密发送的内容，这是一种不加区分的、普遍的监控，这种监控很有可能会引发严重的寒蝉效应，人们会限制自己与他人的沟通方式，并进行自我审查，对言论自由和结社自由产生不利影响。^[12]

来源：Privacy International网站

2022年4月，英国非营利组织网络观察基金会（Internet Watch Foundation, IWF）、欧洲儿童保护社会组织Eurochild等65个非政府组织成立欧洲儿童性虐待立法倡导小组(European Child Sexual Abuse Legislation Advocacy Group，ECLAG)，致力于推动欧盟数字与社会政策对儿童的保护，是CSAR的坚定支持者。2023年10月，ECLAG发布报告，旨在回应CSAR提案发布后反对者对隐私权的忧虑，谈及反对者对CSAR存在的6个误解以及与CSAR有关的6个事实。^[13] 报告中的以下几点直接回应了反对者对检测令条款的质疑：

来源：Child safety in Europe网站

第一，对于检测技术的准确性，ECLAG引述了以国际性咨询公司Ecorys为首出具的法案实施影响评估报告，报告显示，目前已采用的检测技术报告新的CSAM内容的准确率明显高于90%，一些现存的诱拐检测技术在经人工审核之前准确率则为88%。^[14] 

另外，ECLAG的成员Eurochild在2023年10月24日发布的一篇评论文章中指出，具有高安全性与隐私性的检测技术不仅存在，且已在被使用，例如Thorn开发的Safer Tool与谷歌公司开发的内容安全API（Content Safety API）。^[15] 

Safer Tool通过与哈希数据库进行匹配以及AI技术来分别识别已知CSAM与新CSAM，识别出的内容经由人工审核后可直接发送给相关的网络举报热线^[16]；内容安全API则基于AI技术，专门用于检测可能包含新CSAM的图片，并进行分级，其给出的优先级越高，图片越可能包含CSAM，使用内容安全API的网络平台可以据此决定对图片进行人工审核的顺序。^[17]

第二，针对检测技术会破坏端到端加密的指控，ECLAG指出，在端到端加密中，已存在足以保护隐私的检测技术，如客户端扫描。

目前，WhatsApp已采用该技术自动在用户客户端检查可疑网址（Universal Resource Locator, URL），在不影响端到端加密的情况下防止恶意网址在其加密信息服务上传播^[18]；

Chrome^[19]和Edge^[20]等浏览器也以同样的方式在用户导航至危险网站或下载时向用户发出警告；苹果公司也同样推出了“敏感内容警告”和“通信安全”工具，该工具会扫描儿童设备上的本地信息，标记发送和接收的含有裸露内容的信息^[21]。

来源：苹果手机“设置”

第三，ECLAG认为，反对者关于“检测技术将读取所有信息，造成大规模监控”的指控基于对检测令程序、现有技术的误解，以及毫无根据的恐惧情绪。

首先，根据CSAR提案，检测令只有在经过风险评估、多重审查、法院命令等程序后才可能发出，因此检测技术几乎不可能被滥用；

其次，检测技术不会读取（read）或“理解（understand）”所有信息，其只是寻找匹配的对象。就已知的CSAM内容而言，检测技术通过哈希值匹配数据库中的已知CSAM的内容与检测内容；就新的CSAM而言，检测则通过AI技术来进行，该技术受训区分开CSAM内容与合法内容，AI技术标记出可能为CSAM的内容，最后进行人工审核。

总结而言，EDRi对检测令条款的批评有三：第一，质疑检测令所需运用的技术，认为检测三种CSAM内容的现有技术都会产生误报，准确率不够高，误报不仅会使用户失去其网络账号，还有可能给用户招致被调查的麻烦；第二，检测令条款的存在会从根本上破坏端到端加密，无法保护用户的隐私权；第三，目前能够在端到端加密环境下进行检测的客户端扫描技术，要求扫描用户设备上的所有内容，这可能引发严重的寒蝉效应。

尽管ECLAG在EDRi发表其批评的一年后才发布报告，它对批评的回应却显得有些无力：ECLAG强调现有检测技术准确性高且被广泛使用，但并未提供对技术准确性的独立验证，也没有回应对客户端扫描技术的质疑；而面对“引发大规模监控社会”的担忧，ECLAG仅仅强调检测技术可靠，以及检测令程序严格。

作为普通读者，我们或许难以判断能够平衡儿童网络性虐待防治与隐私保护的技术是否存在，但即使专业人士能够证明这样的技术存在，我们也能从反对者与支持者的交锋中感知到，若欧盟公民质疑欧盟权威机构与拥有技术的网络公司可能滥用权力侵犯隐私，这背后的信任危机则是亟待解决的又一棘手问题。