1. 核心观点

随着 AI 以超乎想象的速度演化,必将引起对 AI 利剑的另一「刃」——信任——的担忧。首先是隐私方面:AI 时代,人类从隐私的角度如何信任 AI?也许 AI 模型的透明度是更为担忧的关键:类似大规模语言模型的涌现能力,对人类来说无异于一个无法看透的科技「黑匣子」,一般用户并不能理解模型是如何运行的、运行结果又是如何获得的(本身模型就充满了难以理解或者预测的能力)——更麻烦的是,作为用户可能并不知道服务商提供的 AI 模型是否如承诺的那样运行。尤其是在一些敏感数据上应用 AI 算法和模型,如医疗、金融、互联网应用等,AI 模型是否具有偏见(甚至恶意导向)、或者服务商是否按照承诺那样准确无误地运行模型(以及相关参数),成为用户最为关心的问题。

零知识证明技术在这方面有着针对性的解决方案,于是零知识机器学习(ZKML)成为最新崛起的发展方向。本文探讨了 ZKML 技术的特点、潜在应用场景和一些具有启发性的案例,并对 ZKML 的发展方向及可能的产业影响做了研究阐述。

2. AI 利剑的「另一刃」:如何信任 AI?

人工智能的能力正在迅速接近人类,并且已经在许多利基领域超越了人类。最近大型语言模型 (LLM) 的快速发展表明这些模型变得越来越智能,这些模型完善了算法与人类的重要接口:语言。通用人工智能 (AGI) 的趋势已经不可阻挡,但就现在的模型训练结果来看,AI 可以在数字交互中完美模仿高能力的人类——且在快速的演进中以不可想象的速度达到超越人类的水平。语言模型最近取得了重大进展,以 ChatGPT 为代表的产品表现惊艳,在大多数常规评估中达到了人类能力的 20% 以上,当比较仅相隔几个月的 GPT-3.5 和 GPT-4 时,使得人类不得不惊叹这种进化速度。但另一面则是对 AI 能力失控的担忧。

首先是隐私方面。AI 时代,随着人脸识别等技术的发展,用户在体验 AI 服务的同时,时刻都在担心数据泄露风险。这给 AI 的推广和发展带来了一定阻碍——从隐私的角度如何信任 AI?

也许 AI 模型的透明度是更为担忧的关键。类似大规模语言模型的涌现能力,对人类来说无异于一个无法看透的科技「黑匣子」,一般用户并不能理解模型是如何运行的、运行结果又是如何获得的(本身模型就充满了难以理解或者预测的能力)——更麻烦的是,作为用户可能并不知道服务商提供的 AI 模型是否如承诺的那样运行。尤其是在一些敏感数据上应用 AI 算法和模型,如医疗、金融、互联网应用等,AI 模型是否具有偏见(甚至恶意导向)、或者服务商是否按照承诺那样准确无误地运行模型(以及相关参数),成为用户最为关心的问题。如社交应用平台是否按照「一视同仁」的算法进行相关推荐?来自金融服务商 AI 算法的推荐是否如承诺的那样准确、完整运行?AI 的推荐的医疗服务方案是否有不必要的消费?服务商是否接受对 AI 模型进行审计?

简单来说,一方面用户并不知道服务商提供的 AI 模型的真实情况,同时非常担心模型并非「一视同仁」,AI 模式被认为加入一些带有偏见或者其他导向的因素,会给用户带来未知的损失或负面影响。

另一方面,AI 的自我演化速度似乎越来越难以预测,越来越强大的 AI 算法模型似乎越来越超出人控制的可能,因此信任问题成为 AI 这把利剑的另一「刃」。

3. ZKML:零知识证明与 AI 结合带来信任

3.1.零知识证明:zk-SNARKS、zk-STARK 等技术日趋成熟

零知识证明(Zero Knowledge Proof,ZKP)最早由 MIT 的 Shafi Goldwasser 和 Silvio Micali 在 1985 年一篇名为《互动式证明系统的知识复杂性》的论文中提出。作者在论文中提到,证明者(prover)有可能在不透露具体数据的情况下让验证者(verifier)相信数据的真实性。公共的函数 f(x) 和一个函数的输出值 y,Alice 对 Bob 说她知道 x 值,但是 Bob 不信。为此,Alice 使用零知识证明算法,来生成一个证明。Bob 验证这个证明,确认 Alice 是不是真的知道满足函数 f 的 x。

举例来说,利用零知识证明,可以不知道小明考试的成绩,而可以知道其成绩是否满足用户的要求——比如是否及格、是否填空题正确率超过 60% 等等。在 AI 领域,结合零知识证明,则可以对 AI 模型有可靠的信任工具。

零知识证明可以是交互式的,即证明者面对每个验证者都要证明一次数据的真实性;也可以是非交互式的,即证明者创建一份证明,任何使用这份证明的人都可以进行验证。

假设验证时间是以交易数量对数的平方,那么 10000 笔交易一个块的机器验证时间是

VTime = ( )2 ~ (13.2)2 ~ 177 ms;现在将块大小增加一百倍(达到 100 万 tx/ 块),验证器的新运行时间是 VTime = (log2 1000000)2 ~ 202 ~ 400 ms。因此,我们能看到其超强的可拓展性,这就是为什么说,从理论上 tps 能够达到无限的原因。

验证是非常快的,而所有的难点就在于生成证明这一部分。只要生成证明的速度跟得上,那么链上验证就很简单。零知识证明目前有多种实现方式,如 zk-SNARKS、zk-STARKS、PLONK 以及 Bulletproofs。每种方式在证明大小、证明者时间以及验证时间上都有自己的优缺点。

零知识证明越复杂、越大,则性能越高,验证所需的时间越短。如下图,STARKs 和 Bulletproofs 无需可信设置,随着交易数据量从 1TX 激增至 10000TX,后者证明的大小增加的更少。Bulletproofs 的优点是证明的大小是对数变换(即使 f 和 x 很大),有可能将证明存入区块,但其验证的计算复杂度是线性的。可见各类算法都有很多要权衡的关键点,亦有很多待升级的空间,然而在实际运行过程中,生成证明的难度远比想象中的要大,因此现在行业都致力于解决生成证明的问题。

虽然零知识证明技术的发展还不足以匹配类似大语言模型(LLM)的规模,但其技术实现有着启发性的应用场景。特别是在 AI 双刃剑的发展状况下,零知识证明为 AI 信任化提供了可靠的解决方案。

3.2.零知识机器学习(ZKML):去信任化的 AI

在 AI 生成内容越来越逼近于人类所产生的内容的时代,零知识密证明的技术特点可以帮助我们确定特定内容是通过将特定模型产生的。对于隐私保护,零知识证明技术特别重要,即可以在不泄露用户数据输入或模型具体细节的情况下完成证明和验证。综合考虑到计算的完整性、启发性优化以及隐私,零知识证明和 AI 的结合下,零知识机器学习(Zero-Knowledge Machine Learning,ZKML)应运而生。

以下是零知识证明应用于机器学习的五种方式。除计算完整性、模型完整性和用户隐私这些基础功能外,零知识机器学习还能带来分布式训练——这将促进 AI 与区块链的融合,以及人来在 AI 丛林里的身份证明(该部分可以详见我们的报告《OpenAI 创始人的 Web3 愿景:Worldcoin 打造 AI 数字通行证》)。

3.3.启发性案例:验证 Twitter 推荐排名算法

Twitter 的「For You」推荐功能利用一种 AI 推荐算法,将每天发布的大约 5 亿条推文提炼成少数几条热门推文,最终显示在用户主页的「For You」时间轴上。该推荐从推文、用户和参与数据中提取潜在信息以便能够提供更相关的推荐。2023 年 3 月底,Twitter 开源了推荐功能「For You」在时间轴上选择和排名帖子的算法。推荐流程大致如下:

1)从用户与网站的交互中生成用户行为特征,从不同的推荐来源获取最佳推文;

2)使用 AI 算法模型对每条推文进行排名;

3)应用启发功能和过滤器,例如过滤掉来自用户已阻止的推文内容和已经看过的推文等。

该推荐算法最核心的模块是负责构建和提供 For You 时间线的服务—— Home Mixer。该服务充当连接不同候选源、评分函数、启发式方法和过滤器的算法主干。

「For You」推荐功能根据大约 1500 个可能相关的候选推荐,预测每个候选推文的相关性并进行评分。推特官网称在此阶段,所有候选推文都受到平等对待。而最核心的排名则是通过一个约 4800 万参数的神经网络实现的,该神经网络在推文交互上持续训练以优化。这种排名机制考虑了数千个特征并输出十个左右的标签来为每条推文打分,其中每个标签代表参与的概率,然后根据这些分数对推文进行排名。

虽然这是推特推荐算法迈向透明的重要一步,但用户依然无法验证算法是否准确、完整运行——一个主要原因是用于对推文进行排名的算法模型中具体的权重细节以保护用户隐私的缘由而未公开。因此,算法的透明度依旧存疑。

利用 ZKML(零知识机器学习)技术,可以在 Twitter 不公开算法模型权重细节的情况下证明是否准确、完整运行(模型及其参数对不同用户是否「一视同仁」),这使得在算法模型隐私保护和透明性之间取得了很好的平衡。

社区开发者 Daniel Kang 等利用密码学工具 ZK-SNARKs 来检查 Twitter 推荐算法是否正确、完整运行而无需公开算法细节——这正是零知识证明最吸引人之处,即不透露关于对象的任何具体信息(零知识)的前提下证明该信息的可信性。最理想的情况是,Twitter 可以使用 ZK-SNARKS 来发布其排名模型的证明——证明当该模型应用于特定用户和推文时,它会产生特定的最终输出排名。该证明则是该模型可信的基础:用户可以自行验证模式算法的计算是否按承诺执行——或者交给第三方来进行审计。这一切都是在不公开模型参数权重细节的基础上进行。也就是说,利用官方公布的模型证明,用户对具体的有疑问的推文,利用该证明来验证特定推文是否按照模型承诺那样诚实运行。

假设用户认为「For You」推荐功能的时间线值得怀疑——认为某些推文的排名应该更高(或低)。如果 Twitter 能够上线 ZKML 证明功能,用户可以利用官方给出的证明来自行检查怀疑的推文与时间轴中的其他推文相比排名如何(计算出的分数对应着排名),如果排名与模型的分数不符,则表示对这些特定推文的算法模型并非诚实运行(而是人为地在一些参数上有变化)。可以这样理解,官方虽然不公布模型的具体细节,但是根据模型给出了一把魔法棒(模型产生的证明),任何推文利用这个魔法棒都能展现相关排名分数——而根据这个魔法棒却无法还原模型隐私细节。因此,官方模型的细节隐私得到保护的情况下获得审计。

撰文:宋嘉吉、任鹤义 来源:国盛证券

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注