ZKML——迈向可验证人工智能的未来

背景

在过去的几个月里，人工智能行业出现了多项突破。 GPT4 和 Stable Diffusion 等模型正在改变人们生成软件和互联网以及与之交互的方式。

尽管这些新的 AI 模型具有令人印象深刻的功能，但一些人仍然担心 AI 的不可预测性和一致性问题。例如，在线服务领域缺乏透明度，其中大部分后端工作由 AI 模型运行。验证这些模型是否以预期的方式运行是一项挑战。此外，用户隐私也是一个问题，因为我们提供给模型 API 的所有数据都可用于改进 AI 或被黑客利用。

ZKML 可能是解决这些问题的新方法。通过将可验证和无需信任的属性注入机器学习模型，区块链和 ZK 技术可以形成 AI 对齐的框架。

什么是 ZKML

本文中的零知识机器学习（ZKML）是指在不暴露模型输入或模型参数的情况下，使用zkSNARK（一种零知识证明）来证明机器学习推理的正确性。根据隐私信息的不同，ZKML 的用例可以分为以下类型：

公共模型+私有数据：

• 隐私保护机器学习：ZKML 可用于在敏感数据上训练和评估机器学习模型，而无需向任何其他人透露数据。这对于医疗诊断和金融欺诈检测等应用可能很重要。我们也看到一些玩家在生物特征数据认证上使用 ZKML 来构建人性证明服务。
• 证明：在大多数在线内容由 AI 生成的世界中，密码学可以提供真相的来源。人们正在尝试使用 ZKML 来解决 deepfake 问题。

私有模型+公共数据：

• 模型真实性：ZKML 可用于确保机器学习模型的一致性。这对于用户确保模型提供者不会懒惰地使用较便宜的模型或被黑客攻击可能很重要。

去中心化的 Kaggle：ZKML 允许数据科学竞赛的参与者证明模型在公共测试数据上的准确性，而无需透露训练中的模型权重

公开模型+公开数据：

• 去中心化推理：这种方法主要是利用 ZKML 的简洁特性，将复杂的 AI 计算压缩到类似于 ZK rollup 的链上证明。这种方法可以将模型服务的成本分配给多个节点。

由于 zkSNARK 将成为加密世界的一项非常重要的技术，ZKML 也有可能改变加密领域。通过在智能合约中加入AI能力，ZKML可以解锁更复杂的链上应用。这种集成在 ZKML 社区中被描述为“赋予区块链眼睛”。

技术瓶颈

然而，ZK-ML 带来了一些当前必须解决的技术挑战。

量化：ZKP 在场上工作，但神经网络在浮点数中训练。这意味着为了使神经网络模型 zk/blockchain 友好，它需要转换为具有完整计算跟踪的固定点算术表示。这可能会牺牲模型性能，因为参数的精度较低。

跨语言翻译：神经网络 AI 模型是用 python 和 cpp 编写的，而 ZKP 电路需要 r​​ust。所以我们需要一个翻译层来将模型转换为基于 ZKP 的运行时。通常这种类型的翻译层是模型特定的，很难设计一个通用的。

ZKP 的计算成本：ZKP 的成本基本上会比原来的 ML 计算高很多。根据 Modulus labs 的实验，对于一个 20M 参数的模型，根据不同的 ZK 证明系统，生成证明需要 1-5 分钟以上的时间，内存消耗在 20-60GB 左右。

智能的成本 — Modulus Labs

现状

即使面临这些挑战，我们也看到 ZKML 引起了加密社区的极大兴趣，并且有一些优秀的团队正在探索这一领域。

基础设施

模型编译器

由于 ZKML 的主要瓶颈是将 AI 模型转换为 ZK 电路，一些团队正在研究 ZK 模型编译器等基础层。从 1 年前的逻辑回归模型或简单的 CNN 模型开始，该领域已经快速进入更复杂的模型。

EZKL 项目现在支持高达 100mm 参数的模型。它使用 ONNX 格式和 halo2 ZKP 系统。该库还支持仅提交模型的一部分。

ZKML库已经支持GPT2、Bert和diffusion模型的ZKP！

ZKVM

ZKML 编译器也属于一些更通用的零知识虚拟机领域。

Risc Zero是一个使用开源RiscV指令集的zkVM，因此可以支持c++和rust的ZKP。这个 zkDTP 项目展示了如何将决策树 ML 模型转换为 Rust 并在 Risc Zero 上运行。

我们还看到一些团队正在尝试通过 Startnet（吉萨）和 Aleo（零重力）将 AI 模型带到链上。

应用

除了基础设施，其他团队也开始探索 ZKML 的应用

Defi:

DeFi 用例的一个示例是 AI 驱动的金库，其中机制由 AI 模型而不是固定策略定义。这些策略可以利用链上和链下数据来预测市场趋势并执行交易。 ZKML 保证链上模型一致。这可以使整个过程自动化且无需信任。 Mondulus Labs 正在构建 RockyBot。该团队训练了一个链上 AI 模型来预测 ETH 价格，并构建了一个智能合约来自动与该模型进行交易。

其他潜在的 DeFi 用例包括 AI 支持的 DEX 和借贷协议。预言机还可以利用 ZKML 提供从链下数据生成的新型数据源。

Gaming:

Modulus labs 推出了一款基于 ZKML 的国际象棋游戏 Leela，所有用户都可以与一个由 ZK 验证的 AI 模型提供支持的机器人一起玩。人工智能能力可以为现有的完全链上游戏带来更多的交互功能。

NFT/创作者经济：

EIP-7007：该 EIP 提供了一个接口来使用 ZKML 来验证 AI 为 NFT 生成的内容是否确实来自具有特定输入（提示）的特定模型。该标准可以启用 AI 生成的 NFT 集合，甚至可以为新型创作者经济提供动力。

EIP-7007 项目工作流程

Identity:

Wordcoin 项目正在提供基于用户生物识别信息的人性证明解决方案。该团队正在探索使用 ZKML 让用户以无需许可的方式生成 Iris 代码。当生成 Iris 代码的算法升级后，用户可以自行下载模型并生成证明，而无需去 Orb 站。

采用的关键

考虑到人工智能模型零知识证明的高成本。我们认为 ZKML 的采用可以从一些信任成本高的加密本机用例开始。

我们应该考虑的另一个市场是数据隐私非常重要的行业，例如医疗保健行业。为此，还有其他解决方案，如联邦学习和安全 MPC，但 ZKML 可以利用区块链的可扩展激励网络。

更广泛地大规模采用 ZKML 可能取决于人们失去对现有大型 AI 提供商的信任。会不会出现一些事件，提高整个行业的意识，促使用户考虑可验证的 AI 技术？

总结

ZKML 仍处于早期阶段，有许多挑战需要克服。但随着 ZK 技术的改进，我们认为人们很快就会发现几个具有很强产品市场契合度的 ZKML 用例。这些用例一开始可能看起来很适合。但随着中心化人工智能的力量越来越大，渗透到每一个行业乃至人类生活中，人们可能会在ZKML中发现更大的价值。