2022 年末总结：去中心化存储的现状与未来

互联网阅读 1533 2022-12-21 13:02:00

TL; DR

将非核心数据从主链上分离并存入DSN（Decentralized Storage Network）已经成为了解决扩容、提升互操作性和隐私保护的主流方案。
Filecoin在矿工网络和存储成本上拥有极大的优势，但是Arweave的永久性存储可以给NFT或社交类应用提供更加可靠的解决方案。
L1扩展存储网络可以提供相比DSN互操作性更高的新方案，但是仍然需要时间验证模式。
未来的去中心化存储场景会包括完整的互操作性、数据可用性、安全性以及通过中间件和API提供用户/开发者友好的链下计算。

去中心化存储的发展历程

数据存储板块一直以来都是科技界发展的基石和重点关注领域。从基于亚马逊、微软、阿里巴巴等提供了中心化云存储服务以来，云存储市场已经基本形成了1000亿美元以上(2021年)的市场规模且头部效应明显（亚马逊40%，微软22%，阿里云10%，数据来源Gartner）。而随着Web3的爆发，一批去中心化存储的供应商开始满足传统云存储市场满足不了的需求。

虽然目前大多数的dApp仍然部署在AWS上，而以太坊的节点在merge前也有超过50%在AWS上运行[1]，但是Web3项目却逐渐发现了将后端和元数据与去中心化存储连接的重要性和必然性。根据Ethereum.org的定义，去中心化存储是一个由p2p网络构成的，每个运营者拥有整体数据的一部分并可以通过算法复原的数据分享系统[2]。

去中心化存储虽然可以解决诸多问题，例如数据隐私性保护、抗审查等，但目前的去中心化系统发展还不成熟且有诸多亟待解决的问题。经过（主）链上存储方案的不断尝试，DSN（Decentralized Storage Network）是目前的主流解决方案，这种方案可以最大程度上将存储容量提升到接近于无限，并且对数据的安全性和隐私性有所保障。

表1 区块链数据存储方案比较

filecoin

具体链上扩容方案可以参考文章：https://zhuanlan.zhihu.com/p/48078642

笔者认为，链下的存储层终将会成为Web3生态中的重要基础设施，并通过热存储、冷存储的方式解决任何协议层、运行层的数据存储问题。

filecoin

在未来，“不可能三角”中的扩容问题可以通过将存储层完全剥离但维持互操作性的方式来解决，并通过建立于冷存储层之上的中间件、API等服务提升数据计算、调用、推送的效率。

去中心化存储的发展现状：分类与规模

去中心化存储本质上服务于Web3生态的应用层，因此在解决方案上更加倾向于满足终端用户的需求，也就是用更高效、更低成本的方式执行数据存储、计算与调用的需求。从分类上来看，Arweave、Filecoin和Storj已经形成了独立的三个头部去中心化存储网络，其中Filecoin和Storj是更加去中心化的P2P存储网络，而Arweave是更紧密组织的存储节点网络。

另一方面，不同类型的存储聚合网络因为满足用户费用优化、存储方便等需求，逐渐成为更有吸引力的gateway，但仍然架构在Arweave或Filecoin之上。另外，以EthStorage为代表的L1扩展网络则专注于可直接调用主链DA层且提供额外的算力的设计，与L1深度链接。

（注：图中所列项目以现存项目和新项目为主，不包含往期项目）

filecoin

来源: Puzzle Ventures

另外还有建立于底层存储网络之上或独立的计算网络和协调型中间件也是去中心化存储生态的补充部分，但以生态dApp为主，本文不重点讨论。

从发展规模角度来看，Filecoin无论在收入、FDV还是市场份额角度来看都遥遥领先，并且用户存储使用度仍然在不断增加。然而，三百多万美元的季度收入无论在Web2还是Web3领域都不能算多，并且还是在几乎垄断的情况下。所以整个去中心化存储赛道仍然有着很大的发展空间。

表2 去中心化存储Q3 2022收入与规模

filecoin

来源: Messari, Web3 Index, CoinGecko

而Arweave和Storj的季度收入还处于十万美元级别，也就是日收入一千多美元，还远远没有达到其应有的市场规模。原因一方面与熊市整体市场萎靡相关，另一方面则是因为目前的DSN存储方案还没有达到与Web3完美契合的拐点。在未来，整个DSN市场一方面需要更多的中间件、聚合器去提供更多的用户流量，另一方面也需要对自身的成本与价值不断调整优化。

主流方案：Filecoin与Arweave的比较

1）功能性

在现阶段，Filecoin和Arweave采用的不同技术架构也带来在功能性上的不同。根据Fundamental Labs[3]的研究报告，我们把功能性的评估框架定义为：存储范围的灵活性、存储的永久性、避免冗余能力、数据存储的激励性、存储数据的普遍性、数据的可获得性。从某种程度上来说，Arweave和Filecoin是一对互补的方案：Arweave更专注于数据存储的永久性和稳定性，更适合metadata和历史数据等；而Filecoin则可以提供更灵活的存储方案（存储时间、种类），更适合个人和非关键数据的存储。

filecoin

来源：Fundamental Labs

从最新的技术发展进程来看，Filecoin version 17 “Shark”主要建立了存储协议的可编程性，也就是在存储层上增加了智能合约的互动层，并计划于明年二月推出FEVM系统。Filecoin上的数据可用性和活跃度将有所提升，并可以支持更多元化的互操作性，这也是Filecoin相比Arweave的灵活性优势。而Arweave仍然在数据安全性、节点激励稳定性（endowment）和存储入口上着力发展，对于永久性存储这一理念持续“充值信仰”。因此，虽然很难断言哪一种方案更有优势，但无论如何这两个去中心化存储协议已经在各项功能上发展的比较完善来满足去中心化存储的基本需求。

2）费用

同样，Filecoin和Arweave在费用方面也很难直观的比较，本文旨在尽可能合理的方式来对两者的费用形成一定的感知。为了形成数据可比性，本文采用同等存储大小在200年的存储时间内的价格作为比较对象（Arweave一般认为可以支持存储200年）。

表3 云存储费用比较（数据截取于2022年12月）

filecoin

来源：Amazon.com, Arweavefees.com, File.app, Filfox.info

从表3中可以看出，AWS最基础的S3 Standard套餐的价格约为$0.023 per GB per month，则存储200年需要$55.2 per GB，而相对更适合长期冷存储的Glacier Deep Archive方案可以把价格压低至$2.38 per GB，但是每年的归档次数有限制。而Arweave随着AR token的价格波动会产生不同的价格，2022年12月的价格是$1.42 per GB，也就是说存储5年左右就可以和S3 standard的存储成本持平。

另一方面，Filecoin的价格计算较为复杂，因为不同的矿工给到的价格有差别且FIL token价格、存储时间和数据调用的频率都会对价格造成影响。但无论如何Filecoin的存储成本相比Arweave和S3来说已经便宜了好几个数量级，可以几乎被认为是零成本存储。

但价格是最主要的因素吗？Arweave的永久性存储对于Web3的意义是更加重大的。例如NFT如果丢失了元数据和图片数据就会瞬间失去价值而变成一个点不开的连接，而在Filecoin的存储协议中，由于过于去中心化的管理方式会造成Garbage Collection的风险，也就是其存储文件的节点中如果对某些文档没有标星的话会有被误删的风险。

同时，当Filecoin存储的时间到期时需要更新存储方，这个过程中也容易形成风险。反观Arweave，通过AR的激励机制鼓励节点存储数据到200年，并且针对AR未来的贬值也做出了相应的补偿激励，同时在存储过程中会通过周期性的随机检查来确保节点仍然完整的存储数据。这些措施都是为了确保每一个节点都能通过完整的存储数据来获得激励，也保障了被存储数据的安全性和可靠性。在已经黑客事件频发的Web3世界中，数据存储的可靠性带来的价值不是用简单的存储价格来衡量的。

3）生态

去中心化存储的生态包括矿工/节点和生态dApps。

表4Filecoin与Arweave的生态数据比较

filecoin

来源：Filscan.io, Messari

Filecoin由于社区建设较早且关注度较高，目前的存储力在18.9EB左右，是Arweave的17万倍。但是Arweave在3年多的发展时间内已经形成了比Filecoin高2.5倍的存储力增长率，而且Filecoin的增长率实际上已经趋近于稳定的直线。从市值的角度来说，Arweave目前的FDV是Filecoin的40%左右，我们可以判断Arweave在未来会快速追赶Filecoin的存储力生态。

根据Filecoin今年11月发布的未来计划[4]，Filecoin未来会致力于满足computation和更大范围的data onboarding这两个需求，从而真正成为Web3世界的Layer 0。从存储力扩展的角度来说，Filecoin通过向FIL+和ESPA Bootcamps这样的激励计划来促进更多的矿工来参与节点建设。

而在data onboarding和computation上，Filecoin会关注一些具体的细分市场，例如NFT元数据、Web2数据源等等，然后通过Filecoin Virtual Machine建立链上的算力，让这些数据可以更加方便地被使用。从最新的一些Filecoin提案中（FIP-0044，FIP-0045）也可以看出data onboarding是目前的发展重点。

反观Arweave, 最新的2.6版本[5]中主要的关注点是降本增效，也就是通过迭代硬件等方式降低整体存储成本和存储价格，同时提升数据存储、调用的效率。所以Arweave实际上是希望通过建立更好的基础环境来吸引更多的开发者和用户，同时通过生态项目来满足例如gateways, computation等进一步的用例。

所以Filecoin的逻辑是提供大一统、专注于存储业务且依赖于矿工生态的去中心化存储网络；而Arweave更像是一个标准的Web3生态，通过提供完善的底层架构和激励机制营造一个适合开发和用户友好的环境，实现用户数量和dApp数量的有机增长。

从生态项目角度来说，Arweave上已经孵化出了包括Bundlr, Kyve, ArDrive, KwilDB等一批针对技术优化、存储入口、应用扩展方向的优质项目，并且大部分项目负责人都是年轻的创业者为主，发展潜力较大。Filecoin的生态项目数量上有着基数大的优势，Filecoin生态更像是一个开源环境，可以满足更广阔的存储相关需求但并没有重点的发展方向。

新方案：聚合网络与L1拓展网络

1）聚合网络

聚合网络的概念实际上早在Filecoin上线之初就有了，例如Coldstack等早期项目。然而Coldstack并没有获得巨大成功，究其原因主要是纯粹的、Uber式的聚合器并不能真正提升存储效率，而且除此之外无法提供进一步的价值。存储协议的聚合网络的确可以解决用户存储效率和成本上的痛点，但是做法却可以有多种。

首先，这些聚合网络得比Filecoin和Arweave自身的gateway要做的好才能获得市场认可。随着Filecoin往FVM链上计算的方向发展，很可能会挤掉一批建立在Filecoin之上，提供额外computation能力的聚合网络。其次，不同的聚合协议要解决Filecoin或Arweave本身很难实现的问题，而不是做大一统的聚合流量入口（至少早期切入点不是），因为大一统的流量入口最终将会由Filecoin和Arweave自身把控。

Jackal就是建立在Filecoin之上且专注于提升数据隐私性和安全性的聚合器方案。它提供了一套给已存文件进一步AES-256加密的方案，并通过Cosmos 建立PoS共识的L1链来管理和收费，相当于在Filecoin之上又建立了一层私有云存储协议。

同时，Jackal还将通过其Proof-of-Persistence算法来提供3倍的文件拷贝，并在存储价格上进行优化。Redundancy和cost并不是去中心化存储的核心问题，但是数据隐私和安全的提升是Filecoin本身在短时间内较难做到的。4EVERLAND是另一个聚合了Filecoin, Arweave和Dfinity作为底层存储层的云计算平台，主要专注于给dApp提供去中心化存储、计算和网络的核心能力，打造底层去中心化存储层和应用层之间的连接层。

从目前来看，Web hosting和Bucket是其主要的两个产品，hosting在4EVERLAND全球200多个网关加速的情况下可以完成前端托管，而Bucket则是一个聚合gateway。这两个产品都从用户友好性上大幅提升了去中心化存储的实际使用度，并且解决了例如多币种付费、数据面板等细节层面的优化问题。

2）L1存储扩展网络

L1存储扩展网络本质上和现有的Layer 2相同，都是提升L1性能和可扩展性的解决方案的总称。而 EthStorage则是第一个以存储扩展为核心的Layer2解决方案，主要包括三大类的功能：Proof of Publication, External Data Retention, Access Protocol。

Proof of Publication即通过其特制的KZG Commitment和Reed-Solomon Code来实现存储数据的CRUD功能，而Filecoin和Arweave目前只能做到CRD。在增加了Update功能以后，再结合Access Protocol这样的可直接渲染以太坊合约上面托管的资源的Web3 URL功能，就可以轻松实现例如Web3 Email、Web3 Blog、Web3 Drive等链上活动，这些尝试都有助于未来的Web3 大规模应用。

另一方面，由于其EVM兼容和链上存储的特性，相比Filecoin和Arweave来说交互路径更短，所以可组合性也更高。举例来说，EthStorage可以将NFT的元数据链上存储在EVM环境中，并可通过智能合约完成NFT组合等需要可编程性才可以实现的新玩法，改善用户体验，而链上数据（大规模的）的可编程性在未来也会衍生出更多的新Defi、Gamefi、Socialfi应用。目前来看，L1存储扩展网络和DSN网络是互补且竞争的，要在EVM生态中生存并且将其存储范式演化成官方标准，需要时间来验证。