新闻中心

Filecoin功能:实现大规模离线数据传输

发布时间:2020-06-30

这是一篇重点介绍Filecoin协议特有的功能——大规模离线数据传输。

Filecoin为何诞生

6.30.1.jpg

Filecoin旨在存储世界上最有价值的信息,基于区块链技术,创造了分布式存储交易市场。区块链技术提供了安全的存储保证,加密资产机制创建了动态的市场。

在全球范围内,我们每天产生2.5亿个字节的数据。其中一些数据涵盖了人类在科学,数学,艺术,历史和人文科学领域创造的最重要的信息。

当处理大量数据时,很难通过互联网传输这些文件以进行保管,因为昂贵且耗时。对于PB级数据集和更大的数据集,最明智的解决方案通常涉及在硬盘上传输数据。

而Filecoin协议和项目拥有支持所谓离线数据传输的工具和结构。

为什么需要离线数据传输

决定是在线还是离线传输数据时,要考虑的两个因素:费用和时间。

举个例子:一个博物馆或图书馆(信息量巨大),希望在分布式web (dweb)上上传、存储和保护它的收藏。

费用

线上传输:在当今的云服务中传输PB级数据需要通过多个区域发送数据,这会产生互连费和区域带宽费,如果你选择租用专用线路或考虑重试需求,还会产生额外费用。粗略的成本来看,仅带宽传输2.5 PB的数据就需要花费约140,000美元;如果跨区域传输这些数据,则成本会更高。

离线传输:考虑硬盘驱动器本身的成本,服务器级8TB驱动器的价格约为200美元。要传输2.5 PB的数据,你将需要大约315个硬盘驱动器,总计约为63,000美元。尽管你可能需要支付一些额外的运输,进口费用和货币兑换单位成本,但总体算下来成本远低于线上传输!

时间

线上传输:以100Mbps的速度传输500TB的数据需要一年多的时间。

离线传输:用硬盘驱动器传输相同的数据仅需花费下载和发送的时间,大概一周之内就可以完成!

很明显,在某些情况下,物理传输数据的成本效益更高且速度更快。

Filecoin如何支持离线传输

当存储较少的数据时,矿工和客户协商交易后,客户通常可直接在线传输给矿工,

当存储大量的数据时,Filecoin的离线数据传输功能允许非常大数据集的用户离线完成数据传输步骤(例如,通过将硬盘从客户端运送到存储矿工),并按预期的顺序进行交易。

Filecoin通过一个标志来实现的,该标志告诉客户端不要通过网络传输数据。相反,客户传递一个CID(描述数据的唯一标识符),矿工随后必须匹配该CID,交易才能通过。

这为客户端节点提供了如何设置交易的灵活性,例如,在硬盘上的特定位置传递给矿工,以供他们用来生成分段CID的数据。

Filecoin项目如何支持离线传输

官方启动了Filecoin Discover,该项目旨在激励早期矿工订购和存储装有有价值的开源数据的硬盘,并作为交换,获得其他Filecoin代币。

这是一种帮助Filecoin成为人类最重要的数据集的大本营,并使其他人可以访问它的方法,以扩大我们的知识库并形成新的想法。

今年4月,Filecoin提出了一项有关存储设备(类似于AWS Snowball)的提议,以实现更快的离线数据传输。

该RFP的目标是构建冗余且安全的低成本硬盘解决方案。

矿工可以在设定的期限内租用这些设备,以保持数据传输。客户端可以将数据加载到这些设备上,而矿工则在收到数据后将其卸载到自己的服务器上。

离线传输的意义

离线交易也可以在Discover程序之外进行。设想一艘潜艇在海上收集太平洋海底生物的PB级信息。当船回到陆地时,通过邮件发送这些硬盘可能比依靠在线数据传输更有意义。

在我们致力于web去中心化的过程中,大量数据的物理传输将继续在信息传播中发挥重要作用。EB级的数据传输(例如AWS Snowmobile)是传输大量数据的下一步。

最终,像离线数据传输这样的解决方案将使Filecoin成为用于存储数据的传统云存储平台的更强大替代品。

数据存储是每个部门几乎所有企业的实际成本。如果存储成本下降,小企业将节省资金,他们可以将这些资金投资于雇用或研发。

这只是Filecoin网络独特功能如何帮助企业以更有效,安全和负担得起的方式满足其存储需求的一个例子。

免责声明:以上文章由一三科技翻译,从一种语言完美地翻译到另一种语言是困难的,因此请注意,我们不能保证这个翻译的准确性。

原文链接:https://filecoin.io/blog/offline-data-transfer-for-large-scale-data/

技术支持:创设网络