基于区块链的机器学习模型创建方案

本文涉及的产品
密钥管理服务KMS,1000个密钥,100个凭据,1个月
简介: 区块链不仅会改变人工智能获取数据的方式,也会影响模型的创造!

通过基于区块链市场产生的数据训练出的机器学习模型有可能成为世界上最强大的人工智能。它们结合了两个强大的原始资源:私人机器学习,允许在不透露敏感私人数据的情况下进行训练,以及基于区块链所带有的激励机制,这些激励机制允许这些系统可以吸引最佳数据和模型,使其更加智能化。其最后导致的结果是开放的市场,任何人都可以出售他们的数据并保持其数据的私密性,而开发人员则可以使用激励措施为他们的算法吸引最佳数据。译者注:著名的华人物理学家张首晟也曾表示过区块链可以很好的解决人工智能需要大量的数据的难题。

起源

这个想法的基础是在2015年与理查德· 努梅莱的谈话中获得的Numerai是一家对冲基金,它将加密的市场数据发送给任何想要竞争模拟股市的数据科学家,然后根据他们打造的模型性能的良好程度进行不同级别的奖励。

创建:

举个例子:我们试着创建一个完全分散的系统,用于在分散交易所交易加密货币。这是未来的一个方向:

数据:数据提供者可以获取数据并将其提供给建模人员。

模型构建:建模者选择要使用的数据并创建模型。训练是使用安全的计算方法完成的,该方法允许模型在不暴露底层数据的情况下进行训练。

元模型:构建元模型是基于考虑每个模型的算法创建的。

使用元模型:智能合约通过分散交换机制在链上以编程方式进行元模型交易。

分配收益/损失:经过一段时间后,交易产生利润或亏损。这种利润或损失是根据元模型的贡献者分成多少,这取决于他们制作多少智能元素。然后,模型转向并对其数据提供者执行类似的分发/股权削减。

可验证的计算:每个步骤的计算是集中式的,但可以使用像Truebit这样的验证游戏进行验证和挑战,或者使用安全的多方计算进行分散。

托管:数据和模型要么托管在IPFS上,要么托管在安全的多方计算网络中,因为链上存储将会过于昂贵。


是什么让这个系统强大?

吸引全球最佳数据:吸引数据的激励措施是系统中最有效的部分,因为数据往往成为大多数机器学习的限制因素。比特币就是以同样的方式,通过开放式激励机制创建了一个全球计算能力最强的紧急系统,适当设计的数据激励结构将为你的应用程序带来世界上最好的数据。关闭数千或数百万个数据来源的系统几乎是不可能的。

算法之间的竞争:在以前不存在的地方创建模型/算法之间的公开竞争,使用数千种竞争新闻源算法来分散Facebook

奖励的透明度:数据和模型提供商可以看到他们获得了他们提交的公平价值,因为所有计算都是可验证的,使他们更有可能参与。

自动化:在链上直接生成值并在令牌中直接生成值创建了一个自动化的,不受信任的闭环。

网络效应:数据提供者和数据科学家多面的网络效应使系统自我强化。它的表现越好,吸引的资金就越多,这意味着更多的潜在支出,这吸引了更多的数据提供者和数据科学家,他们使系统变得更加智能化,从而吸引更多的资金。

安全计算:安全的计算方法允许模型在数据上进行训练而不会泄露数据本身。目前使用和研究的安全计算有三种主要形式:同态加密HE),多方安全计算MPC)和零知识证明ZKPs)。多方安全计算是最常用的专用机器学习计算方式,作为同态加密往往过于缓慢。安全计算方法是处于计算机科学研究的前沿技术,它们通常比常规计算慢几个数量级,但近年来一直在改进。

终极推荐系统:

为了证明私人机器学习的潜力,想象一下名为“终极推荐系统”的应用程序。它会监视你在设备上执行的所有操作:你的浏览记录、你在应用中执行的所有操作、手机上的图片、位置数据、消费记录、可穿戴传感器、短信、家中的相机。然后给你推荐:你应该访问的下一个网站、阅读文章、听歌或购买产品,这个推荐系统会非常有效。比谷歌,Facebook或其他任何现有的数据孤岛都要多,因为它对你更了解,它可以从你的私人数据中学习。与以前的加密货币交易系统的例子类似,它可以通过允许一个专注于不同领域的模型市场(例如:网站推荐,音乐)竞争访问你的加密数据并向你推荐某些东西,甚至可能为你提供数据。

目前的方法

来自Algorithmia Research一个简单结构将模型的精确度设置为高于某个回测阈值:


由Algorithmia Research创建机器学习模型的简单构造

Numerai目前采取三个步骤:它使用加密数据(尽管不完全同态),它将众包模型结合到元模型中,并根据未来表现奖励模型,而不是通过回溯测试。

还有一些人正在开始构建安全的计算网络。Openmined正在创建一个多方计算网络,用于在Unity上训练机器学习模型,该网络可以在任何设备上运行,包括游戏控制台(类似于家中的Folding),然后扩展以确保MPC的安全。

最终状态将是相互拥有的元模型,它使数据提供者和模型创建者的所有权与他们做出更聪明的决定成比例。这些模型将被标记化,随着时间的推移可以派发股息,甚至可能受到训练者的支配。这是一种互相拥有的蜂巢式思维。

启示

首先,分散式的机器学习市场可以消除目前科技巨头的数据垄断。在过去的20年中,他们将互联网上的主要价值创造源头标准化和商品化:专有数据网络和围绕它们的强大网络效应。结果——价值创造从数据转移到算法。

第二,他们创造了世界上最强大的AI系统,通过直接的经济激励为他们吸引最好的数据和模型。他们的力量通过多方面的网络效应而增加。随着Web 2.0时代的数据网络垄断变得商品化,它们似乎成为下一个重新聚合点的理想选择。

第三,正如推荐系统的例子所显示的,搜索是颠倒的——不是我们在找产品而是产品再找我们。每个人都可能有个人策略市场,推荐系统在竞争中将最相关的内容放入其供稿中,并且相关性由个人定义。

第四,它们使我们能够从GoogleFacebook等公司获得的服务是一样的,并且不会泄漏我们的数据。

第五,机器学习可以更快地推进,因为任何工程师都可以访问开放的数据市场,而不仅仅是大型Web 2.0公司的一小部分工程师。

挑战

首先,安全计算方法目前非常缓慢,机器学习的计算成本太高。另一个好消息是科学界对安全计算方法的兴趣已经开始出现,性能正在不断提高。

其次,计算为元模型提供的一组特定数据或模型的值是很难,清理和格式化众包数据是具有挑战性的。

最后,具有讽刺意味的是,创建这种系统的广义构造的商业模式不如创建个体实例那么明确,这似乎是很多新的加密原语。

结论

私人机器学习与区块链激励相结合,可以在各种应用中创造出最强大的机器智能。随着时间的推移,可以解决很多重大的技术挑战。他们的长期潜力是巨大的,他们是可怕的:他们引导自己存在、自我强化、训练私人数据、并且几乎不可能关闭。无论如何,它们将是加密货币如何缓慢地进入每个行业的又一例证。


数十款阿里云产品限时折扣中,赶紧点击领劵开始云上实践吧!

本文由@阿里云云栖社区组织翻译。

文章原标题《blockchain-based-machine-learning-marketplaces》

作者:Fred Ehrsam

译者:虎说八道  审校:袁虎。

文章为简译,更为详细的内容,请查看原文文章

相关文章
|
1天前
|
机器学习/深度学习 数据挖掘 定位技术
多元线性回归:机器学习中的经典模型探讨
多元线性回归是统计学和机器学习中广泛应用的回归分析方法,通过分析多个自变量与因变量之间的关系,帮助理解和预测数据行为。本文深入探讨其理论背景、数学原理、模型构建及实际应用,涵盖房价预测、销售预测和医疗研究等领域。文章还讨论了多重共线性、过拟合等挑战,并展望了未来发展方向,如模型压缩与高效推理、跨模态学习和自监督学习。通过理解这些内容,读者可以更好地运用多元线性回归解决实际问题。
|
13天前
|
机器学习/深度学习 人工智能 自然语言处理
PAI Model Gallery 支持云上一键部署 DeepSeek-V3、DeepSeek-R1 系列模型
DeepSeek 系列模型以其卓越性能在全球范围内备受瞩目,多次评测中表现优异,性能接近甚至超越国际顶尖闭源模型(如OpenAI的GPT-4、Claude-3.5-Sonnet等)。企业用户和开发者可使用 PAI 平台一键部署 DeepSeek 系列模型,实现 DeepSeek 系列模型与现有业务的高效融合。
|
1月前
如何看PAI产品下训练(train)模型任务的费用细节
PAI产品下训练(train)模型任务的费用细节
85 6
|
1月前
|
机器学习/深度学习 安全 PyTorch
FastAPI + ONNX 部署机器学习模型最佳实践
本文介绍了如何结合FastAPI和ONNX实现机器学习模型的高效部署。面对模型兼容性、性能瓶颈、服务稳定性和安全性等挑战,FastAPI与ONNX提供了高性能、易于开发维护、跨框架支持和活跃社区的优势。通过将模型转换为ONNX格式、构建FastAPI应用、进行性能优化及考虑安全性,可以简化部署流程,提升推理性能,确保服务的可靠性与安全性。最后,以手写数字识别模型为例,展示了完整的部署过程,帮助读者更好地理解和应用这些技术。
97 20
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
云上一键部署 DeepSeek-V3 模型,阿里云 PAI-Model Gallery 最佳实践
本文介绍了如何在阿里云 PAI 平台上一键部署 DeepSeek-V3 模型,通过这一过程,用户能够轻松地利用 DeepSeek-V3 模型进行实时交互和 API 推理,从而加速 AI 应用的开发和部署。
|
1月前
|
机器学习/深度学习 存储 设计模式
特征时序化建模:基于特征缓慢变化维度历史追踪的机器学习模型性能优化方法
本文探讨了数据基础设施设计中常见的一个问题:数据仓库或数据湖仓中的表格缺乏构建高性能机器学习模型所需的历史记录,导致模型性能受限。为解决这一问题,文章介绍了缓慢变化维度(SCD)技术,特别是Type II类型的应用。通过SCD,可以有效追踪维度表的历史变更,确保模型训练数据包含完整的时序信息,从而提升预测准确性。文章还从数据工程师、数据科学家和产品经理的不同视角提供了实施建议,强调历史数据追踪对提升模型性能和业务洞察的重要性,并建议采用渐进式策略逐步引入SCD设计模式。
103 8
特征时序化建模:基于特征缓慢变化维度历史追踪的机器学习模型性能优化方法
|
1月前
|
机器学习/深度学习 人工智能 算法
机器学习算法的优化与改进:提升模型性能的策略与方法
机器学习算法的优化与改进:提升模型性能的策略与方法
276 13
机器学习算法的优化与改进:提升模型性能的策略与方法
|
2月前
|
编解码 机器人 测试技术
技术实践 | 使用 PAI+LLaMA Factory 微调 Qwen2-VL 模型快速搭建专业领域知识问答机器人
Qwen2-VL是一款具备高级图像和视频理解能力的多模态模型,支持多种语言,适用于多模态应用开发。通过PAI和LLaMA Factory框架,用户可以轻松微调Qwen2-VL模型,快速构建文旅领域的知识问答机器人。本教程详细介绍了从模型部署、微调到对话测试的全过程,帮助开发者高效实现定制化多模态应用。
|
2月前
|
机器学习/深度学习 人工智能 算法
人工智能浪潮下的编程实践:构建你的第一个机器学习模型
在人工智能的巨浪中,每个人都有机会成为弄潮儿。本文将带你一探究竟,从零基础开始,用最易懂的语言和步骤,教你如何构建属于自己的第一个机器学习模型。不需要复杂的数学公式,也不必担心编程难题,只需跟随我们的步伐,一起探索这个充满魔力的AI世界。
74 12
|
3月前
|
人工智能 JSON 算法
Qwen2.5-Coder 系列模型在 PAI-QuickStart 的训练、评测、压缩及部署实践
阿里云的人工智能平台 PAI,作为一站式、 AI Native 的大模型与 AIGC 工程平台,为开发者和企业客户提供了 Qwen2.5-Coder 系列模型的全链路最佳实践。本文以Qwen2.5-Coder-32B为例,详细介绍在 PAI-QuickStart 完成 Qwen2.5-Coder 的训练、评测和快速部署。
Qwen2.5-Coder 系列模型在 PAI-QuickStart 的训练、评测、压缩及部署实践