干货 | 下一代数据网:数据驱动的云网链一体化

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

本讲座选自清华-青岛数据科学研究院大数据基础设施研究中心特聘研究员刘运渠9月5日在Odaily星球日报 X 36Kr P.O.D大会上所做的题为《下一代数据网:数据驱动的云网链一体化》的演讲。

以下是演讲图文实录

80dae957258d7ae0390329c3a49fc5b87d5163a9

刘运渠:数据驱动的云网链一体化,它潜在的商业场景,是把它作为一个基础设来提供。清华-青岛数据科学研究院是一个多学科的交叉融合,与数据确权和安全多方计算的核心技术,来建立的数据分享平台。它的目标是实现一个大数据自来水管道,做到一些资产服务和创新技术,最重要的目标是实现数据驱动

09a31fea41806eccf65d64194dd0b7cf2c22b7a6

现有的三大核心技术云、网、链各自有一些缺点。数据协议方面,有数据孤岛的问题,成本和灵活性的问题及数据确权和效率的问题,这是清华大学下一代数据网络试图解决的问题,最主要的方法是通过区块链技术的研究和产业化方面来做一些动作。

16b7b3320e1e0ed5ff57fd601e19be48347461b1

刚刚讲了一些机构性的介绍,下面会深入到技术和产业细节里面去。

什么是这三大块融为一体化,这是一个很大的野心

我们能不能占一个万米的高空,看这三大技术的关系呢?我们看到机器学习的AI,它得益于大数据,同时它又为大数据提供了一个得力的工具。云计算,跟边缘计算、雾计算一起,在不同的场景,有不同的需求。对于云计算来讲,大的数据在需要计算力方面有一个弹性。当我需要算力的时候,我希望无穷大;当我不需要算力的时候,手机的CPU是闲着的,所以这是计算力共享的问题。

基础设施试图转向以数据为中心的场景,大家已经比较熟悉一些CDN、NDN、ICN、DCN,本质是把网络从比特流转向数据。我们认为未来的价值焦点,也就是从大数据视角来看,它不仅仅是数据隐私的问题,首先是数据的所有权。数据的隐私,首先数据是我的,你凭什么拿去用,拿去用有没有好处,这个好处是不是我应该得到。这才是我们认为下一阶段大数据的核心问题

83e88a046f8b318910ab1180aeaf691cf42a96b9

从刚刚讲的大数据和网络视角下,我们再看区块链是什么情况。

 ●  首先,我们认为 区块链技术可能具有实现数据确权的潜力 。这里引用一下谷歌董事长斯密特的说法,他认为区块链技术最大的价值,就是实现的 数据的稀缺性 ,也就是不可以篡改和随便拷贝。为什么稀缺性很重要?因为他是董事长,他关心经济问题,没有稀缺性就没有经济价值。
 ●  第二,我们认为 区块链技术跟大数据的结合,可能会出现万亿级的商业。
 ●  第三, 区块链技术尚未具有支撑大数据的能力,这是我们下一代数据网要解决的核心难题。

 ●  第四,区块链对于网络本身也提出了巨大挑战。区块链在技术上有三大块,一个是分布式共识,一个是加密,一个是基于P2P的广播。P2P的广播是广播的一种,是基于点对点实现的。广播对于网络来讲是很可怕的东西,因为N到N远远大于1到1的量。如果有一个网络可以支撑完美的通信的话,它需要什么呢?它需要网络的有效载荷即有效排列组合可以达到N的N次方,而普通网络只有达到N的阶层数字,这两个数字差距非常的大。我们认为网络是区块链规模应用的瓶颈之一,一方面它的商业价值备受关注,另一方面它的规模和实验,成为关注的焦点。

fb777fce6c5427cd4098cd353ac73e8cd10e48a2

今天有很多嘉宾在规模方面讲得比较多,我集中精力讲一下时延的问题。

第一,关系型数据库系统是非常强悍的,它可以轻松达到千万次的TPS。现有的系统,不要上千万次,几千次都不是那么容易的事。成熟的系统需求也没有那么高,日常也就是2000次。没有必要在这块做无谓的追求,这方面我们赶不过关系型数据库。

第二,交易的时延和带宽是不一样的东西。比如我烤匹萨10个小时,同时烤了10块匹萨,我回头跟人说,10个小时烤了10个披萨,平均时间1小时。这里面是有误导的。时延就是说,到底烤一块匹萨多久,这对于实际应用很有价值。我们来看看它受到什么限制呢?一些是我们看得见的,就是代码里面可以看到,就是显示限制,比如交易尺寸、快、平均大小。当像中本聪这样世界级的设计者,他们设计的时候,是考虑后面的限制。算法现在的研究可以达到100毫秒以下,我们网络也做到100毫秒以下,1+1等于200毫秒,再给以3倍的安全系数,目标可以到600毫秒。由于广播的模型,会导致它的规模也不会很大,所以要解决这个问题,可能要通过一些分集,用联盟链的方法来处理。

16d8fffc056866caa83d8a37fbc5a36129c1d488

下一代的数据网络,它可以支持高速、海量区块链吞吐。首先在广域里面部署一个服务,同时能够支持毫秒级、亚秒级的交易,能够实现规模化的区块链应用。为什么呢?因为我们在广播里面增加广播代理,不要每个人都去广播,这就是联盟链的观点。

f6b47d052394b2fd4a82831b50f0b15a38b19363

这一块清华大学希望我们能够提供一些区块链设施、平台以及应用作为服务。而且区块链在阿尔山的基础区块链项目里面已经做了这样的场景。这是清华区块链现有的下一代数据网的设计方案及想要实现的目标。

2eb8a2f4367355274a60bae9427aea24a5259d65


原文发布时间为:2018-09-12
本文作者:刘运渠
本文来自云栖社区合作伙伴“ 数据派THU”,了解相关信息可以关注“ 数据派THU”。
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
16天前
|
Kubernetes Cloud Native 持续交付
云端新纪元:云原生技术重塑IT架构####
【10月更文挑战第20天】 本文深入探讨了云原生技术的兴起背景、核心理念、关键技术组件以及它如何引领现代IT架构迈向更高效、灵活与可扩展的新阶段。通过剖析Kubernetes、微服务、Docker等核心技术,本文揭示了云原生架构如何优化资源利用、加速应用开发与部署流程,并促进企业数字化转型的深度实践。 ####
|
1月前
|
传感器 边缘计算 自动驾驶
|
4月前
|
运维 Cloud Native 安全
云端融合:探索云原生技术在现代企业中的应用与挑战
【7月更文挑战第31天】本文深入探讨了云原生技术如何革新现代企业的IT架构,并分析了其在实际应用中所面临的挑战。通过案例分析,我们揭示了云原生架构带来的敏捷性、可扩展性和成本效益,同时指出了安全性、技术复杂性和人才短缺等实施障碍。文章旨在为企业决策者和IT专业人士提供云原生转型的洞见和策略。
85 13
|
3月前
|
Kubernetes Cloud Native API
云端创新的桥梁:云原生技术的未来展望
【8月更文挑战第5天】 在数字时代的浪潮中,云原生技术作为推动企业数字化转型的关键力量,正以前所未有的速度和规模发展。本文深入探讨了云原生技术的演进路径、核心组件以及其在现代IT架构中的重要作用。同时,分析了云原生技术面临的挑战与机遇,并对其未来的发展趋势进行了预测。
70 2
|
4月前
|
Cloud Native 安全 持续交付
云端创新的桥梁:云原生技术在现代企业中的应用与挑战
本文深入探讨了云原生技术如何成为推动企业数字化转型的关键力量。通过分析容器化、微服务架构、持续集成与持续部署(CI/CD)以及声明式API的核心原理,本文揭示了这些技术如何提高应用的可扩展性、灵活性和自动化水平。同时,文章也未回避云原生环境所面临的安全挑战、技术复杂性和对专业人才的需求等现实问题。最终,我们提出了一系列策略,旨在帮助企业有效应对这些挑战,确保云原生技术的顺利采用和优化运用。
55 0
|
4月前
|
Cloud Native 安全 持续交付
云端架构革新:云原生技术在现代企业中的应用与挑战
本文深入探讨了云原生技术在现代企业中的运用及其带来的变革。通过分析云原生技术的核心组件,如容器、微服务、持续集成/持续部署(CI/CD)和声明式API,本文揭示了这些技术如何促进企业的敏捷性、可伸缩性和创新能力。同时,文章也识别了企业在采纳云原生技术过程中可能遇到的安全、成本和技术复杂性等挑战,并提出了相应的解决策略。最后,通过案例研究,展示了成功实施云原生技术的企业所取得的成效,为其他企业提供了宝贵的经验和启示。
|
Web App开发 人工智能 Linux
开源数字孪生基础设施
开源数字孪生基础设施
171 0
|
存储 供应链 安全
【企业技术架构】企业自动化是下一代架构吗?
【企业技术架构】企业自动化是下一代架构吗?
|
存储 边缘计算 运维
《边缘云技术演进与发展白皮书》——五、边缘云分布式云管系统技术演进——02 多维协同—— 1.边边协同
《边缘云技术演进与发展白皮书》——五、边缘云分布式云管系统技术演进——02 多维协同—— 1.边边协同
572 0
|
消息中间件 边缘计算 运维
《边缘云技术演进与发展白皮书》——五、边缘云分布式云管系统技术演进——02 多维协同—— 2.云边协同
《边缘云技术演进与发展白皮书》——五、边缘云分布式云管系统技术演进——02 多维协同—— 2.云边协同
333 0
下一篇
无影云桌面