2014 BDTC 参会有感

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

中国大数据技术大会(Big Data Technology Conference,BDTC)是目前国内最具影响、规模最大的大数据领域的技术盛会。大会的前身是Hadoop中国云计算大会(Hadoop in China,HiC)。从2008年仅60人参加的技术沙龙到当下的数千人技术盛宴,作为业内极具实战价值的专业交流平台,已经成功举办七届的中国大数据技术大会忠实地描绘了大数据领域内的技术热点,沉淀了行业实战经验,见证了整个大数据生态圈技术的发展与演变。

为了迎接大数据时代的到来,更好地交流大数据的实践经验,进一步推进大数据技术创新与应用,展示国内外大数据领域的最新科研成果,2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所与CSDN共同协办的2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)将在北京新云南皇冠假日酒店隆重举办。

大会官网:http://bdtc2014.hadooper.cn/m/zone/bdtc_2014

由于我家在上海,没想到要去。一来是最近很忙,有很多事情要做;二来还是比较折腾的,想着看视频回放吧;三来比较贵,此去一行要花费近5K大洋。但是后来CSDN送票;还有人帮忙报销路费;住宿也不是问题,毕竟三个姐姐都在北京;因此成行。

首先感谢CSDN,不单单是因为送我票,CSDN也是本次大会的协办单位;在会场看到了很多的CSDN的小伙伴,非常辛苦。

先说几个最大的感受:

1. 会议组织的很好;不单是Speaker准备的很好,部分的内容很有深度;硬件也不错,比如同声传译。

2. 参会人员很多,遇到了很多熟悉的面孔,其中不乏从上海,杭州赶过去的;而且目测有一些我厂小伙伴(通过我厂背包)。

3. 展台很多。可以从各个创业公司的海报看到他们的产品,从产品可以看出行业一些基本的需求点和大家的关注点。

4. 见到了Doug Cutting  大神。虽然想去签名+拍照,但是为了保持自己的矜持就没有挤上去。

5. Spark的确是大家的关注点,很多Speaker不时的会提到Spark,甚至做超机的高光荣教授 教授。 

6. 大家一致认为大数据刚刚落地,甚至有嘉宾激进的认为现在和80年代PC刚起步一样,现在大数据所面临的问题比如计算存储网络资源在不久的将来将不复存在(问题是不断演进的吧,比如是否可能会有计算模型定义的硬件,即computing defined hardware,呵呵)

7. 干货很多,节奏很快,基本上没有QA的环节。

由于周日的技术论坛分了大数据生态系统,大数据技术,大数据应用和大数据基础设施等4个分论坛,而且时间是完全重叠的,因此只能选择自己感兴趣的去听。接下来分享一下印象比较深的几场。先分享第一个:

2015年大数据基础技术的演进趋势:孙元浩  星环科技CTO

四个趋势:

1. 混合架构将逐渐消失

2. 固态盘将替代内存作为缓存

3. 实时大数据技术得到广泛关注

4. 云计算和大数据终于可以融合

对于第一个趋势,我认为在小公司是可以的,毕竟维护多个架构的运维成本,集群成本都很高。如果一个架构可以满足大家需求,那么将计算资源整合到一块为整个公司服务绝对符合公司的利益。但是对于BAT这种超大的公司,可能根本就不会存在一个通用的架构。很多地方的运算都会苛刻,比如延时,比如吞吐。为不同的应用场景搭建不同的架构,BAT不单是由技术人员去实现,运维人员去运维,而且还有应用场景的强需求。可能离线和近线使用统一的架构在理论上是可能的;但是在线部分至少在现在,还没有看到这个趋势。

第二个趋势,还是非常有可能的,毕竟如果为一个计算场景设计一个特殊的文件格式,那么SSD的确可以达到很高的性能。而且成本不高,容量巨大,的确是大家应该认真思考的地方。EMC的MCF,就是使用SSD作为一层缓存,还是取得了很好的性能优势的。机械硬盘最大的问题在于随机读,一个寻道直接耗费10ms这个量级,要知道很多在线系统的总延时也不过数百ms;对于高频交易系统,大家的时间维度都是在us,甚至大家为了解决数据在内存到网卡之间的传输延时而设计了专门的硬件,为了避免TCP多次握手和ack带来的延时而实现了“可靠”的UDP。通过为不同的场景设计特殊的SSD的文件格式,SSD的性能得到最大程度的提升;这个趋势,值得大家关注。

第三个趋势,实时大数据不单在大公司得到重视,小公司也是如此;大公司实际上早已在生产环境完成了相关场景。而对于小公司,可能第三方的架构就非常重要了,毕竟从人力,物力来说很难开发一套可用的实时大数据系统。这就导致了相关技术会继续得到关注,社区也会持续在这方面进行改进。

第四个趋势,云计算和大数据终于可以融合。云计算大数据作为商业的噱头炒作了已经很多年了。但实际上,大数据才刚刚开始,大数据时代的帷幕已经徐徐拉开并且大家都在专注的实现一些可以为公司,为用户创造可见价值的技术。尤其是Docker,和在其上面的Google Kubernetes,作为一个轻量级的container,为资源部署,资源隔离等制定一个标杆。相信spark等平台以后会加入对他们的支持。 虚拟化技术这些年,解决了很多问题,也带来了很多问题;而docker,解决了虚拟化带来的问题,比如性能。

(未完待续)

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
4月前
|
运维 安全 Anolis
22 位委员参会,第 25 次龙蜥社区运营委员会圆满结束
回顾了龙蜥社区 6 月运营发展情况,并针对 2024 龙蜥操作系统大会等重点事项展开深度讨论。
|
6月前
|
Serverless 云栖大会 黑灰产治理
2023云栖大会飞天音乐节大赛活动获奖名单公示
2023云栖大会飞天音乐节大赛活动获奖名单公示
702 1
|
机器学习/深度学习 物联网 云栖大会
|
开发者
第5期乘风伯乐奖--寻找百位乘风者伯乐,邀请新博主入驻即可获奖
乘风伯乐奖,面向阿里云开发者社区已入驻乘风者计划的博主(技术/星级/专家),邀请用户入驻乘风者计划即可获得乘风者定制周边等实物奖励。本期面向阿里云开发者社区寻找100位乘风伯乐,邀请人数月度TOP 1 获奖者(大于50人)可获得小米空气炸锅pro
3453 3
|
开发者
阿里巴巴95公益周 · 码上公益爱心极客招募
码上公益是阿里云工程师自发建立的国内首个技术志愿服务平台,在公益组织和技术开发者之间架起桥梁,将公益需求与技术能力对接,为公益组织的数字化发展提供技术支持。希望更多的爱心极客加入我们,让我们一起用技术的力量,做公益的侠客,给世界带来一点点温暖的改变。
2297 8
阿里巴巴95公益周 · 码上公益爱心极客招募
|
物联网 5G 云计算
世界5G大会参会总结和思考
5G方案综述 5G简介和新价值 5G相对于4G在网络速率,时延和连接数上都有数量级的提升,基本上是10倍的关系。4G的基站的空口的速率标称是100Mbps,5Gbps是大于1Gbps,当前最高可达1.9Gbps。
7028 0
|
人工智能 算法 数据库
GTC2018参会小结
作为阿里新人职场旧人第一次参会,之前工作局限于GPU下游和底层,跟硬件和驱动打交道比较多,如今参加GTC有机会抬头看看,近距离接触蓬勃朝气的新技术新领域,感受到了如日中天的人工智能,各种机器学习,深度学习,自动驾驶,HPC,GPU Cloud,GPU in Container等新技术扑面而来。完全觉得进入了一个新世界,深刻体验到技术的革新迭代之快速,大有取代CPU 摩尔定理的趋势。 GTC大会相
3065 0
|
存储 监控 搜索推荐
2017北京ArchSummit-参会感想
# 大会背景 时间:2017.12.8~2017.7.9 地点:北京 会议:ArchSummit -北京 2017架构师峰会 日程:http://bj2017.archsummit.com/schedule # 我关注的点 1. 架构升级和优化 2. 高可用体系的一些专题 # 架构升级和优化
2213 0
下一篇
无影云桌面