专注在大数据分布式计算、数据库及存储领域,拥有13+年大数据引擎、数据仓库、宽表引擎、平台研发经验,6年云智能大数据产品技术一号位经验,10年技术团队管理经验;云智能技术架构/云布道师; 研发阿里历代的大数据技术产品包括ODPS、DLA、ADB,最近五年主导宽表引擎研发、DLA、ADB湖仓研发;
暂时未有相关通用技术能力~
阿里云技能认证
详细说明这个周末参加了《阿里技术嘉年华》,这个可以说算是国内一流的免费交流会了。多个公司的技术牛人聚集在杭州共同探讨IT技术。当然很多是阿里的同学,不过也有百度、腾讯、网易,甚至还有小米、360、证劵交易所公司的同学。阿里提供了这个么好的舞台,非常感谢。也期待更多的公司来参加举行嘉年华。
在大数据时代,要想个性化实现业务的需求,还是得操纵各类的大数据软件,如:hadoop、hive、spark等。笔者(阿里封神)混迹Hadoop圈子多年,经历了云梯1、ODPS等项目,目前base在E-Mapreduce。在这,笔者尽可能梳理下hadoop的学习之路。
yarn版本的hadoop无论是从架构上面还是软件设计的层面上面都比原始的hadoop版本有较大的改进。在架构方面,我们认为yarn模式是新一代的框架,这个在官方等丛多的资料中说明得很详细了。在软件设计方面,我认为主要有以下的一些大的方面的改进:服务生命周期管理模式、事件驱动模式、状态驱动模式
目前网站的一些业务数据存在了数据库中,这些数据往往需要做进一步的分析,如:需要跟一些日志数据关联分析,或者需要进行一些如机器学习的分析。在阿里云上,目前E-Mapreduce可以满足这类进一步分析的需求。
以前一篇博客,从宏观描述了云梯1当时整体生态,年底了,笔者再梳理下软件栈,主要以开源软件为主,闭源不谈。大数据发展至今,开源软件层出不穷,也去解决了不同的问题,笔者试图去弄清楚这些,分门别类,后面也可以参照下。由于笔者知识面有限,难免会出现一些偏颇,不全,不正确,还请指正。后面也会有很多新的软件出现
E-MapReduce是构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括但不限于Hadoop、Spark、Hbase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。我们提供的软件基本都是开源的软件,会有一些性能的优化,但是绝对不引入任何不兼容的改动。
目前大数据基本是用java的。不过java要必要转大数据吗,看起来就不太懂大数据。 大数据其实分很多领域:有基础组件、有大数据业务系统、也有机器学习等。 就看题目理解的大数据是什么,想做什么。
可以参考使用阿里云的数据湖分析服务:https://www.aliyun.com/product/datalakeanalytics
可以参考使用阿里云数据湖分析服务DLA
具体参考:https://help.aliyun.com/document_detail/129965.html?spm=a2c4g.11186623.6.592.1cf6d4fbVj5JL0
可以使用阿里云数据湖分析服务DLA来做探索性的分析。
这个账号没有权限的,文中有一些提示的。
hadoop 还是过于复杂,可以考虑 阿里云数据湖分析服务DLA。大数据的能力、数据库的体验。
未来的大数据一定的按需付费Serverless化的。当前很多项目的大数据的实施成本过高。
最近几年业内分享大数据的技术与案例比较多,不过大数据发展还是比较快的。 从10年前的google三篇论文,到最近的 很火的Serverless的数据湖分析服务,发展还是相当快的。
核心在于科学家及分析师需要一种简单实用的语言,而Python比较合适,或者Python后续的设计就倾向于此。
hudi的出现确实为了解决类似的问题
哲学的回答:因为hadoop设计就是为了解决大数据分析问题,如果不能解决就没有hadoop 实际的原因:hadoop核心分为3个层次:存储hdfs、计算mr&tez、调度yarn 不过最近随着社区及云的发展,慢慢演变为:存储HDFS换成了S3或者OSS,调度Yarn换成了k8s,再计算引擎百花齐放,比如spark、比如各家云产商提供的数据湖分析服务,bigquery,阿里云数据湖分析dla等。
简单讲:flink是实时流,Spark Streaming是用批模拟流。
还有一种主流的方式,是直接提交到k8s
一般需要有监控的服务,设定一定的预期,后续检测是否符合预期。
一般情况下,弹性伸缩都有一定的度,比如min ~ max ,如果不在此区间视为异常。
可以参考:https://help.aliyun.com/document_detail/109858.html?spm=a2c4g.11186623.6.626.13cf7aaebUvMd1
阿里云有一款数据湖分析DLA:https://www.aliyun.com/product/datalakeanalytics 是Serverless的数据湖分析服务 可以了解下
云计算与大数据在网上单独讲的挺多的,可以看看。我讲下我的理解: 从业务层面看:云计算与大数据是两个业务,在公司很小,业务量很小的时候。往往是没有大数据的。在ecs上买几个机器就可以解决问题。当数据量多了以后,慢慢会有云计算的技术。 从技术层面看:云计算往往是IAAS层的,大数据一般是在PAAS层,PAAS层使用IAAS的技术。不过有一些大数据到业务层面,就直接到SAAS层了。
今天 AI大数据云计算 是非常能代表未来的词汇,所以就用这个这些词汇了。假以时日,可能会出现其他的此。
一般是调度程序在添加服务器时,主动推送一个消息到MQ。另外一种是主动轮询,一般效率相对低一点。不过 如果不敏感的业务,其实也是可以解决问题的。
RDS是多种规格的,在一般的mysql的基础之上提供了很多好用的功能。 - 保障性能与稳定性肯定是必要的 - 提供HA切换机制,很多是2台起步的 - 支持性能分析 - 提供数据备份的机制 - 支持跟数据湖分析DLA一起联合分析 等等