2016Qcon上海之旅-阿里云开发者社区

开发者社区> 隐林> 正文

2016Qcon上海之旅

简介: 转载wangshen主要是大数据应用方向早上第一个听了IBM 企业海量数据以及全面云数据服务实践,主要介绍 了IBM 云计算的应用场景,主要是介绍IBM 在云数据服务方面的应用,主要是分享了几个客户案例.
+关注继续查看

免费开通大数据服务:https://www.aliyun.com/product/odps

转载wangshen

主要是大数据应用方向
早上第一个听了IBM 企业海量数据以及全面云数据服务实践,主要介绍 了IBM 云计算的应用场景,主要是介绍IBM 在云数据服务方面的应用,主要是分享了几个客户案例,其中一个是央视的西藏骑行的电视直播,中间涉及物理设备数据采集,背后实时的数据分析,结合地理位置 数据,地图以及运动员数据同时支持可视化,提升活动本身的参与性,整体全部基于IBM云服务来做。整个开发周期10天,可见IBM在解决方案级别的能力较强,其次主要介绍了IBM 的云服务。如下:
1

其次就是阿里巴巴的神盾介绍集团的风控平台,整体建设思路和蚂蚁的风控平台类似。
2
3
4


这里融合计算概念没有讲的很清楚,其次基于zk 做指标逻辑的动态更新,而不需要中断指标计算。

接下来主要是基于Elastic Stack 做的大数据多维分析。目前国内应用较多的大数据多维分析工具,一个是apache kylin 一个就是es。这里主要介绍如何应用es 做指标分析。
5

1)数据收集:logstash+beats
     
Logstash:在 server 端,处理传入的日志,采用pipeline 的模式过滤计算数据,不支持数据之间的聚合操作。
     
beats:在client端,用于采集各种情况下的日志,日志包括DB,redis,http,top,file,消息队列。
2)数据分析:elasticsearch
   
 elasticsearch 可以作为OLAP引擎来用。
     
elasticsearch目前加入了很多聚合的功能,包括
   
 a)支持一些数据分析功能,包括柱状图、分布、统计、地理
 
  b)支持任何数据:只要数据能被查询,就可以被分析
   
  c)按需计算和实时性:可以按需实时计算、实时性在秒左右
 
  d)可嵌套组合


3)数据展现:kibana
   kibana被用作数据展示工具,Web 界面,用来搜索和可视化日志。
现场看了一下es的演示,因为结合了可视化,数据采集以及数据清洗以及多维分析的能力,整体体验较为不错。

下午重点:
主要是携程推荐平台负责人介绍了携程推荐平台的介绍,核心点主要是rerank 以及abtest ,根据携程的业务特有的推荐特征筛选等等。
6
7

另外比较重要的就是阿里巴巴宗超介绍了集团在海量数据下数据研发体系的建设和管理,由于数据的暴增如何解决多样数据的规范化存储以及开发等等,核心观念如何统一数据资产以及工具研发体系的标准化。

快速、完全托管的TB/PB级数据仓库解决方案,向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。

8


9


欢迎加入“数加·MaxCompute购买咨询”钉钉群(群号: 11782920)进行咨询,群二维码如下:

96e17df884ab556dc002c912fa736ef6558cbb51 

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
使用NAT网关轻松为单台云服务器设置多个公网IP
在应用中,有时会遇到用户询问如何使单台云服务器具备多个公网IP的问题。 具体如何操作呢,有了NAT网关这个也不是难题。
26799 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
10099 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13895 0
windows server 2008阿里云ECS服务器安全设置
最近我们Sinesafe安全公司在为客户使用阿里云ecs服务器做安全的过程中,发现服务器基础安全性都没有做。为了为站长们提供更加有效的安全基础解决方案,我们Sinesafe将对阿里云服务器win2008 系统进行基础安全部署实战过程! 比较重要的几部分 1.
9161 0
腾讯云服务器 设置ngxin + fastdfs +tomcat 开机自启动
在tomcat中新建一个可以启动的 .sh 脚本文件 /usr/local/tomcat7/bin/ export JAVA_HOME=/usr/local/java/jdk7 export PATH=$JAVA_HOME/bin/:$PATH export CLASSPATH=.
4670 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
7366 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
4511 0
+关注
隐林
阿里云大数据产品专家,擅长MaxCompute、机器学习、分布式、可视化、人工智能等大数据领域;
288
文章
38
问答
来源圈子
更多
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。
+ 订阅
相关文档: 图计算服务 数据洞察 数据总线
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载