SegmentFault D-Day 北京:大数据

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 很开心在这么冷的天和大家相聚在熟悉的 3W 咖啡聊大数据,感谢北京小伙伴踩着冰渣子来参加本场大数据为主题的 D-Day 活动。此次沙龙由 SegmentFault 家 Adele 主持,这一次选择了一个相对陌生的主题,但仍然吸引了很多对大数据感兴趣的观众,不少业内人士也纷纷赶到现场向大咖提问。

很开心在这么冷的天和大家相聚在熟悉的 3W 咖啡聊大数据,感谢北京小伙伴踩着冰渣子来参加本场大数据为主题的 D-Day 活动。此次沙龙由 SegmentFault 家 Adele 主持,这一次选择了一个相对陌生的主题,但仍然吸引了很多对大数据感兴趣的观众,不少业内人士也纷纷赶到现场向大咖提问。

image.png

Adele 简单介绍了 SegmentFault 的成长历程、行业愿景,产品特性,以及我们举办 D-Day 线下技术沙龙的愿景——让当地的开发者,开发者和大牛之间有面对面的交流机会的愿景后,马上进入分享环节。

image.png


现场回顾

image.png

第一位分享嘉宾是个推技术总监袁凯,分享的议题是《个推 Spark 应用与实践》,主要内容包括 Spark 简介,为什么选择 Spark,以及 Spark 在个推的应用实践:

  • 个推数据处理架构
  • Spark Streaming 部署情况
  • 应用 Spark 的业务举例
  • Spark Streaming 实现热力图

image.png

第二位嘉宾是 @蓝海讯通OneAPM 大数据架构师刘麒贇,刘老师分享的议题是《大数据实时分析利器 Druid 的应用》。不光讲了选择 Druid 的背景,Druid 的基本介绍,以及对 Durid 的展望,还举例说明了 OneAPM 目前基于 Druid 的应用:

  • 利用 Druid 存储查询 Saas 数据
  • OneAPM Druid 集群概况、集群拓扑
  • OneAPM 金字塔结构的 Druid DateSources
  • OneAPM Druid 集群监控方案

image.png

中场休息结束后,接下来为大家分享的嘉宾是 @友盟 数据平台架构师展一楠,议题为《友盟 Spark 和 Elasticsearch 实践》。简单介绍什么是 Elasticsearch,Es的优点,局限,友盟 Es 使用情况后,展老师还结合友盟实例进行分析,包括:

  • 友盟 Hadoop & Spark 使用情况
  • 友盟使用 Spark 的一点不太明显的原因:函数式编程
  • Spark 与 Es 在技术上结合解决的问题
  • 使用搜索引擎后,可能是给自己挖坑

image.png

本场最后一位分享的嘉宾是小米公司研发架构师,负责小米广告平台的架构和数据的欧阳辰,这一次分享议题是《小米大数据技术小实践》,关键词为小米、大数据、技术小实践,比如:

  • 小米大数据技术框架、大数据应用
  • 为何青睐 HBase,HBase 在小米的改进,如何从 MyAQL 平滑迁移到 HBase
  • 小米广告的实时统计


圆桌环节

image.png

四位嘉宾演讲结束后是圆桌环节,本次圆桌由小米公司研发架构师欧阳辰主持,现场来了很多专业的观众,就平台架构选型及个人使用过程的疑问和嘉宾们进行讨论交流。圆桌结束后有些听众意犹未尽,纷纷找嘉宾老师私聊。此次 D-Day 足以见开发者们对大数据这一前沿领域技术的兴趣。后期 SegmentFault D-Day 会对每年前沿技术保持关注,为大家带来更多有趣的技术交流活动。


本场 D-Day 结束,马上就要 12 月了,希望大家带着 D-Day 上 get 的新知识,进入全新的一个月。

干货已出↓↓↓


现场干货整理

嘉宾 Slides:

嘉宾现场速记:

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
消息中间件 SQL 分布式计算
深圳公司大数据面试题汇总
深圳公司大数据面试题汇总
|
移动开发 安全 前端开发
SegmentFault D-Day 2015 全国技术沙龙总结报告
经过三年多的发展,SegmentFault 从一开始的的技术问答切入,到目前已经在开发者这个垂直行业已经处于领先地位,我们的业务也在快速的发展,平台上已经聚集了近百万的开发者。我们不仅希望各位开发者通过SegmentFault 社区在线上进行技术交流,我们也希望通过我们的SegmentFault D-Day 线下技术分享沙龙,让当地的开发者之间以及开发者和技术大牛之间有面对面的交流的机会。
139 0
SegmentFault D-Day 2015 全国技术沙龙总结报告
|
运维 搜索推荐 大数据
SegmentFault D-Day 2015 苏州「数据分析」沙龙回顾
10 月 31 日,SegmentFault D-Day 2015 苏州站圆满收场。虽然是首次来苏州,但参与人数超出预估,现场反馈也是出乎意料。
134 0
SegmentFault D-Day 2015 苏州「数据分析」沙龙回顾
|
资源调度 运维 大数据
SegmentFault D-Day 北京站:云计算专场回顾
8 月 29 日 SegmentFault D-Day 北京站在天使汇 DotGeek 咖啡如期举行。本次沙龙邀请到 API Cloud CTO 邹达、QingCloud 高级工程师 Ray、灵雀云 CTO 陈恺以及 SpeedyCloud CTO 董伟,全程围绕《面向云平台集群管理及与云应用案例》主题进行分享,大牛与干货齐飞,内容丰富而不失极客调性。SegmentFault D-Day 持续聚集起有追求、技术狂热的开发者们,为大家提供独一无二优质纯粹的交流空间。
152 0
SegmentFault D-Day 北京站:云计算专场回顾
|
Web App开发 移动开发 前端开发
SegmentFault D-Day 广州站圆桌:跨领域的技术答疑
我们在今年的 SegmentFault D-Day 技术沙龙里加入了别具一格的「圆桌讨论」环节,圆桌偏重的是技术热点、成长历程以及创业路上的经验交流,和主体的严肃议题分享形成互补,就是为了做出更加 SegmentFault 式的沙龙体验,让技术与实际经验结合,让普通开发者与大牛更深入地交流。
142 0
SegmentFault D-Day 广州站圆桌:跨领域的技术答疑
|
前端开发 JavaScript Java
D-Day 2015 杭州站:SegmentFault 三周年的技术盛宴
SegmentFault D-Day 2015 杭州站暨三周年技术大会 上周六顺利地进行了,全天四个会场、20 位嘉宾、各个技术方向深入探讨分享,从最新的技术趋势展望,到热门的技术议题深入探讨,再到众多嘉宾的技术经验与心得,这次杭州站 D-Day 就是一场我们三周年的技术盛宴。
150 0
D-Day 2015 杭州站:SegmentFault 三周年的技术盛宴
|
监控 安全 JavaScript
慢雾科技和 SegmentFault 达成战略合作
慢雾科技和 SegmentFault 达成战略合作
141 0
|
存储 缓存 前端开发
SegmentFault D-Day 南京站圆桌:技术与产品的结合
我们在今年的 SegmentFault D-Day 技术沙龙里加入了别具一格的「圆桌讨论」环节,圆桌偏重的是技术热点、成长历程以及创业路上的经验交流,和主体的严肃议题分享形成互补,就是为了做出更加 SegmentFault 式的沙龙体验,让技术与实际经验结合,让普通开发者与大牛更深入地交流。
156 0
SegmentFault D-Day 南京站圆桌:技术与产品的结合
|
智能设计 安全 开发工具
以心为边,以梦为界——记 SegmentFault Hackathon 西电专场
4月25日晚19点,一场以“科技城市,智慧生活”为主题的Hackathon——黑客编程马拉松活动在西安电子科技大学的大学生活动中心正式拉开了帷幕。10余组开发团队因为共同的想法凝聚在一起,在这个不限平台的黑客编程马拉松中,大家各展其能,互相协作,在4月26日中午12点起的24小时内,用最高效的开发工具最快地实现了自己团队的想法。
148 0
以心为边,以梦为界——记 SegmentFault Hackathon 西电专场
|
设计模式 存储 移动开发
SegmentFault D-Day 北京站圆桌:技术创业者的经验交流
我们在今年的 SegmentFault D-Day 技术沙龙里加入了别具一格的「圆桌讨论」环节,圆桌偏重的是技术热点、成长历程以及创业路上的经验交流,和主体的严肃议题分享形成互补,就是为了做出更加 SegmentFault 式的沙龙体验,让技术与实际经验结合,让普通开发者与大牛更深入地交流。
128 0
SegmentFault D-Day 北京站圆桌:技术创业者的经验交流