大数据

首页 标签 大数据
# 大数据 #
关注
51203内容
Apache Flink meetup ·北京站
活动流程9:00 - 10:00:签到10:00-11:00:戴资力+杨克特《Apache Flink 1.9 特性解读》11:00-11:15:茶歇11:15-12:00:秦江杰《打造基于Flink Table API的机器学习生态》13:00-14:00:签到14:00-14:45:张凯+任春德《基于Flink on Kubernetes的大数据平台》14:45-15:30:杨旭《基于Apache Flink的高性能机器学习算法库》15:30-16:15:董亭亭《Apache Flink在快手的应用与实践》16:15-16:35:茶歇16:35-17:20:待定 待定17:20-18:05:李锐《Apache Flink-1.9与Hive的兼容性》18:05-18:30:抽奖+合影+会后交流嘉宾介绍 演讲标题:《Apache Flink 1.9 特性解读》戴资力(Gordon Tai)Apache Flink PMC ,Ververica Software Engineer个人简介:戴资力(Gordon Tai)是 Apache Flink 开源社区的 PMC 成员,目前任职于 Ververica 担任 Software Engineer,主要负责 Flink 的系统开发。在 Flink 的主要贡献包含:Apache Kafka / AWS Kinesis 精确一次连接数据源,数据类序列化框架,有状态流处理的应用升级等。曾于 Flink Forward San Francisco / Berlin / Beijing 与 Strata Data 担任讲者分享 Flink 相关议题。杨克特 (花名:鲁尼)阿里巴巴高级技术专家,Apache Flink Committer个人简介:2011年硕士毕业于浙江大学后加入阿里巴巴,先后从事过搜索引擎,调度系统,大数据处理等核心系统的设计与研发,目前负责实时计算 Flink的SQL引擎。 演讲标题:《打造基于Flink Table API的机器学习生态》秦江杰Apache Kafka PMC,阿里巴巴 高级技术专家个人简介:阿里巴巴实时计算平台高级技术专家。硕士毕业于卡耐基梅陇大学,曾任职于LinkedIn负责Apache Kafka的开发,是Apache Kafka PMC member。目前在阿里巴巴参与Apache Flink的开发工作。内容简介:Flink 社区在最近的一段时间里对 Table API 进行了一系列功能强化来使其更好的为各种数据计算需求服务。机器学习作为一种重要的计算场景也是Table API发展规划中的关键的组成部分。本次分享将介绍Flink 社区基于 Flink Table API来打造机器学习生态方面的各项工作规划和进展。演讲标题:《基于Flink on Kubernetes的大数据平台》张凯阿里云 高级技术专家个人简介:负责容器服务Kubernetes产品架构和研发,重点探索利用容器技术加速异构计算、深度学习、边缘计算等广泛场景方案的交付与落地。任春德(花名:瓦力)阿里巴巴 高级技术专家个人简介:2006年毕业加入阿里集团,长期从事Hadoop相关的大数据计算平台研发,目前在计算平台事业部担任高级技术专家,负责YARN和Flink资源调度的研发。通过Flink与YARN的深度对接,为实时计算提供大规模、高效、稳定的运行平台。演讲标题:《基于Apache Flink的高性能机器学习算法库》杨旭阿里巴巴 资深算法专家个人简介:杨旭是阿里巴巴集团计算平台事业部的资深算法专家,主要负责阿里云机器学习算法平台PAI中的基础机器学习算法的研发和维护,并基于Flink研发了批流一体的通用算法平台Alink。Alink已在阿里集团内部广泛使用,杨旭与其团队近期正在推进开源基于Flink的机器学习算法库,进一步回馈社区。演讲简介:阿里巴巴计算平台事业部正在与Flink社区合作,开源自研的机器学习算法库,基于该算法库,用户可以更方便地构建高性能的Flink机器学习作业。我们希望通过开源来促进Flink社区在机器学习领域的发展。同时也欢迎更多开发者与我们携手共进,建立更强大、更完整的Flink算法库。本次分享主要围绕团队基于Flink研发高性能机器学习算法库过程中的技术积累与收获。演讲标题:《Apache Flink在快手的应用与实践》董亭亭快手 实时计算引擎团队负责人个人简介:董亭亭,快手大数据架构实时计算引擎团队负责人。目前负责Flink引擎在快手内的研发、应用以及周边子系统建设。2013年毕业于大连理工大学,曾就职于奇虎360、58集团。主要研究领域包括:分布式计算、调度系统、分布式存储等系统。演讲简介: Flink系统在快手有着广泛的应用,包括实时监控、实时统计分析、多源数据join等,涉及到公司几乎所有数据相关业务部门。目前Flink集群的整体规模超过千台、日处理条目超过264亿条,处理峰值超过3.6千万条/s。本次分享将会介绍Flink系统在快手的应用实践,以及我们遇到的稳定性、性能等相关问题以及解决思路。例如,如何解决interval join场景下rockdb backend的性能瓶颈、大量读取历史数据时多数据源取数速度差异导致的稳定性问题等等。具体提纲:1、 Flink在快手应用场景与规模2、 快手Flink引擎的优化与改进3、 未来计划演讲标题:《Apache Flink-1.9与Hive的兼容性》李锐Apache Hive PMC,阿里巴巴技术专家个人简介:阿里巴巴技术专家,Apache Hive PMC成员,加入阿里巴巴之前曾就职于Intel、IBM等公司,主要参与Hive、HDFS、Spark等开源项目。演讲简介:为了完善Flink SQL的功能,更好地挖掘Flink在批处理方面的潜力,我们提出了Flink与Hive集成的项目,为用户提供通过Flink SQL与Hive进行互操作的功能。本演讲将介绍该项目的设计与架构,在Flink-1.9中与Hive集成的进展,以及我们后续工作的计划等。Apache Flink China 社区钉钉群
阿里云新品发布会第60期:DataV专业版 重磅发布
产品详情:DataV数据可视化一图快速了解:发布核心、场景、优势、接入、更多!点击了解:“阿里云新品发布会频道”立即订阅:阿里云新品发布会·周刊发布会主题DataV专业版全新上线,搭载节点式编程功能,可实现更灵活的数据与页面交互配置。此外,该版本还加入了子账号独立工作空间管理、高级数据交互组件包、组件自定义开发等功能,适合高灵活性、高定制化场景的数据可视化应用制作。议程/简介15:00-15:20《DataV专业版功能介绍》 ——主讲人:曈羽,DataV产品经理DataV专业版功能详解,节点式编程,可实现更灵活的数据与页面交互配置子账号独立工作空间管理高级数据交互组件包组件自定义开发等功能15:20-15:50《DataV专业版实践:用最少的代码搭建杭州学区房交互看板 》——主讲人:夏柘,DataV产品研发工程师以搭建“杭州学区房交互看板”为例子,手把手带大家解锁DataV专业版节点式编程功能。讲师简介钉钉扫码加入阿里云DataV用户群
从 Apache ORC 到 Apache Calcite | 第三讲 海胜专访《MaxCompute 与大数据查询引擎的技术和故事》
【直播主题】海胜专访《MaxCompute 与大数据查询引擎的技术和故事》【分享嘉宾】苑海胜 阿里云智能计算平台 高级技术专家 / Apache Calcite Committer / 前 Greenplum 数据库优化器 Team Lead / CMU硕士【直播时间】6月6日 16:00-16:50 【精彩剧透】MaxCompute与MPP数据库的比较分布式系统上Join是如何实现的MaxCompute 针对 Join 和聚合引入的 Hash 和 Range Clustering 的优化从中国到日本,再到美国,工作经历和体验有何差别
从 Apache ORC 到 Apache Calcite | 第二讲 春蔚专访 《MaxCompute 与 Calcite 的技术和故事》
【直播主题】春蔚专访《MaxCompute 与 Calcite 的技术和故事》【分享嘉宾】雷春蔚 阿里云智能计算平台 高级开发工程师 / Apache Calcite Committer / 华中科技大学硕士【直播时间】5月30日 16:00-16:50【精彩剧透】什么是Apache Calcite开源项目?MaxCompute在SQL层面做了哪些优化?如何进入大数据行业?又如何一步步成为Calcite committer?【系列直播预告】6月6日 16:00-16:50 苑海胜专访 《MaxCompute 与大数据查询引擎的技术和故事》
从 Apache ORC 到 Apache Calcite | 第一讲 吴刚专访《大数据和 MaxCompute 技术和故事》
【直播主题】吴刚专访 《大数据和 MaxCompute 技术和故事》【分享嘉宾】吴刚 阿里云智能计算平台 技术专家 / Apache ORC PMC 首位华人 / 前硅谷 Uber Spark Tech Lead / CMU硕士【直播时间】5月23日 16:00-16:50 【精彩剧透】什么是Apache ORC开源项目?主流的开源列存格式ORC和Parquet有何区别?MaxCompute为什么选择ORC?如何一步步成为committer和加入PMC的?在阿里和Uber总部的工作体验有何异同?中、美互联网公司的文化有什么差别?【系列直播预告】5月30日 16:00-16:50 雷春蔚专访 《MaxCompute 与 Calcite 的技术和故事》 6月6日 16:00-16:50 苑海胜专访 《MaxCompute 与大数据查询引擎的技术和故事》
阿里云新品发布会第57期:DataWorks 实时数据开发平台发布会
查看产品:DataWorks点击了解:Stream Studio重磅发布有奖问答:互联网大数据时代的实时计算需求,你打算用什么方式来应对?点击了解:“阿里云新品发布会频道”点击订阅:阿里云新品发布·周刊发布会议程简介15:00-16:00 《阿里云DataWorks Stream Studio —— 一站式流任务开发平台》介绍实时计算任务开发的困难、问题和背景,引出使用Stream Studio可以大大加快实时任务的开发速度,降低开发和维护门槛,同时结合DataWorks的整体能力,能够实现实时数仓、实时监控、实时分析、实时大屏等实时大数据场景的一站式开发。讲师简介王喆(喆别)+阿里巴巴产品专家扫码加入阿里云Stream Studio用户群
混合云大数据实践精讲
云平台、资源和集群太多,如何兼顾配置、状态、安全?层出不穷的云产品,各种各样的大数据、安全、数据库等,如何确保企业IT处在正常状态?驻云CEO、首席架构师、大数据总监三位重量级嘉宾首次同台授课,“湖畔第一大脑” 蒋烁淼领头线上精讲,内容涉及企业IT架构、混合云存储、大数据方案等实战内容,从技术实战到解决方案,难题痛点一次解透。本期内容:混合云大数据实践精讲主讲嘉宾:阿里云MVP,上海驻云信息科技有限公司大数据总监徐季秋相关内容:第一节:云时代企业IT智能诊断实践与探索第二节:企业IT架构云化转型挑战与应对第三节:混合云场景下存储实践精讲第四节:云管理服务技术要点和实践精讲【讲师介绍】蒋烁淼:阿里云MVP,上海驻云信息科技有限公司CEO。上海驻云信息科技有限公司创始人,马云湖畔大学第一期学员,公认的“湖畔第一大脑”。在云计算领域深耕多年,曾在阿里云成立之初为其提出开发建议。专注可视化云构架管理平台,阿里云钻石级合作伙伴。苏炎:阿里云MVP,上海驻云信息科技有限公司首席架构师。浙江大学软件工程学士毕业,后就读NEU(波士顿东北大学)计算机系统工程硕士。先后在IBM和华为的存储团队,以及VMware的VSAN团队担任软件工程师和架构师。2016加入上海驻云信息科技有限公司,担任首席架构师,并负责整个架构师团队,拓展公司的云上业务。精通云计算,对于系统架构设计,微服务化改造以及大数据有着深入的认识和理解。徐季秋:阿里云MVP,上海驻云信息科技有限公司大数据总监。毕业于浙江大学竺可桢学院,具有13年软件系统开发经验,7年大数据全链路经验。持有多个算法发明专利,并担任第一届阿里巴巴数据大学讲师,有丰富的分布式系统和算法开发经验。现任驻云科技大数据总监,前蚂蚁金服国际风控数据专家, 阿里巴巴数据科学团队专家,IBM China Development Lab 高级分布式系统开发。【分节内容】第一节:云时代企业IT智能诊断实践与探索摘要: 随着云计算的崛起和飞速发展,层出不穷的新技术不断地冲击着企业IT的建设,推动企业IT快速的转型。企业IT架构在发生重大变化的同时,对于其IT能力也提出巨大的挑战。把专家变成计算机算法,通过基于时间维度的大数据平台,构建了一个智能诊断体系。以不间断的在线自动化诊断的方式,发现IT的每一个问题,并且给出专业分析及处理建议。同时利用这个体系,实现业务数字化,各种系统信息的汇聚,提高人与人之间的协作。第二节:企业IT架构云化转型挑战与应对摘要:云计算特点及发展趋势定义了企业IT架构需要不断地云化演进,结合多年的云计算领域的实践经验,浅谈传统企业云化转型的过程,以及可能遇到的挑战,从而满足企业与服务使用者,服务提供者以及运维管理者的需求。第三节:混合云场景下存储实践精讲摘要:混合云是许多企业IT发展过程的必经阶段,着重描述如何实现公共云和私有云之间数据的自由流动,如何做到业务无感知,用户不需要关注数据的位置,实现数据的融合和自由迁移的解决方案。第四节:云管理服务技术要点和实践精讲摘要:为了适应云计算时代的发展趋势,对于企业的IT能力有了新的定义,企业需要具备不同的能力来适应时代发展的要求。第五节:混合云大数据实践精讲摘要: 混合云场景下如何建设更有性价比的大数据,去解决存通用问题,都需要经过仔细的考虑,结合驻云的实践经验,让大家有一个大概的了解。
阿里云新品发布会第50期:大数据平台开发者版发布会
发布会主题让MaxCompute成为国民级大数据平台—企业选型试用、开发者学习实验,统统零成本。发布会专属:MaxCompute开发者版 立即开通大数据计算服务 · MaxCompute产品活动专题页:让MaxCompute成为国民级大数据平台聚能聊话题:开发者如何0成本拥有自己的大数据项目?点击了解:“阿里云新品发布会频道”点击订阅:阿里云新品发布·周刊发布会内容简介/议程15:00-15:15《MaxCompute简介及MaxCompute开发者版介绍》MaxCompute不仅是阿里巴巴集团统一的计算平台,更是面向企业的智能化云数据仓库。对内,MaxCompute承载了阿里集团99%的数据存储以及95%的计算能力。每天有超过18000名阿里巴巴内部的开发者在这个平台上进行开发,几乎涵盖阿里内部所有的数据体系。对外,MaxCompute服务覆盖16个国家和地区,为全球金融、互联网、生物医疗、能源、交通,传媒等行业的数万家用户提供海量数据存储和计算能力。本次发布会MaxCompute将全新推出大数据开发者专属版本—MaxCompute开发者版。为什么要推出“开发者版”?“开发者版”的规格特点以及适用用户和场景有哪些?这会是在互联网寒冬的2019年,大数据技术全面普惠的风向标吗?15:15-15:45 《场景介绍及现场操作演示》详细介绍如何基于MaxCompute在阿里云构建典型大数据应用场景。以开发者版项目,对数据仓库/BI场景的完整数据加工链路进行DEMO演示,如何在0投入下学习、开发数据应用。15:45-16:00 《互动问答》对线上的用户问题进行互动解答。嘉宾信息曲宁(圣远)阿里云智能事业群 产品专家扫码加入阿里云MaxCompute开发者社区
免费试用