Dataphin智能数据建设与治理
瓴羊企业数智服务旗下核心数据管理产品,由阿里巴巴数据中台创始团队打造,十余年实战方法论植入,致力于解决企业数据口径不一致的问题,从设计、开发、运营、消费提供全链路保障,助力企业实现标准、规范、统一、融通的大数据体系。
Apache Flink meetup ·北京站
活动流程9:00 - 10:00:签到10:00-11:00:戴资力+杨克特《Apache Flink 1.9 特性解读》11:00-11:15:茶歇11:15-12:00:秦江杰《打造基于Flink Table API的机器学习生态》13:00-14:00:签到14:00-14:45:张凯+任春德《基于Flink on Kubernetes的大数据平台》14:45-15:30:杨旭《基于Apache Flink的高性能机器学习算法库》15:30-16:15:董亭亭《Apache Flink在快手的应用与实践》16:15-16:35:茶歇16:35-17:20:待定 待定17:20-18:05:李锐《Apache Flink-1.9与Hive的兼容性》18:05-18:30:抽奖+合影+会后交流嘉宾介绍 演讲标题:《Apache Flink 1.9 特性解读》戴资力(Gordon Tai)Apache Flink PMC ,Ververica Software Engineer个人简介:戴资力(Gordon Tai)是 Apache Flink 开源社区的 PMC 成员,目前任职于 Ververica 担任 Software Engineer,主要负责 Flink 的系统开发。在 Flink 的主要贡献包含:Apache Kafka / AWS Kinesis 精确一次连接数据源,数据类序列化框架,有状态流处理的应用升级等。曾于 Flink Forward San Francisco / Berlin / Beijing 与 Strata Data 担任讲者分享 Flink 相关议题。杨克特 (花名:鲁尼)阿里巴巴高级技术专家,Apache Flink Committer个人简介:2011年硕士毕业于浙江大学后加入阿里巴巴,先后从事过搜索引擎,调度系统,大数据处理等核心系统的设计与研发,目前负责实时计算 Flink的SQL引擎。 演讲标题:《打造基于Flink Table API的机器学习生态》秦江杰Apache Kafka PMC,阿里巴巴 高级技术专家个人简介:阿里巴巴实时计算平台高级技术专家。硕士毕业于卡耐基梅陇大学,曾任职于LinkedIn负责Apache Kafka的开发,是Apache Kafka PMC member。目前在阿里巴巴参与Apache Flink的开发工作。内容简介:Flink 社区在最近的一段时间里对 Table API 进行了一系列功能强化来使其更好的为各种数据计算需求服务。机器学习作为一种重要的计算场景也是Table API发展规划中的关键的组成部分。本次分享将介绍Flink 社区基于 Flink Table API来打造机器学习生态方面的各项工作规划和进展。演讲标题:《基于Flink on Kubernetes的大数据平台》张凯阿里云 高级技术专家个人简介:负责容器服务Kubernetes产品架构和研发,重点探索利用容器技术加速异构计算、深度学习、边缘计算等广泛场景方案的交付与落地。任春德(花名:瓦力)阿里巴巴 高级技术专家个人简介:2006年毕业加入阿里集团,长期从事Hadoop相关的大数据计算平台研发,目前在计算平台事业部担任高级技术专家,负责YARN和Flink资源调度的研发。通过Flink与YARN的深度对接,为实时计算提供大规模、高效、稳定的运行平台。演讲标题:《基于Apache Flink的高性能机器学习算法库》杨旭阿里巴巴 资深算法专家个人简介:杨旭是阿里巴巴集团计算平台事业部的资深算法专家,主要负责阿里云机器学习算法平台PAI中的基础机器学习算法的研发和维护,并基于Flink研发了批流一体的通用算法平台Alink。Alink已在阿里集团内部广泛使用,杨旭与其团队近期正在推进开源基于Flink的机器学习算法库,进一步回馈社区。演讲简介:阿里巴巴计算平台事业部正在与Flink社区合作,开源自研的机器学习算法库,基于该算法库,用户可以更方便地构建高性能的Flink机器学习作业。我们希望通过开源来促进Flink社区在机器学习领域的发展。同时也欢迎更多开发者与我们携手共进,建立更强大、更完整的Flink算法库。本次分享主要围绕团队基于Flink研发高性能机器学习算法库过程中的技术积累与收获。演讲标题:《Apache Flink在快手的应用与实践》董亭亭快手 实时计算引擎团队负责人个人简介:董亭亭,快手大数据架构实时计算引擎团队负责人。目前负责Flink引擎在快手内的研发、应用以及周边子系统建设。2013年毕业于大连理工大学,曾就职于奇虎360、58集团。主要研究领域包括:分布式计算、调度系统、分布式存储等系统。演讲简介: Flink系统在快手有着广泛的应用,包括实时监控、实时统计分析、多源数据join等,涉及到公司几乎所有数据相关业务部门。目前Flink集群的整体规模超过千台、日处理条目超过264亿条,处理峰值超过3.6千万条/s。本次分享将会介绍Flink系统在快手的应用实践,以及我们遇到的稳定性、性能等相关问题以及解决思路。例如,如何解决interval join场景下rockdb backend的性能瓶颈、大量读取历史数据时多数据源取数速度差异导致的稳定性问题等等。具体提纲:1、 Flink在快手应用场景与规模2、 快手Flink引擎的优化与改进3、 未来计划演讲标题:《Apache Flink-1.9与Hive的兼容性》李锐Apache Hive PMC,阿里巴巴技术专家个人简介:阿里巴巴技术专家,Apache Hive PMC成员,加入阿里巴巴之前曾就职于Intel、IBM等公司,主要参与Hive、HDFS、Spark等开源项目。演讲简介:为了完善Flink SQL的功能,更好地挖掘Flink在批处理方面的潜力,我们提出了Flink与Hive集成的项目,为用户提供通过Flink SQL与Hive进行互操作的功能。本演讲将介绍该项目的设计与架构,在Flink-1.9中与Hive集成的进展,以及我们后续工作的计划等。Apache Flink China 社区钉钉群