FlinkX—批流统一的高效数据同步插件
什么是FlinkX?
FlinkX是一款基于Flink的分布式离线/实时数据同步插件,可实现多种异构数据源高效的数据同步,其由袋鼠云于2016年初步研发完成,目前有稳定的研发团队持续维护,已在Github上开源(开源地址详见文章末尾)。
DataWorks高级功能场景化案例分享
DataWorks高级功能场景化案例分享
自2009年DataWorks立项,伴随着阿里巴巴集团登月计划、公共云和专有云的发布,直到2018年V2.0的发布,DataWorks已经走过了十年的历程。
取之开源,用之开源-深度剖析阿里巴巴对Flink的优化与改进
作者 | 阿里巴巴实时计算团队
导读:随着人工智能时代的降临,数据量的爆发,阿里巴巴的商品数据处理就经常需要面对增量和全量两套不同的业务流程问题,所以阿里巴巴就在想:能不能有一套统一的大数据引擎技术,用户只需要根据自己的业务逻辑开发一套代码。这样在各种不同的场景下,不管是全量数据还是增量数据,亦或者实时处理,一套方案即可全部支持,这就是阿里巴巴选择 Flink 的背景和初衷。彼时的 Fl
学会这个,实时数据(Blink)实时查询实时写入!
交互式分析的另一核心功能是能够对实时数据实时写入实时查询,既能存储实时计算初步聚合后的数据,又能实现高并发的简单、复杂查询,同时也有JDBC/ODBC接口,轻松对接第三方工具,只需要一套代码维护一套系统,就能完美满足业务的实时查询、分析要求。
Flink 的新方向在哪里?这场顶级盛会给出了答案
导读:Flink Forward是由Apache官方授权,Apache Flink 商业公司dataArtisans(Flink核心作者创办)发起,阿里巴巴、 Uber、Airbnb、Netflix等公司参与的国际型会议。日前Flink Forward柏林会议刚刚闭幕,今天,我们一起分享会议内容。
StreamingPro支持Flink的流式计算了
有的时候我们只要按条处理,追求实时性而非吞吐量的时候,类似Storm的模式就比较好了。Spark 在流式处理一直缺乏改进,而Flink在流式方面做得很棒,两者高层的API也是互相借鉴,容易形成统一的感官,所以决定让StreamingPro适配Flink,让其作为StreamingPro底层的流式引擎。