如何将个性化需求变成大数据解决方案
大数据的技术日新月异,解决了很多传统的方法所无法解决的问题,为软件实现上提供了新思路。目前已经有很多企业已经基于大数据的相关技术已经搭建了很多系统。
在系统的搭建过程中,需要解决一个的问题:“我的这个需求,用大数据的技术如何实现”。
如何基于日志,同步实现数据的一致性和实时抽取?
本文根据DBAplus社群第85期线上分享整理而成
讲师介绍王东
宜信技术研发中心架构师
目前就职于宜信技术研发中心,任架构师,负责流式计算和大数据业务产品解决方案。
曾任职于Naver china(韩国最大搜索引擎公司)中国研发中心资深工程师,多年从事CUBRID分布式数据库集群开发和CUBRID数据库引擎开发
http://www.
实时计算Flink on Kubernetes产品模式介绍
Flink产品介绍
目前实时计算的产品已经有两种模式,即共享模式和独享模式。这两种模式都是全托管方式,这种托管方式下用户不需要关心整个集群的运维。其次,共享模式和独享模式使用的都是Blink引擎。这两种模式为用户提供的主要功能也类似,
都提供开发控制台;
开发使用的都是Blink SQL,其中独享模式由于进入了用户的VPC,部署在用户的ECS上,因此可以使用很多底层的API,如UDX;
都提供一套的开箱即用的metric收集、展示功能;
都提供作业监控和报警功能。