Flink状态管理和容错机制介绍
作者: 施晓罡 (花名:星罡)
导读:本文来自8月11日在北京举行的 Flink Meetup会议,分享来自于施晓罡,目前在阿里大数据团队部从事Blink方面的研发,现在主要负责Blink状态管理和容错相关技术的研发
本文主要内容如下:
- 有状态的流数据处理;
- Flink中的状态接口;
- 状态管理和容错机制实现;
- 阿里相关工作介绍;
###
改写数据库历史的中国人
本文讲的是改写数据库历史的中国人,是的,互联网正在改变所有行业,同样包括监管最为严格、对数据库要求也最为严格的金融行业。如今,当9月21日阿里云全新一代云数据库产品POLARDB在公开的跑分测试上,读性能超过100万QPS、写性能超过13万TPS,全面超越AWS Aurora站立在世界之巅的时候,在高性能通用数据库这块高地上,第一次有了中国面孔。
Kubernetes-在Kubernetes集群上搭建HBase集群
经过3天的努力,终于在Kubernetes上把HBase集群搭建起来了,搭建步骤如下。
创建HBase镜像
配置文件包含core-site.xml、hbase-site.xml、hdfs-site.xml和yarn-site.xml,因为我这里是基于我之前搭建和zookeeper和Hadoop环境进行的,所以配置文件里面很多地方都是根据这两套环境做的,如果要搭建高可用的HBase集群,需要另外做镜像,当前镜像的配置不支持。
Phoenix客户端进化之由重到轻
Phoenix重客户端
Phoenix是HBase之上的SQL层,它为HBase赋予了NEWSQL的特性,支持了大多数的标准SQL特性,并提供了JDBC的访问接口,使得我们在应用程序中能够方便的集成使用。
用脚本模式配置数据同步
本文主要用自定义的ECS来调度来解网络不可达的问题。通过使用脚本模式来解因为网络不可达导致的向导模式无法配置的问题。