阿里巴巴为什么选择Apache Flink?
本文作者:王峰(花名:莫问)
导读:伴随着海量增长的数据,数字化时代的未来感扑面而至。不论是结绳记事的小数据时代,还是我们正在经历的大数据时代,计算的边界正在被无限拓宽,而数据的价值再也难以被计算。时下,谈及大数据,不得不提到热门的下一代大数据计算引擎Apache Flink(以下简称Flink)。本文将结合Flink的前世
大数据,数据分析,机器学习,架构等相关系统名称名词解释
常用的一些软件或其他
1.日志(日志收集,日志处理)
风来了.fox
1.1 Logstash
Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件。
1.2 Filebeat
Filebeat是一个开源的文件收集器,主要用于获取日志文件,并把它们发送
实时欺诈检测(风控)
基于实时计算,您可以轻松完成实时欺诈检测系统。 实时欺诈检测系统能够及时发现用户高危行为并采取措施,降低损失。
系统架构:
实时欺诈检测(风控)系统流程如下:
用户的行为经由App上报或Web日志记录下来,发送到一个消息队列里去。
基于 Tracing 数据的拓扑关系生成原理
背景
随着互联网架构的流行,越来越多的系统开始走向分布式化、微服务化。如何快速发现和定位分布式系统下的各类性能瓶颈成为了摆在开发者面前的难题。借助分布式追踪系统的调用链路还原能力,开发者可以完整地了解一次请求的执行过程和详细信息。
Flink Batch SQL 1.10 实践
1.10可以说是第一个成熟的生产可用的Flink Batch SQL版本,它一扫之前Dataset的羸弱,从功能和性能上都有大幅改进,以下我从架构、外部系统集成、实践三个方面进行阐述。