2018上海云栖大会workshop-函数计算解决金融异构报文处理示例
在金融行业里,不同的机构传输的数据报文格式千差外别,有的是日志格式,有的时候表格格式,有的csv格式,形式各式各样,千变万化的格式给统一处理系统带来不少麻烦,在传统的系统设计里,会设计存储报文的磁盘空间,处理服务器以及处理后的报文数据的数据库存储,哪么到了云时代,系统架构发生了很大的变化,今天我们结合对象存储,函数计算、日志服务以及表格存储来讲解整个业务处理过程。
TableStore:用户画像数据的存储和查询利器
TableStore是阿里云自研的在线数据平台,提供高可靠的存储,实时和丰富的查询功能,适用于结构化、半结构化的海量数据存储以及各种查询、分析。
用户画像数据是一种数据规模较大、数据结构复杂、查询种类多的数据,是公司差异化运营的基础,是打造“千人千面”、智能化的核心数据,帮产品找到最佳目标客户,对各种产品而言是一种很有价值的数据。
基于Tablestore的一站式物联网存储解决方案-Flink 实时计算
## 需求分析
在共享充电宝场景中,会有一些对实时性要求较高的计算场景。例如大屏展示每个省份、每个机柜的营收情况。这类场景不同于离线计算类的场景,需要实时地根据订单数据的变化来统计营业额,并不能采用前文中介绍的Spark近实时流批计算来实现。整个场景需求链路为根据订单增量变化,触发计算逻辑,计算结果写入Tablestore表中,提供给大屏展示。大致可以归纳成**增量写入-实时