1. 案例背景
业务对BI报表的加速分析需求。
• 业务部门:假设业务部门提出业务目标:商户数提升30%、销售额提升50%。
• 运营部门:运营部要求看到实时运营数据,通过及时补充热门产品库存提升销售额,支撑商户拓展,把需求提给后台BI报表数据延迟不能超过10分钟。
• 技术部门:BI业务系统能够实时查询到最新的业务数据,并且满足BI分析报表的查询性能需求。
2. AnalyticDB的BI实时数据分析加速方案
支撑了淘宝的双11每隔5分钟刷新商户报表,核心是通过AnalyticDB数据库实现运营数据实时分析。
• 如图,淘宝双11每隔5分钟需要刷新商户报表,报表的查询是通过AnalyticDB数据库实现,支持很多种类的源数据库,包括关系型数据库、日志服务、消息队列、流计算等。
• 这些数据需要实时导入到AnalyticDB,由于每隔5分钟需要刷新商户报表,所以端到端的数据延迟必须要很低,否则不能满足用户需求。
3. AnalyticDB采用数据同步获取最新业务数据
• 传统的解决方案使用单体数据库存储订单、库存、报表进行BI的分析,由于BI分析会涉及数据量非常大、对响应要求比较高,导致DBA会不断地进行SQL优化、建索引,但效果非常有限。
• 所以在做解决方案时,需要把业务数据库和分析数据库进行解耦,避免复杂的BI分析的SQL影响到业务数据库。
• 其次利用分析数据库在OLAP上快速分析的能力把链路实时化。
4. AnalyticDB的实时数据分析引擎加快实时查询
AnalyticDB在全球权威评测TPC-DS的排名第一,是性价比最高的数据库
5. AnayticDB如何支撑BI实时数据
• 传统数仓/大数据方案:目前还面临着数据清洗需要数小时,数据建模需要数天数据分析需要数小时,导致常规报表隔天输出,新运营需求数周才能满足。
• 而数据实时化是趋势,对数据实时化要求越来越高,传统数仓/大数据方案已无法满足需求。
• 推荐使用AnalyticDB方案,首先是数据传输是端到端是实时秒级的延迟,其次数据分析是用AnalyticDB OLAP产品进行快速复杂SQL的查询,从而满足业务需求。
对比
• 传统数仓和大数据方案:数据处理链路长,需要提前定义数据分析维度。
• AnalyticDB方案:数据处理链路短,对于业务决策者/运营者的强需求可以实时做出快速响应。