Flink+Hologres助力伊的家电商平台建设新一代实时数仓

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: Hologres+Flink+DataWorks实时数仓新方案为伊的家业务带来了统一数据、统一服务、统一治理、统一存储的价值,真的做到了开箱即用,所见即所得!

GitHub 地址
https://github.com/apache/flink
欢迎大家给 Flink 点赞送 star~

广州伊的家网络科技有限公司是一家专注于服务女性的B2B2C电商平台,业务范围包括护肤、彩妆、营养美容食品、私人定制服装、跨境电商等领域。自2008年孵化项目,2011年5月上线天猫商城,全国8大配送中心,妍诗美、妍膳等品牌陆续成立,并于2013年上线了伊的家自主电商平台,2020年全面启动品牌升级。伊的家以互联网主动式服务营销,打造护肤老师与客户强连接关系,从上到下严格贯彻以品质及专业为基础,以社交信任做连接,以服务获得认可的经营思路,经过持续的创新和积累,成为社交电商翘楚。

业务场景与痛点分析

伊的家是一家集开发、设计、运营、销售于一体一个B2B2B的电商平台,服务百万级会员之外,还同时支持上千级别经销商和代理商,业务应用多、数据量大、数据查询并发要求高。

伊的家技术部门在近3年经历了高速发展,在发展过程中,始终坚持业务优先,为此也进行了应用整合、拆分微服务、聚合分布式应用的多种技术升级改造,目前整个部门现状分析如下:

  • 架构方面:多语言、多数据源、技术升级的业务入侵问题明显;
  • 数据方面:应用拆分引发的数据孤岛问题,继而造成大量的数据复制、重新建设问题;
  • 应用方面:从业绩的角度出发,业务方希望及时准确地看见业绩数据,对实时性有了较高需求;
  • 效率方面:体系化的流程与工具诉求愈发强烈;
  • 成本方面:主要问题是既懂大数据又懂业务的人才招聘难,团队建设成本高

伊1.png

伊的家近几年业务高速增长,数据量激增,业务复杂度也随之增大,解决在当前大数据架构之下,“人才储备难”、“业务升级受限于已有技术”、“双11活动压力大”等痛点问题已迫在眉睫。

伊2.png

产品选型

伊的家技术部门对于技术升级改造的需求有非常明确清晰的定义,主要围绕关存储弹性扩缩容、查询性能优化、OLAP、学习成本、查询响应、可扩展等角度进行展开,核心关注以下3个问题:

1)如何快速完成数据清洗

2)如何快速精准完成数据校验

3)如何快速进行故障恢复处理

伊3.png

在技术选型时始终坚持“技术选型是第一生产力”的原则,坚信技术储备没有最好只有更好,坚信技术选型是决定能力差异化所在,坚持提高一次性把事情做对的能力,坚信开放分享、认知升级的重要性。

伊4.png

早期耶基于Hadoop、HBase、Kafaka、Azkaban、Spark、Greenplum等开源大数据产品进行了许多摸索尝试,通过性能对比最终采用了Greenplum,但最终发现Greenplum并发能力差,只适合分析场景,并不适合高并发的查询服务。

后来,在阿里云大数据计算平台团队的建议下,伊的家技术部进行了全面架构升级,整个架构由DataWorks、实时计算Flink和Hologres组成,架构简单、学习成本非常低,仅通过SQL即可轻松跑通全链路

下面将会给大家介绍,阿里云技术产品在伊的家落地的场景最佳实践

最佳实践

一、客户系统实践

伊的家原客户关系管理系统(CRM)主要基于MySQL、MQ、Canal以及自研应用组成,为支持业务系统切断式升级,技术部门自主研发了一套消息中间件,维护成本较高;基于Binlog、MQ、OLAP等产品自定义的数据开发流程过程繁琐复杂、维护成本极高,且因为系统要求数据有序对清洗的并发产生了一定的限制。

伊5.png

基于Hologres+DataWorks+实时计算Flink进行架构升级后,直接通过DataWorks数据集成将数据库数据实时写入Hologres,然后通过实时计算Flink订阅Hologres做进一步实时清洗,把结果表更新到数据库,即可直接服务业务。

整体架构清晰简单、数据精准、端到端纯实时、存储分析一体化、托管式运维、全自动工具作业,原系统15人花了3个月才完成项目上线,当前架构仅需2天即部署完成。

伊6.png

二、BI业绩系统实践

BI业绩系统也可以理解为实时GMV大屏,业务数据主要有两方面的要求:

  • 实时
  • 精准,业绩计算绝不允许出错。

原架构如下图图所示,原始数据层通过Binlog,再经过Canal套件实时写入MQ,之后根据业务域进行业务数据分层和清洗。任务调度系统更新业绩的顺序为“日-月-季度-年”,这个看似完美的方案实际存在着几个问题:

  • 实时性问题:看似实时,其实过程中可能存在5~10分钟的延迟;
  • 并发问题:消费的并发有一定限度。
  • 运维问题:如果图中的某个环节出现问题,可能会导致系统也跟着出现问题。
  • 数据清洗时效问题:清洗脚本运行一次可能需要数分钟,这期间可能会发生许多其他事情。

伊7.png

下图为升级后的BI业绩系统新架构。通过DataWorks实时同步明细数据至Hologres,基于Hologres数据再增加一份实时计算Flink的实时ETL作业,即可完成“日-月-季度-年”数据的加工,最后基于Hologres对上层应用提供分析查询服务。整个系统纯实时调度、实时性高、秒级延迟、全SQL开发、数据校验高效。

伊8.png

三、实时应用数仓架构实践

伊的家的技术部门也一直在思考如何让应用开发人员也具备大数据开发能力,如何让大数据不仅仅为大数据团队所用,还同时为应用开发团队所用。

基于实时计算FLink+Hologres+DataWorks实时数仓架构的落地,提升了数据底盘的可复用性,提高了应对业务变化的数据动态调整的灵活性,与应用团队共同构建起带数据的应用系统。

伊9.png

四、集团数仓架构实践

伊的家数仓团队服务在电商业务的同时,还需要支持集团内部业务。集团数仓平台如市场主流数仓架构、基于开源大数据体系构建,目前也已经全面升级为Hologres+实时计算Flink+DataWorks实时数仓架构。

伊10.png

伊11.png

业务价值与赋能

Hologres+实时计算Flink+DataWorks实时数仓新方案为业务上带来的价值主要如下:

  • 统一数据:一套方案就能支持完整流程,明细表、维度表等数据统一、有序
  • 统一服务:由Hologers直接提供各种线上服务,包括数据分析,数据服务等,减少接口建设。
  • 统一存储:以Hologres为统一存储,多数据源都能直接写入到Hologres,无冗余存储,节约成本
  • 统一治理:DataWorks提供统一标准、统一作业和统一监控等,为大数据开发平台提供统一治理。

从业务上来说,新的大数据方案真的做到了开箱即用,所见即所得

伊12.png

展望未来

在大数据领域,数据规模和业务复杂性是同时制约查询性能的关键因素,在这个过程中,唯有我们的开发人员不断打磨自己的数据模型,当数据模型达到一定成熟度,性能问题即可迎刃而解。

最后,希望大家拥抱技术、拥抱变化、赢在模型,数据服务业务,数据服务应用,让我们为应用而生,为应用而战。

伊13.png

伊14.png

作者:刘松森 ,伊的家CTO,高级工程师,副教授职称,国内多所高校客座教授


更多 Flink 相关技术交流,可扫码加入社区钉钉大群~

image.png

活动推荐

阿里云基于 Apache Flink 构建的企业级产品-实时计算Flink版现开启活动:
99元试用实时计算Flink版(包年包月、10CU)即有机会获得 Flink 独家定制T恤;另包3个月及以上还有85折优惠!
了解活动详情:https://www.aliyun.com/product/bigdata/sc

image.png

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
1月前
|
存储 数据采集 大数据
Flink实时湖仓,为汽车行业数字化加速!
本文由阿里云计算平台产品专家李鲁兵(云觉)分享,聚焦汽车行业大数据应用。内容涵盖市场趋势、典型大数据架构、产品市场地位及能力解读,以及典型客户案例。文章详细介绍了新能源汽车市场的快速增长、大数据架构分析、实时湖仓方案的优势,以及Flink和Paimon在车联网中的应用案例。
173 8
Flink实时湖仓,为汽车行业数字化加速!
|
20天前
|
分布式计算 大数据 OLAP
AnalyticDB与大数据生态集成:Spark & Flink
【10月更文挑战第25天】在大数据时代,实时数据处理和分析变得越来越重要。AnalyticDB(ADB)是阿里云推出的一款完全托管的实时数据仓库服务,支持PB级数据的实时分析。为了充分发挥AnalyticDB的潜力,将其与大数据处理工具如Apache Spark和Apache Flink集成是非常必要的。本文将从我个人的角度出发,分享如何将AnalyticDB与Spark和Flink集成,构建端到端的大数据处理流水线,实现数据的实时分析和处理。
50 1
|
24天前
|
SQL 存储 数据挖掘
快速入门:利用AnalyticDB构建实时数据分析平台
【10月更文挑战第22天】在大数据时代,实时数据分析成为了企业和开发者们关注的焦点。传统的数据仓库和分析工具往往无法满足实时性要求,而AnalyticDB(ADB)作为阿里巴巴推出的一款实时数据仓库服务,凭借其强大的实时处理能力和易用性,成为了众多企业的首选。作为一名数据分析师,我将在本文中分享如何快速入门AnalyticDB,帮助初学者在短时间内掌握使用AnalyticDB进行简单数据分析的能力。
33 2
|
1月前
|
人工智能 自然语言处理 关系型数据库
阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成
近日,阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成。
|
1月前
|
OLAP
解决方案|基于hologres搭建轻量OLAP分析平台获奖名单公布!
解决方案|基于hologres搭建轻量OLAP分析平台获奖名单公布!
|
1月前
|
DataWorks 数据挖掘 关系型数据库
基于hologres搭建轻量OLAP分析平台解决方案评测
一文带你详细了解基于hologres搭建轻量OLAP分析平台解决方案的优与劣
212 8
|
2月前
|
存储 数据采集 OLAP
饿了么基于Flink+Paimon+StarRocks的实时湖仓探索
饿了么的实时数仓经历了多个阶段的演进。初期通过实时ETL、报表应用、联动及监控构建基础架构,随后形成了涵盖数据采集、加工和服务的整体数据架构。1.0版本通过日志和Binlog采集数据,但在研发效率和数据一致性方面存在问题。2.0版本通过Dataphin构建流批一体化系统,提升了数据一致性和研发效率,但仍面临新业务适应性等问题。最终,饿了么选择Paimon和StarRocks作为实时湖仓方案,显著降低了存储成本并提高了系统稳定性。未来,将进一步优化带宽瓶颈、小文件问题及权限控制,实现更多场景的应用。
333 7
饿了么基于Flink+Paimon+StarRocks的实时湖仓探索
|
2月前
|
数据可视化 数据挖掘 OLAP
基于 Hologres 搭建轻量 OLAP 分析平台评测报告
【9月更文第6天】开作为互联网手游公司的产品经理和项目经理,数据分析对于我们的业务至关重要。我们一直在寻找高效、可靠的数据分析解决方案,以更好地了解玩家行为、优化游戏体验和提升运营效率。近期,我们体验并部署了《基于 Hologres 搭建轻量 OLAP 分析平台》解决方案,以下是我们对该方案的评测报告。
86 12
基于 Hologres 搭建轻量 OLAP 分析平台评测报告
|
2月前
|
SQL DataWorks 数据挖掘
手把手体验Hologres的OLAP数据分析
本方案基于阿里云实时数仓Hologres与DataWorks数据集成,实现数据库RDS到Hologres的实时同步,充分发挥Hologres强大的查询分析能力,提供一站式高性能OLAP数据分析。Hologres支持标准SQL,无缝对接主流BI工具,适用于多种场景。方案包括创建VPC、开通Hologres、开通DataWorks、创建公网NAT、建立Hologres表、实时同步数据、OLAP分析及资源清理等步骤,为轻量级OLAP分析平台搭建奠定基础。
|
1月前
|
SQL 分布式计算 数据挖掘
加速数据分析:阿里云Hologres在实时数仓中的应用实践
【10月更文挑战第9天】随着大数据技术的发展,企业对于数据处理和分析的需求日益增长。特别是在面对海量数据时,如何快速、准确地进行数据查询和分析成为了关键问题。阿里云Hologres作为一个高性能的实时交互式分析服务,为解决这些问题提供了强大的支持。本文将深入探讨Hologres的特点及其在实时数仓中的应用,并通过具体的代码示例来展示其实际应用。
170 0

相关产品

  • 实时计算 Flink版