离线数仓(三)【业务日志采集平台搭建】(1)

简介: 离线数仓(三)【业务日志采集平台搭建】

前言

       上一篇我们搭建完了用户行为日志数据的采集平台,其实也就是用两个 flume 采集数据到Kafka 中(这种结构只有 source 和 channel 没有 sink) 。离线数仓中的数据除了用户日志,还有就是业务数据了。

1、电商业务简介

1.1 电商业务流程

       电商的业务流程可以以一个普通用户的浏览足迹为例进行说明,用户点开电商首页开始浏览,可能会通过分类查询也可能通过全文搜索寻找自己中意的商品,这些商品无疑都是存储在后台的管理系统中的。

       当用户寻找到自己中意的商品,可能会想要购买,将商品添加到购物车后发现需要登录,登录后对商品进行结算,这时候购物车的管理和商品订单信息的生成都会对业务数据库产生影响,会生成相应的订单数据和支付数据。

       订单正式生成之后,还会对订单进行跟踪处理,直到订单全部完成。

       电商的主要业务流程包括用户前台浏览商品时的商品详情的管理,用户商品加入购物车进行支付时用户个人中心&支付服务的管理,用户支付完成后订单后台服务的管理,这些流程涉及到了十几个甚至几十个业务数据表,甚至更多。

1.2 电商常识

1.2.1 SKU和SPU

        SKU = Stock Keeping Unit(库存量基本单位)。现在已经被引申为产品统一编号的简称,每种产品均对应有唯一的SKU号。

        SPU(Standard Product Unit):商品信息聚合的最小单位,是一组可复用、易检索的标准化信息集合。

       其实,SPU 就是一类商品(比如 三星S23),而 SKU 是一种具体型号的商品(比如 三星S23 8+256 悠远黑)。

1.2.2 平台属性和销售属性

1)平台属性

2)商品属性

2、业务数据介绍

       以下为本电商数仓系统涉及到的业务数据表结构关系。这34个表以订单表、用户表、SKU商品表、活动表和优惠券表为中心,延伸出了优惠券领用表、支付流水表、活动订单表、订单详情表、订单状态表、商品评论表、编码字典表退单表、SPU商品表等,用户表提供用户的详细信息,支付流水表提供该订单的支付详情,订单详情表提供订单的商品数量等情况,商品表给订单详情表提供商品的详细信息。这里以此34个表为例,实际项目中,业务数据库中表格远远不止这些。

2.1.1 活动信息表(activity_info

字段名

字段说明

id

活动id

activity_name

活动名称

activity_type

活动类型(1:满减,2:折扣)

activity_desc

活动描述

start_time

开始时间

end_time

结束时间

create_time

创建时间

2.1.2 活动规则表(activity_rule

id

编号

activity_id

活动ID

activity_type

活动类型

condition_amount

满减金额

condition_num

满减件数

benefit_amount

优惠金额

benefit_discount

优惠折扣

benefit_level

优惠级别

这里的 activity_type 字段和上一张表是重复的,虽然增加了存储开销,但是节省了计算开销,比如我现在希望在这张表查询到 activity_type 的信息,如果没有这个字段的话那我们只能和上一张表进行 join ,而 join 的开销是很大的。这样我们就做到了 以空间换取时间。

2.1.3 活动商品关联表(activity_sku

字段名

字段说明

id

编号

activity_id

活动id

sku_id

sku_id

create_time

创建时间

2.1.4 平台属性表(base_attr_info

字段名

字段说明

id

编号

attr_name

属性名称

category_id

分类id

category_level

分类层级

2.1.5 平台属性值表(base_attr_value

字段名

字段说明

id

编号

value_name

属性值名称

attr_id

属性id

2.1.6 一级分类表(base_category1

字段名

字段说明

id

编号

name

分类名称

2.1.7 二级分类表(base_category2

字段名

字段说明

id

编号

name

二级分类名称

category1_id

一级分类编号

2.1.8 三级分类表(base_category3

字段名

字段说明

id

编号

name

三级分类名称

category2_id

二级分类编号

2.1.9 字典表(base_dic

字段名

字段说明

dic_code

编号

dic_name

编码名称

parent_code

父编号

create_time

创建日期

operate_time

修改日期

比如我们上面活动信息表中的活动类型的字典映射信息:dic_code=1,dic_name=满减

2.1.10 省份表(base_province

字段名

字段说明

id

id

name

省名称

region_id

大区id

area_code

行政区位码

iso_code

国际编码

iso_3166_2

ISO3166编码

2.1.11 地区表(base_region

字段名

字段说明

id

大区id

region_name

大区名称

2.1.12 品牌表(base_trademark

字段名

字段说明

id

编号

tm_name

属性值

logo_url

品牌logo的图片路径

2.1.13 购物车表(cart_info

字段名

字段说明

id

编号

user_id

用户id

sku_id

skuid

cart_price

放入购物车时价格

sku_num

数量

img_url

图片文件

sku_name

sku名称 (冗余)

is_checked

是否已经下单

create_time

创建时间

operate_time

修改时间

is_ordered

是否已经下单

order_time

下单时间

source_type

来源类型

source_id

来源编号

2.1.14 评价表(comment_info

字段名

字段说明

id

编号

user_id

用户id

nick_name

用户昵称

head_img

图片

sku_id

商品sku_id

spu_id

商品spu_id

order_id

订单编号

appraise

评价 1 好评 2 中评 3 差评

comment_txt

评价内容

create_time

创建时间

operate_time

修改时间

2.1.15 优惠券信息表(coupon_info

字段名

字段说明

id

购物券编号

coupon_name

购物券名称

coupon_type

购物券类型 1 现金券 2 折扣券 3 满减券 4 满件打折券

condition_amount

满额数(3)

condition_num

满件数(4)

activity_id

活动编号

benefit_amount

减金额(1 3)

benefit_discount

折扣(2 4)

create_time

创建时间

range_type

范围类型 1、商品(spuid) 2、品类(三级分类id) 3、品牌

limit_num

最多领用次数

taken_count

已领用次数

start_time

可以领取的开始日期

end_time

可以领取的结束日期

operate_time

修改时间

expire_time

过期时间

range_desc

范围描述

2.1.16 优惠券优惠范围表(coupon_range

字段名

字段说明

id

购物券编号

coupon_id

优惠券id

range_type

范围类型 1、商品(spuid) 2、品类(三级分类id) 3、品牌

range_id

范围id

2.1.17 优惠券领用表(coupon_use

字段名

字段说明

id

编号

coupon_id

购物券id

user_id

用户id

order_id

订单id

coupon_status

购物券状态(1:未使用 2:已使用)

get_time

获取时间

using_time

使用时间

used_time

支付时间

expire_time

过期时间

2.1.18 收藏表(favor_info

字段名

字段说明

id

编号

user_id

用户id

sku_id

skuid

spu_id

商品id

is_cancel

是否已取消 0 正常 1 已取消

create_time

创建时间

cancel_time

修改时间

2.1.19 订单明细表(order_detail

区别于订单表,订单明细表中有订单中每一件商品的信息,而订单表中的是一个订单(可能包含多个商品)的主要信心,并不包括订单中每个商品的信息。

字段名

字段说明

id

编号

order_id

订单编号

sku_id

sku_id

sku_name

sku名称(冗余)

img_url

图片名称(冗余)

order_price

购买价格(下单时sku价格)

sku_num

购买个数

create_time

创建时间

source_type

来源类型

source_id

来源编号

split_total_amount

分摊总金额

split_activity_amount

分摊活动减免金额

split_coupon_amount

分摊优惠券减免金额

2.1.20 订单明细活动关联表(order_detail_activity

字段名

字段说明

id

编号

order_id

订单id

order_detail_id

订单明细id

activity_id

活动id

activity_rule_id

活动规则

sku_id

skuid

create_time

获取时间

2.1.21 订单明细优惠券关联表(order_detail_coupon

字段名

字段说明

id

编号

order_id

订单id

order_detail_id

订单明细id

coupon_id

购物券id

coupon_use_id

购物券领用id

sku_id

skuid

create_time

获取时间

2.1.22 订单表(order_info

字段名

字段说明

id

编号

consignee

收货人

consignee_tel

收件人电话

total_amount

总金额

order_status

订单状态

user_id

用户id

payment_way

付款方式

delivery_address

送货地址

order_comment

订单备注

out_trade_no

订单交易编号(第三方支付用)

trade_body

订单描述(第三方支付用)

create_time

创建时间

operate_time

操作时间

expire_time

失效时间

process_status

进度状态

tracking_no

物流单编号

parent_order_id

父订单编号

img_url

图片路径

province_id

地区

activity_reduce_amount

促销金额

coupon_reduce_amount

优惠金额

original_total_amount

原价金额

feight_fee

运费

feight_fee_reduce

运费减免

refundable_time

可退款日期(签收后30天)

离线数仓(三)【业务日志采集平台搭建】(2)https://developer.aliyun.com/article/1532364

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
监控 Kubernetes Go
日志采集效能跃迁:iLogtail 到 LoongCollector 的全面升级
LoongCollector 在日志场景中实现了全面的重磅升级,从功能、性能、稳定性等各个方面均进行了深度优化和提升,本文我们将对 LoongCollector 的升级进行详细介绍。
864 87
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文探讨了日志管理中的常见反模式及其潜在问题,强调科学的日志管理策略对系统可观测性的重要性。文中分析了6种反模式:copy truncate轮转导致的日志丢失或重复、NAS/OSS存储引发的采集不一致、多进程写入造成的日志混乱、创建文件空洞释放空间的风险、频繁覆盖写带来的数据完整性问题,以及使用vim编辑日志文件导致的重复采集。针对这些问题,文章提供了最佳实践建议,如使用create模式轮转日志、本地磁盘存储、单线程追加写入等方法,以降低日志采集风险,提升系统可靠性。最后总结指出,遵循这些实践可显著提高故障排查效率和系统性能。
2320 23
|
分布式计算 运维 监控
Dataphin离线数仓搭建深度测评:数据工程师的实战视角
作为一名金融行业数据工程师,我参与了阿里云Dataphin智能研发版的评测。通过《离线数仓搭建》实践,体验了其在数据治理中的核心能力。Dataphin在环境搭建、管道开发和任务管理上显著提效,如测试环境搭建从3天缩短至2小时,复杂表映射效率提升50%。产品支持全链路治理、智能提效和架构兼容,帮助企业降低40%建设成本,缩短60%需求响应周期。建议加强行业模板库和移动适配功能,进一步提升使用体验。
|
11月前
|
数据采集 存储 大数据
大数据之路:阿里巴巴大数据实践——日志采集与数据同步
本资料全面介绍大数据处理技术架构,涵盖数据采集、同步、计算与服务全流程。内容包括Web/App端日志采集方案、数据同步工具DataX与TimeTunnel、离线与实时数仓架构、OneData方法论及元数据管理等核心内容,适用于构建企业级数据平台体系。
1121 1
|
12月前
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文总结了日志管理中的六大反模式及优化建议,涵盖日志轮转、存储选择、并发写入等常见问题,帮助提升日志采集的完整性与系统可观测性,适用于运维及开发人员优化日志管理策略。
431 5
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
本文介绍了阿里集团A+流量分析平台的日志查询优化方案,针对万亿级日志数据的写入与查询挑战,提出基于Flink、Paimon和StarRocks的技术架构。通过Paimon存储日志数据,结合StarRocks高效计算能力,实现秒级查询性能。具体包括分桶表设计、数据缓存优化及文件大小控制等措施,解决高并发、大数据量下的查询效率问题。最终,日志查询耗时从分钟级降至秒级,显著提升业务响应速度,并为未来更低存储成本、更高性能及更多业务场景覆盖奠定基础。
|
8月前
|
数据采集 缓存 大数据
【赵渝强老师】大数据日志采集引擎Flume
Apache Flume 是一个分布式、可靠的数据采集系统,支持从多种数据源收集日志信息,并传输至指定目的地。其核心架构由Source、Channel、Sink三组件构成,通过Event封装数据,保障高效与可靠传输。
466 1
|
9月前
|
存储 Kubernetes 监控
Kubernetes日志管理:使用Loki进行日志采集
通过以上步骤,在Kubernetes环境下利用LoKi进行有效率且易于管理地logs采集变成可能。此外,在实施过程中需要注意版本兼容性问题,并跟进社区最新动态以获取功能更新或安全补丁信息。
578 16
|
10月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
A+流量分析平台是阿里集团统一的全域流量数据分析平台,致力于通过埋点、采集、计算构建流量数据闭环,助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战,平台采用Flink+Paimon+StarRocks技术方案,实现高吞吐写入与秒级查询,优化存储成本与扩展性,提升日志分析效率。
1401 1
|
监控 算法 测试技术
突破极限: 高负载场景下的单机300M多行正则日志采集不是梦
在当今数字化时代,日志数据已成为企业 IT 运营和业务分析的关键资源。然而,随着业务规模的扩大和系统复杂度的提升,日志数据的体量呈现爆发式增长,给日志采集和处理系统带来了巨大挑战。
774 101