前言
上一篇我们搭建完了用户行为日志数据的采集平台,其实也就是用两个 flume 采集数据到Kafka 中(这种结构只有 source 和 channel 没有 sink) 。离线数仓中的数据除了用户日志,还有就是业务数据了。
1、电商业务简介
1.1 电商业务流程
电商的业务流程可以以一个普通用户的浏览足迹为例进行说明,用户点开电商首页开始浏览,可能会通过分类查询也可能通过全文搜索寻找自己中意的商品,这些商品无疑都是存储在后台的管理系统中的。
当用户寻找到自己中意的商品,可能会想要购买,将商品添加到购物车后发现需要登录,登录后对商品进行结算,这时候购物车的管理和商品订单信息的生成都会对业务数据库产生影响,会生成相应的订单数据和支付数据。
订单正式生成之后,还会对订单进行跟踪处理,直到订单全部完成。
电商的主要业务流程包括用户前台浏览商品时的商品详情的管理,用户商品加入购物车进行支付时用户个人中心&支付服务的管理,用户支付完成后订单后台服务的管理,这些流程涉及到了十几个甚至几十个业务数据表,甚至更多。
1.2 电商常识
1.2.1 SKU和SPU
SKU = Stock Keeping Unit(库存量基本单位)。现在已经被引申为产品统一编号的简称,每种产品均对应有唯一的SKU号。
SPU(Standard Product Unit):是商品信息聚合的最小单位,是一组可复用、易检索的标准化信息集合。
其实,SPU 就是一类商品(比如 三星S23),而 SKU 是一种具体型号的商品(比如 三星S23 8+256 悠远黑)。
1.2.2 平台属性和销售属性
1)平台属性
2)商品属性
2、业务数据介绍
以下为本电商数仓系统涉及到的业务数据表结构关系。这34个表以订单表、用户表、SKU商品表、活动表和优惠券表为中心,延伸出了优惠券领用表、支付流水表、活动订单表、订单详情表、订单状态表、商品评论表、编码字典表退单表、SPU商品表等,用户表提供用户的详细信息,支付流水表提供该订单的支付详情,订单详情表提供订单的商品数量等情况,商品表给订单详情表提供商品的详细信息。这里以此34个表为例,实际项目中,业务数据库中表格远远不止这些。
2.1.1 活动信息表(activity_info)
字段名 |
字段说明 |
id |
活动id |
activity_name |
活动名称 |
activity_type |
活动类型(1:满减,2:折扣) |
activity_desc |
活动描述 |
start_time |
开始时间 |
end_time |
结束时间 |
create_time |
创建时间 |
2.1.2 活动规则表(activity_rule)
id |
编号 |
activity_id |
活动ID |
activity_type |
活动类型 |
condition_amount |
满减金额 |
condition_num |
满减件数 |
benefit_amount |
优惠金额 |
benefit_discount |
优惠折扣 |
benefit_level |
优惠级别 |
这里的 activity_type 字段和上一张表是重复的,虽然增加了存储开销,但是节省了计算开销,比如我现在希望在这张表查询到 activity_type 的信息,如果没有这个字段的话那我们只能和上一张表进行 join ,而 join 的开销是很大的。这样我们就做到了 以空间换取时间。
2.1.3 活动商品关联表(activity_sku)
字段名 |
字段说明 |
id |
编号 |
activity_id |
活动id |
sku_id |
sku_id |
create_time |
创建时间 |
2.1.4 平台属性表(base_attr_info)
字段名 |
字段说明 |
id |
编号 |
attr_name |
属性名称 |
category_id |
分类id |
category_level |
分类层级 |
2.1.5 平台属性值表(base_attr_value)
字段名 |
字段说明 |
id |
编号 |
value_name |
属性值名称 |
attr_id |
属性id |
2.1.6 一级分类表(base_category1)
字段名 |
字段说明 |
id |
编号 |
name |
分类名称 |
2.1.7 二级分类表(base_category2)
字段名 |
字段说明 |
id |
编号 |
name |
二级分类名称 |
category1_id |
一级分类编号 |
2.1.8 三级分类表(base_category3)
字段名 |
字段说明 |
id |
编号 |
name |
三级分类名称 |
category2_id |
二级分类编号 |
2.1.9 字典表(base_dic)
字段名 |
字段说明 |
dic_code |
编号 |
dic_name |
编码名称 |
parent_code |
父编号 |
create_time |
创建日期 |
operate_time |
修改日期 |
比如我们上面活动信息表中的活动类型的字典映射信息:dic_code=1,dic_name=满减
2.1.10 省份表(base_province)
字段名 |
字段说明 |
id |
id |
name |
省名称 |
region_id |
大区id |
area_code |
行政区位码 |
iso_code |
国际编码 |
iso_3166_2 |
ISO3166编码 |
2.1.11 地区表(base_region)
字段名 |
字段说明 |
id |
大区id |
region_name |
大区名称 |
2.1.12 品牌表(base_trademark)
字段名 |
字段说明 |
id |
编号 |
tm_name |
属性值 |
logo_url |
品牌logo的图片路径 |
2.1.13 购物车表(cart_info)
字段名 |
字段说明 |
id |
编号 |
user_id |
用户id |
sku_id |
skuid |
cart_price |
放入购物车时价格 |
sku_num |
数量 |
img_url |
图片文件 |
sku_name |
sku名称 (冗余) |
is_checked |
是否已经下单 |
create_time |
创建时间 |
operate_time |
修改时间 |
is_ordered |
是否已经下单 |
order_time |
下单时间 |
source_type |
来源类型 |
source_id |
来源编号 |
2.1.14 评价表(comment_info)
字段名 |
字段说明 |
id |
编号 |
user_id |
用户id |
nick_name |
用户昵称 |
head_img |
图片 |
sku_id |
商品sku_id |
spu_id |
商品spu_id |
order_id |
订单编号 |
appraise |
评价 1 好评 2 中评 3 差评 |
comment_txt |
评价内容 |
create_time |
创建时间 |
operate_time |
修改时间 |
2.1.15 优惠券信息表(coupon_info)
字段名 |
字段说明 |
id |
购物券编号 |
coupon_name |
购物券名称 |
coupon_type |
购物券类型 1 现金券 2 折扣券 3 满减券 4 满件打折券 |
condition_amount |
满额数(3) |
condition_num |
满件数(4) |
activity_id |
活动编号 |
benefit_amount |
减金额(1 3) |
benefit_discount |
折扣(2 4) |
create_time |
创建时间 |
range_type |
范围类型 1、商品(spuid) 2、品类(三级分类id) 3、品牌 |
limit_num |
最多领用次数 |
taken_count |
已领用次数 |
start_time |
可以领取的开始日期 |
end_time |
可以领取的结束日期 |
operate_time |
修改时间 |
expire_time |
过期时间 |
range_desc |
范围描述 |
2.1.16 优惠券优惠范围表(coupon_range)
字段名 |
字段说明 |
id |
购物券编号 |
coupon_id |
优惠券id |
range_type |
范围类型 1、商品(spuid) 2、品类(三级分类id) 3、品牌 |
range_id |
范围id |
2.1.17 优惠券领用表(coupon_use)
字段名 |
字段说明 |
id |
编号 |
coupon_id |
购物券id |
user_id |
用户id |
order_id |
订单id |
coupon_status |
购物券状态(1:未使用 2:已使用) |
get_time |
获取时间 |
using_time |
使用时间 |
used_time |
支付时间 |
expire_time |
过期时间 |
2.1.18 收藏表(favor_info)
字段名 |
字段说明 |
id |
编号 |
user_id |
用户id |
sku_id |
skuid |
spu_id |
商品id |
is_cancel |
是否已取消 0 正常 1 已取消 |
create_time |
创建时间 |
cancel_time |
修改时间 |
2.1.19 订单明细表(order_detail)
区别于订单表,订单明细表中有订单中每一件商品的信息,而订单表中的是一个订单(可能包含多个商品)的主要信心,并不包括订单中每个商品的信息。
字段名 |
字段说明 |
id |
编号 |
order_id |
订单编号 |
sku_id |
sku_id |
sku_name |
sku名称(冗余) |
img_url |
图片名称(冗余) |
order_price |
购买价格(下单时sku价格) |
sku_num |
购买个数 |
create_time |
创建时间 |
source_type |
来源类型 |
source_id |
来源编号 |
split_total_amount |
分摊总金额 |
split_activity_amount |
分摊活动减免金额 |
split_coupon_amount |
分摊优惠券减免金额 |
2.1.20 订单明细活动关联表(order_detail_activity)
字段名 |
字段说明 |
id |
编号 |
order_id |
订单id |
order_detail_id |
订单明细id |
activity_id |
活动id |
activity_rule_id |
活动规则 |
sku_id |
skuid |
create_time |
获取时间 |
2.1.21 订单明细优惠券关联表(order_detail_coupon)
字段名 |
字段说明 |
id |
编号 |
order_id |
订单id |
order_detail_id |
订单明细id |
coupon_id |
购物券id |
coupon_use_id |
购物券领用id |
sku_id |
skuid |
create_time |
获取时间 |
2.1.22 订单表(order_info)
字段名 |
字段说明 |
id |
编号 |
consignee |
收货人 |
consignee_tel |
收件人电话 |
total_amount |
总金额 |
order_status |
订单状态 |
user_id |
用户id |
payment_way |
付款方式 |
delivery_address |
送货地址 |
order_comment |
订单备注 |
out_trade_no |
订单交易编号(第三方支付用) |
trade_body |
订单描述(第三方支付用) |
create_time |
创建时间 |
operate_time |
操作时间 |
expire_time |
失效时间 |
process_status |
进度状态 |
tracking_no |
物流单编号 |
parent_order_id |
父订单编号 |
img_url |
图片路径 |
province_id |
地区 |
activity_reduce_amount |
促销金额 |
coupon_reduce_amount |
优惠金额 |
original_total_amount |
原价金额 |
feight_fee |
运费 |
feight_fee_reduce |
运费减免 |
refundable_time |
可退款日期(签收后30天) |
离线数仓(三)【业务日志采集平台搭建】(2)https://developer.aliyun.com/article/1532364