基于TableStore的海量电商订单元数据管理

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: # 一、背景 订单系统存在于各行各业,如电商订单、银行流水、运营商话费账单等,是一个非常广泛、通用的系统。对于这类系统,在过去十几年发展中已经形成了经典的做法。但是随着互联网的发展,以及各企业对数据的重视,需要存储和持久化的订单量越来越大。

一、背景

订单系统存在于各行各业,如电商订单、银行流水、运营商话费账单等,是一个非常广泛、通用的系统。对于这类系统,在过去十几年发展中已经形成了经典的做法。但是随着互联网的发展,以及各企业对数据的重视,需要存储和持久化的订单量越来越大。数据的重视程度与数据规模的膨胀带来了新的挑战,原有的系统是否还能继续满足需求成了焦点?

需求场景

某电商平台A,需要进行持久化所有平台产生的订单数据。同时,基于所有的订单数据,系统又需要向外提供面向多种角色:消费者、店家、平台三类人群的多元化的查询服务。消费者可以查询自己的历史订单,商家可以统计热销产品,平台也可以分析用户行为、平台交易规模等。主要查询方式涵盖订单的多维度检索,以及订单数据的分析、统计等,例如:
面向消费者:【A消费者】*【近1年】*【产品名含'电脑'字段】订单查询;
面向店家:【B店家】*【近1个月】*【每个产品】销售量排名;
......

技术点

在订单场景中,技术上通常需要考虑的技术点,主要包含如下几个方面:

  • 查询能力:需要具备丰富的查询类型,如多维度、范围、模糊查询等,同时具备排序、统计等功能;
  • 数据量:存储海量数据的同时,满足强一致、高可用、低成本等要求;
  • 服务性能:应对高并发请求高并发的同时,保证低延迟;

二、方案演进

应对订单场景,电商通常会采用MySQL传统方案。借助关系型数据库强大的查询能力,用户可直接通过SQL语句实现订单数据的多维度查询、数据统计等。所谓数据膨胀,分为横向、纵向两种,横向即不断迭代引入的新字段维度,纵向即总的存储数据量。在面对这两种订单数据膨胀上,单MySql方案逐渐变得吃力。 SQL + NoSQL的组合方案(以下称:组合方案)便应运而生,借助两个数据库各自的优势分别解决不同场景各自的需求。但组合方案同样也带来了新的问题,组合方案牺牲空间成本,同时也增加了开发工作量与运维复杂度。在保证数据一致性上产生额外开销。

下面让我们看一下如下几个常规方案:

常规方案

1、MySql分库分表方案

MySql自身拥有强大的数据查询、分析功能,基于MyQql创建订单系统,可以应对订单数据多维查询、统计场景。伴随着订单数据量的增加,用户会采取分库、分表方案应对,通过这种伪分布式方案,解决数据膨胀带来的问题。但数据一旦达到瓶颈,便需要重新创建更大规模的分库+数据的全量迁移,麻烦就会不断出现。数据迭代、膨胀带来的困扰,是MySql方案难于逾越的。仅仅依靠MySql的传统订单方案短板凸显。
1、数据纵向(数据规模)膨胀:采用分库分表方案,MySql在部署时需要预估分库规模,数据量一旦达到上限后,重新部署并做数据全量迁移;
2、数据横向(字段维度)膨胀:schema需预定义,迭代新增新字段变更复杂。而维度到达一定量后影响数据库性能;

2、MySql+HBase方案

引入双数据的方案应运而生,通过实时数据、历史数据分存的方案,可以一定程度解决数据量膨胀问题。该方案将数据归类成两部分存储:实时数据、历史数据。同时通过数据同步服务,将过期数据同步至历史数据。
1、实时订单数据(例如:近3个月的订单):将实时订单存入MySql数据库。实时订单的总量膨胀的速度得到了限制,同时保证了实时数据的多维查询、分析能力;
2、历史订单数据(例如:3个月以前的订单):将历史订单数据存入HBase,借助于HBase这一分布式NoSql数据库,有效应对了订单数据膨胀困扰。也保证了历史订单数据的持久化;
但是,该方案牺牲了历史订单数据对用户、商家、平台的使用价值,假设了历史数据的需求频率极低。但是一旦有需求,便需要全表扫描,查询速度慢、IO成本很高。而维护数据同步又带来了数据一致性、同步运维成本飙升等难题;

3、MySql+Elasticsearch方案

组合方案还有MySql+Elasticsearch,该方案同样是将数据分两部分存储,可以一定程度解决订单索引维度增长问题。用户自己维护数据同步服务,保证两部分数据的一致性;
1、全量数据:将全量的订单数据存入MySql数据库,订单ID之外的数据整体存为一个字段。该全量数据作为持久化存储,也用于非索引字段的反查;
2、查询数据:仅将需要检索的字段存入Elasticsearch(基于Lucene分布式索引数据库),借助于Elasticsearch的索引能力,提供可以应付维度膨胀的订单数据,然后必要时反查MySql获取订单完整信息;
该方案应付了数据维度膨胀带来的困扰,但是随着订单量的不断膨胀,MySql扩展性差的问题再次暴露出来。同时数据同步至Elasticsearch的方案,开发、运维成本很高,方案选择也存在弊端。

能力分析 MySql HBase Elasticsearch TableStore
存储方式 行存储 列存储 索引存储 列存储+索引存储
扩展性 单机、扩展性差 水平扩展 水平扩展 (自动)水平扩展
一致性 强一致性 强一致性、时序一致性 强一致性、时序一致性
检索 较弱的支持 不支持 支持 支持
数据量 ~ 1T,~亿行 ~10 PB,~万亿行 ~1 PB,~千亿行 ~10 PB,~万亿行

TableStore方案

如果使用表格存储(TableStore)研发的多元索引(SearchIndex)方案,则可以完美地解决以上问题。TableStore具有即开即用,按量收费等特点。多元索引随时创建,是海量电商订单元数据管理的优质方案。
TableStore作为阿里云提供的一款全托管、分布式NoSql型数据存储服务,具有【海量数据存储】、【热点数据自动分片】、【海量数据多维检索】等功能,天然地解决了订单数据大爆炸这一挑战;
同时,SearchIndex功能在保证用户数据高可用的基础上,提供了数据多维度搜索、统计等能力。针对多种场景创建多种索引,实现多种模式的检索。用户可以仅在需要的时候创建、开通索引。由TableStore来保证数据同步的一致性,这极大的降低了用户的方案设计、服务运维、代码开发等工作量。

对表格存储(TableStore)感兴趣的用户,欢迎加入【表格存储公开交流群】,群号:11789671。

image.png | left | 409x527

附:Demo代码

三、基于表格存储实现的订单场景Demo

业务描述:

每成功完成一笔交易,就会生成一笔交易数据。交易数据包含了交易中的必要元素,如:交易时间、交易的双方、交易的产品、数量、价格等,这里选择最基本元素举例,仅将必要字段简历索引,格式如下:

订单持久化数据

表名:"order_table"

列名 索引类型 类型 索引字段
order_id(主键列) KEYWORD String 均匀散列的字符串
time_stamp LONG long 交易时间戳
consumer_id KEYWORD String 消费者
seller_id KEYWORD String 商家unique编号
product_id KEYWORD String 产品unique编号
product_name KEYWORD String 产品名
product_type KEYWORD String 产品类型
product_price DOUBLE double 产品单价
product_count double
total_pay double
description String
...... ...... ...... ......

创建订单表

用户仅需维护一个数据库,按如下方式创建:用户可以通过控制台创建、管理Table,也可通过SDK

List<PrimaryKeySchema> primaryKey = Arrays.asList(
        new PrimaryKeySchema("order_id", PrimaryKeyType.STRING)
);

TableMeta tableMeta = new TableMeta(tableName);
tableMeta.addPrimaryKeyColumns(primaryKey);
CreateTableRequest request = new CreateTableRequest(tableMeta, new TableOptions(-1, 1));
CreateTableResponse createTableResponse = otsClient.createTable(request);

创建索引

用户根据自身需求,在需要的时候随时创建索引。TableStore自动做全量、增量的索引数据同步:用户可以通过控制台创建、管理SearchIndex,也可通过SDK按如下方式创建(索引暂不支持update)

CreateSearchIndexRequest createSearchIndexRequest = new CreateSearchIndexRequest();
createSearchIndexRequest.setTableName("tableName");
createSearchIndexRequest.setIndexName("indexName");

IndexSchema indexSchema = new IndexSchema();
indexSchema.setIndexSetting(new IndexSetting(1));//必写
indexSchema.setFieldSchemas(Arrays.asList(
        new FieldSchema("product_id", FieldType.KEYWORD).setIndex(true).setEnableSortAndAgg(true).setStore(true),
        new FieldSchema("product_name", FieldType.TEXT).setIndex(true),//TEXT不能设置docValues
        new FieldSchema("product_type", FieldType.KEYWORD).setIndex(true).setEnableSortAndAgg(true).setStore(true),
        new FieldSchema("product_count", FieldType.DOUBLE).setIndex(true).setEnableSortAndAgg(true).setStore(true),
        new FieldSchema("consumer_id", FieldType.KEYWORD).setIndex(true).setEnableSortAndAgg(true).setStore(true),
        new FieldSchema("seller_id", FieldType.KEYWORD).setIndex(true).setEnableSortAndAgg(true).setStore(true),
        new FieldSchema("total_pay", FieldType.DOUBLE).setIndex(true).setEnableSortAndAgg(true).setStore(true),
        new FieldSchema("time_stamp", FieldType.LONG).setIndex(true).setEnableSortAndAgg(true).setStore(true)
));
createSearchIndexRequest.setIndexSchema(indexSchema);

CreateSearchIndexResponse createSearchIndexResponse = otsClient.createSearchIndex(createSearchIndexRequest);

数据读取

数据读取分为两类:
1、基于原生表格存储的主键列获取:getRow, getRange, batchGetRow等;
2、基于新SearchIndex功能Query:search;

主键读取

GetRowRequest getRowRequest = new GetRowRequest();

PrimaryKey pk = new PrimaryKey(new PrimaryKeyColumn[]{
        new PrimaryKeyColumn("order_id", PrimaryKeyValue.fromString("fa960b5af"))
});

SingleRowQueryCriteria singleRowQueryCriteria = new SingleRowQueryCriteria("order_table", pk);
singleRowQueryCriteria.setMaxVersions(1);
getRowRequest.setRowQueryCriteria(singleRowQueryCriteria);

GetRowResponse rowResponse = o​tsClient.getRow(getRowRequest);

Search读取

新增的search接口,通过设置QueryRequest实现不同query,不同aggregation,不同sort的功能

SearchQuery searchQuery = new SearchQuery();

//设置查询条件,用户发挥
searchQuery.setQuery(Query anyQuery);

//做分页
searchQuery.setLimit(10);
searchQuery.setOffSet(0);

SearchRequest searchRequest = new SearchRequest("tableName", "indexName", searchQuery);

SearchRequest.ColumnsToGet columnsToGet = new SearchRequest.ColumnsToGet();
columnsToGet.setColumns(columnsToShow);//List<String> columnsToShow
searchRequest.setColumnsToGet(columnsToGet);

SearchResponse resp = otsClient.search(searchRequest);

返回结构

SearchResponse extends Response {
    private long totalCount;//query匹配成功数据总数
    private List<Row> rows;//query匹配数据列表(1)
    private boolean isAllSuccess;
}

场景Demo

search功能主要分为三种:(多维度)查询,排序,聚合,使用上通过三种功能的组合来实现;

场景1:多维度查询

【"consumer_001"用户】【上个月】购买【产品名含某"牙膏"字段】的订单记录
使用:BoolQuery, TermQuery, RangeQuery, MatchPhraseQuery

BoolQuery boolQuery = new BoolQuery();

TermQuery termQuery = new TermQuery();
termQuery.setFieldName("consumer_id");
termQuery.setTerm(ColumnValue.fromString("consumer_001"));

RangeQuery rangeQuery = new RangeQuery();
rangeQuery.setFieldName("time_stamp");
rangeQuery.greaterThanOrEqual(ColumnValue.fromLong(fromTime));
rangeQuery.lessThanOrEqual(ColumnValue.fromLong(toTime));

MatchPhraseQuery matchPhraseQuery = new MatchPhraseQuery();
matchPhraseQuery.setFieldName("product_name");
matchPhraseQuery.setText("牙膏");


boolQuery.setMustQueries(Arrays.asList(
        termQuery, rangeQuery, matchPhraseQuery
));

SearchQuery searchQuery = new SearchQuery();
searchQuery.setQuery(boolQuery);
searchQuery.setLimit(10);

//仅构建Query
SearchRequest searchRequest = new SearchRequest("tableName", "indexName", searchQuery);

场景2:查询,排序

整个平台【上个月】【单订单支付金额】排行榜Top10
使用:RangeQuery, FieldSort

RangeQuery rangeQuery = new RangeQuery();
rangeQuery.setFieldName("time_stamp");
rangeQuery.greaterThanOrEqual(ColumnValue.fromLong(fromTime));
rangeQuery.lessThanOrEqual(ColumnValue.fromLong(toTime));

//排序因子
FieldSort fieldSort = new FieldSort("total_pay");
fieldSort.setOrder(SortOrder.DESC);

SearchQuery searchQuery = new SearchQuery();
searchQuery.setQuery(rangeQuery);
searchQuery.setSort(new Sort(Arrays.asList(fieldSort)));
searchQuery.setLimit(10);

//构建Query+Sort
SearchRequest searchRequest = new SearchRequest("tableName", "indexName", searchQuery);
相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
目录
相关文章
|
3月前
|
存储 人工智能 数据管理
OSS&Tablestore 向量检索能力全新升级,重塑AI时代数据管理
阿里云 OSS Indexing 发布了向量索引和检索能力。该功能除了可以对 OSS Meta 进行检索之外,还可以对多媒体数据元信息、用户自定义元数据以及向量语义进行检索。OSS Indexing 功能,是依托阿里云表格存储 TableStore 提供的索引存储和检索能力而构建的。表格存储针对成本、规模、召回率等挑战,发布了低成本、大规模、高性能、高召回率的向量检索服务,能以较低成本支持千亿规模数据的存储和检索。
213 8
|
3月前
|
存储 人工智能 NoSQL
OSS&Tablestore 向量检索能力全新升级,重塑AI时代数据管理
近日,阿里云成功举办了“AI驱动:数据管理的进化与创新 ”线上新品发布会。发布会上,阿里云存储产品向量检索能力全新升级,重塑AI时代数据管理。
|
存储 SQL NoSQL
基于物联网平台 + Tablestore 打造设备元数据管理平台
从场景到实践,分享物联网设备元数据场景的业务特点、技术选型和案例实践。
462 15
|
存储 SQL 消息中间件
基于物联网平台 + Tablestore,如何打造设备元数据管理平台?
基于物联网平台 + Tablestore,如何打造设备元数据管理平台?
245 15
基于物联网平台 + Tablestore,如何打造设备元数据管理平台?
|
存储 消息中间件 SQL
基于 EMQX + Tablestore 打造车辆元数据管理平台
车辆网场景中的云端架构分享与案例实践。
721 0
|
存储 SQL 运维
基于Tablestore 实现大规模订单系统海量订单/日志数据分类存储的实践
前言:从最早的互联网高速发展、到移动互联网的爆发式增长,再到今天的产业互联网、物联网的快速崛起,各种各样新应用、新系统产生了众多订单类型的需求,比如电商购物订单、银行流水、运营商话费账单、外卖订单、设备信息等,产生的数据种类和数据量越来越多;其中订单系统就是一个非常广泛、通用的系统。而随着数据规模的快速增长、大数据技术的发展、运营水平的不断提高,包括数据消费的能力要求越来越高,这对支撑订单系统的数据库设计、存储系统也提出了更多的要求。在新的需求下,传统的经典架构面临着诸多挑战,需要进一步思考架构优化,以更好支撑业务发展;
787 0
基于Tablestore 实现大规模订单系统海量订单/日志数据分类存储的实践
|
SQL NoSQL 关系型数据库
DLA一键发现Tablestore元数据,轻松开启数据湖SQL分析之旅
为了使用DLA标准SQL分析Tablestore数据,往往需要很多步骤才能在DLA中创建相应元数据映射,进而使用SQL去分析Tablestore数据。 现在,数据湖分析DLA发布了一个免费的新功能可以一键快速发现Tablestore元数据,自动创建DLA库表映射到Tablestore的实例和表上,仅倒一杯水的时间即可开启SQL分析Tablestore数据之旅。
DLA一键发现Tablestore元数据,轻松开启数据湖SQL分析之旅
|
SQL 存储 测试技术
表格存储 SQL 元数据操作实战
本文主要介绍表格存储 SQL 支持的元数据操作。 ## 背景说明 如下表所示,目前表格存储 SQL 支持的元数据操作主要分为两大类:DDL操作和Admin操作。其中DDL操作包括:CREATE TABLE, DROP MAPPING TABLE, DESCRIBE TABLE。Admin操作包括:SHOW INDEX, SHOW TABLES。更多的元数据操作将在后续的版本迭代中支持,敬请期待。
229 0
|
存储 SQL NoSQL
基于DTS+Tablestore的海量订单系统架构设计
DTS支持MySQL同步Tablestore Beta版上线,合力打造完善的订单系统。 本文主要介绍一套基于DTS与Tablestore实现一套完善的订单系统架构。实时订单数据主要针对用户侧的实时生产与修改,实例订单数据则是基于数据同步服务DTS,全、增量订阅TP库中的订单数据,从而保证Tablestore中数据与TP库数据的最终一致性。异步同步的方式不可避免的存在延时,但历史订单库在实时性上要求会适当放宽,但其派生出来的数据在服务能力与功能扩展上得到了极大的提升,尤其是Tablestore这种分布式服务能力强、下游计算生态丰富的NoSQL存储服务。
14567 0
基于DTS+Tablestore的海量订单系统架构设计
|
存储 NoSQL JavaScript
Tablestore入门手册-数据管理-GetRow
GetRow接口概述     GetRow接口用于读取一行数据,是Tablestore最基础的API之一。官方提供了Java、Go、Node.js、Python、PHP、C#、C++ SDK。     本文以Java代码为例,对GetRow接口进行详细说明。 基本使用说明 参数说明 参数名称 是否必填 参数说
1029 0