【阿里云流计算】- 电商多张商品表合并案例

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 背景 随着互联网的普及电商行业越来越火爆,但是面对成千上万的商品种类、价格明细等大量数据,怎么才能实时的抽取商家想要获取的数据呢? 步骤操作 准备工作 取2张实时更新的主键相同数据源表(ID为主键),每张表抽出带主键的一到两个字段然后写入一张大表中去! --实时的流式源表1 CREATE TABL.

背景

随着互联网的普及电商行业越来越火爆,但是面对成千上万的商品种类、价格明细等大量数据,怎么才能实时的抽取商家想要获取的数据呢?

了解更多阿里云流计算

步骤操作

准备工作

取2张实时更新的主键相同数据源表(ID为主键),每张表抽出带主键的一到两个字段然后写入一张大表中去!

--实时的流式源表1
CREATE TABLE datahub_input1 (
id            BIGINT,
name        VARCHAR,
age           BIGINT
) WITH (
type='datahub'
);

CREATE TABLE datahub_input2 (
id            BIGINT,
apple           BIGINT,
time         VARCHAR
) WITH (
type='datahub'
);



CREATE table result_01(
id bigint,
name VARCHAR
)with(
type='rds'
);

CREATE table result_02(
id            BIGINT,
apple           BIGINT
)with(
type='rds'
);


insert  into  result_01
select
id,
name
from
datahub_input1;

insert  into  result_02
select
id,
apple
from
datahub_input2;

测试数据

ID NAME AGE
1 11W 11
2 12W 12
ID APPLE time
1 220 11:00:00
3 221 11:10:00

测试结果

ID NAME APPLE
1 11W 220
2 12W null
3 null 221

难点解析

CREATE table result_01(
id bigint,
name VARCHAR
)with(
type='rds'
);

CREATE table result_02(
id            BIGINT,
apple           BIGINT
)with(
type='rds'
);

其实大家看上面的SQL很简单的逻辑,其实声明的这二张表是一张真实的大表,它包含了二张表的所有字段主键为相同的ID(注意:流计算不支持部分主键插入,如数据库中定义为多个的联合主键),主键相同会做UPDATE更新,字段不同不会覆盖,如果字段一样就会覆盖。如果是没有的字段就会根据数据库定义的默认值来补充!就比如上面的测试结果一样。

目录
相关文章
|
3月前
|
XML JSON API
义乌购API接口揭秘:轻松获取海量商品列表数据
义乌购商品列表数据接口基于RESTful架构,支持HTTP协议,使开发者能按关键词或条件搜索商品列表。需先注册获取App Key/Secret,完成认证后使用Access Token调用接口。接口返回商品标题、价格等信息,适用于电商应用开发、数据分析及第三方服务对接。更多详情参阅:b.mrw.so/2Pv6Qu。
|
4月前
|
分布式计算 大数据 MaxCompute
MaxCompute产品使用合集之如何实现根据商品维度统计每件商品的断货时长的功能
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
3月前
|
分布式计算 数据库 Spark
实时数仓 Hologres产品使用合集之如何优化增加索引和主键
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
4月前
|
JSON 关系型数据库 MySQL
实时计算 Flink版产品使用问题之对于百亿数据的三张表关联,该如何操作
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
5月前
|
运维 数据管理 关系型数据库
数据管理DMS产品使用合集之如何把订单表两年前数据拆分出来到另外一张表
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
47 4
|
4月前
|
SQL 分布式计算 BI
实时计算 Flink版产品使用问题之基于宽表数据展示实时报表,该如何实现
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
6月前
|
SQL 数据采集 分布式计算
实时计算 Flink版产品使用合集之在处理金额字段时,怎么才可以避免失真
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
45 3
|
6月前
|
关系型数据库 MySQL Java
实时数仓 Hologres产品使用合集之查询数据的入库时间该怎么操作
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
116 3
|
6月前
|
监控 关系型数据库 MySQL
实时计算 Flink版产品使用合集之如何在route中将多张表弄成宽表
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
索引
46分布式电商项目 - 批量导入商品数据到solr索引库
46分布式电商项目 - 批量导入商品数据到solr索引库
42 0