弘楠
弘楠_个人页
弘楠
文章
12
问答
0
视频
0
个人介绍
阿里云表格存储团队 弘楠
擅长的技术
- Java
- 关系型数据库
- NoSQL
-
发表了文章 2022-01-30
基于 Tablestore 时序模型构建车联网数据存储
背景最近几年，物联网得到了飞速的发展。在车联网、设备监控、网络监控、快递跟踪等物联网典型场景下，海量监控数据、轨迹数据、传感器数据被生产数来。这些数据产生频率高、数据量大、严重依赖采集时间，是典型的时序数据。传统的数据库是无法应对这种高写入的海量实时数据的，需要使用能够支持时序模型的时序数据库对这些数据进行储存和分析。表格存储时序模型是专门针对时序数据特点，为物联网、车联网等场景设计的。本文基于车
-
发表了文章 2022-01-07
基于 Tablestore 时序存储的物联网数据存储方案
背景物联网时序场景是目前最火热的方向之一。海量的时序数据如汽车轨迹数据、汽车状态监控数据、传感器实时监控数据需要存放进入数据库。一般这类场景下存在如下需求数据高写入，低读取需要对写入数据进行基础的图表展示对写入数据进行聚合分析传统的关系型数据库并不适合此类场景，时序数据库脱颖而出。表格存储时序实例支持时序数据的存储，其具有如下特点：Serverless，分布式，低成本高写入支持优秀的索引能力对数据
-
发表了文章 2021-09-03
使用 Canal 向 Tablestore 导入数据
可以使用 Canal 将数据传输进入 Tablestore。需要部署两部分内容，首先部署 canal.deployer，deployer 负责从上游拉取 binlog 数据，记录位点等。然后再部署 canal.adapter 包，这个服务负责对接 deployer 解析过的数据，并且将数据传输到下游数据库中，在本文中即 Tablestore 数据库。链路如图。Deployer部署部署步骤首先部署
-
发表了文章 2021-09-02
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-架构篇
背景订单系统存在于各行各业，如电商订单、银行流水、运营商话费账单等，是一个非常广泛、通用的系统。对于这类系统，在过去十几年发展中已经形成了经典的做法。但是随着互联网的发展，以及各企业对数据的重视，需要存储和持久化的订单量越来越大，数据的重视程度与数据规模的膨胀带来了新的挑战。首先，订单量对于数据的存储、持久化、访问带来了挑战，这不仅增加了开发面对的困难，也为系统的运维带来了挑战。其次，随着大数据技
-
发表了文章 2021-08-30
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-数据同步 DTS 篇
前言 前文架构篇，可以看到 MySQL + Tablestore 非常适合大规模订单系统这一类需求场景。那么，我们首先要做的是，利用 CDC(Change Data Capture) 技术将订单数据实时从 MySQL 同步到 Tablestore 中。对于订单系统的数据同步，我们需要关注同步的稳定性、实时性。目前，存在多款工具可以实现这一功能，他们有的是开源工具如 Canal，有的是阿里云端服务如
-
发表了文章 2021-08-30
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-数据同步 Canal 篇
前言 在基于 MySQL + Tablestore 分层存储架构的大规模订单系统中，利用 CDC 技术将 MySQL 数据同步到 Tablestore 是不可缺少的一步。前文已经详细讲述了如何使用 DTS 向 Tablestore 同步数据。对于中小规模的数据库，或者个人开发者，还可以使用 Canal 从 MySQL 向 Tablestore 同步数据。Canal 部署简单，易于运维，且相比于 D
-
发表了文章 2021-08-30
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-订单搜索篇
背景在大规模订单系统中，存在以下常见需求：查询某店铺过去一段时间成交额查询某品牌商品在过去一周内的成交额查询在某店铺购物的客户列表……因此，开发者对于数据库在非主键查询、多列的自由组合查询等复杂查询需求上会有比较高的要求。传统的订单系统会使用 Elasticsearch 或者 Solr 来实现这一需求，但伴随而来的是更高的系统复杂度和更加昂贵的系统维护成本。Tablestore 的多元索引，能够支
-
发表了文章 2021-08-30
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-SQL 查询和分析
前言前面我们介绍了基于 MySQL + Tablestore 分层架构的订单系统。订单数据储存进入 Tablestore 后，用户可以使用 SDK 中的 API 访问数据，也可以继续使用 SQL 访问 Tablestore 中的数据。Tablestore 提供了多种 SQL 的接入方式，客户可以通过 DLA 访问 Tablestore，也可以利用 Tablestore 自身对 SQL 的支持能力，
-
发表了文章 2021-08-30
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-基于 DLA 的联邦查询
前言在订单系统中，基于订单数据对客户和商家商品进行画像分析是一种常见的需求。常见的分析需求有：基于主键、分区键数据的条件组合检索，例如获取某用户最近 30 的订单列表。根据非主键列、分区键的条件组合检索工作，例如查询过去一天异常订单列表、查询过去一天成交额最大的10 笔订单。聚合统计类需求，比如统计某店铺过去一个月各商品销售额排名；统计双十一期间销售额前 10 的店铺；统计双十一期间某店铺每天订单
-
发表了文章 2021-08-30
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-数据处理ETL篇
前言大数据计算服务 MaxCompute（原名 ODPS）是一种快速、完全托管的EB级数据仓库解决方案。随着数据收集手段不断丰富，行业数据大量积累，数据规模已增长到了传统软件行业无法承载的海量数据（TB、PB、EB）级别。MaxCompute 致力于批量结构化数据的存储和计算，提供海量数据仓库的解决方案及分析建模服务。它具有大规模计算存储、多种计算模型、强数据安全、低成本、免运维、极致弹性扩展的优
-
发表了文章 2021-08-30
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-历史数据分析篇
前言在大规模订单系统中，离线的数据分析必不可少。工程师和运营人员使用批处理工具如 Spark 对历史数据进行计算分析，其计算结果可以用于用户画像、产品推荐等多个场景。传统的 MySQL 分库分表架构是无法应对这种需求的，一般会引入 Hive 对数据进行归档存储，然后利用 Hive 来对接 Spark 或者 HiveSQL 等分析工具。这样的架构会带来很高的维护成本，首先 Hive、HDFS、Had
-
发表了文章 2021-08-30
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-数据流计算篇
背景在订单系统中，利用 Spark streamimg 或者 Flink 对接数据流并进行数据分析是一种常见请求。常见的场景如下：大促开始后，实时显示当前总成交金额。大促开始后，实时画出成交量走势图。……MySQL 若需要支持此类场景，需要开发应用，解析 binlog 中的数据，对接中间件，开发成本运维成本都会更高，且系统复杂度也会提升。而表格存储提供了通道服务，可以直接对接 Spark stre
暂无更多信息
-
发表了文章
2022-01-30
基于 Tablestore 时序模型构建车联网数据存储
-
发表了文章
2022-01-07
基于 Tablestore 时序存储的物联网数据存储方案
-
发表了文章
2021-09-03
使用 Canal 向 Tablestore 导入数据
-
发表了文章
2021-09-02
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-架构篇
-
发表了文章
2021-08-30
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-数据同步 DTS 篇
-
发表了文章
2021-08-30
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-数据同步 Canal 篇
-
发表了文章
2021-08-30
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-订单搜索篇
-
发表了文章
2021-08-30
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-SQL 查询和分析
-
发表了文章
2021-08-30
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-基于 DLA 的联邦查询
-
发表了文章
2021-08-30
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-数据处理ETL篇
-
发表了文章
2021-08-30
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-历史数据分析篇
-
发表了文章
2021-08-30
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-数据流计算篇
滑动查看更多
暂无更多信息
暂无更多信息