xe23chd3jvj42_个人页

2024年04月

• 04.22 16:47:44
  发表了文章 2024-04-22 16:47:44

  基于Tablestore 实现海量订单日志数据存储

  从最早的互联网高速发展、到移动互联网的爆发式增长，再到今天的产业互联网、物联网的快速崛起，各种各样新应用、新系统产生了众多订单类型的需求，比如电商购物订单、银行流水、运营商话费账单、外卖订单、设备信息等，产生的数据种类和数据量越来越多；其中订单系统就是一个非常广泛、通用的系统。而随着数据规模的快速增长、大数据技术的发展、运营水平的不断提高，包括数据消费的能力要求越来越高，这对支撑订单系统的数据库设计、存储系统也提出了更多的要求。在新的需求下，传统的经典架构面临着诸多挑战，需要进一步思考架构优化，以更好支撑业务发展。

  

2022年02月

• 02.10 19:29:51
  发表了文章 2022-02-10 19:29:51

  大数据上云-HDFS数据迁移方案

  大数据时代，大数据处理系统已成为各行业各类公司经营过程中不可或缺的重要生产系统之一，不管是辅助业务经营分析，为企业运营提供决策数据依据，还是进行用户行为信息分析，提供精确的用户画像，在数据计算处理（批式、流式）、查询分析都发挥着重要的作用。Hadoop 作为目前应用最为广泛的分布式大数据平台，基本都采用HDFS分布式文件系统作为整个hadoop体系的存储底座，负责数据的存储与管理。在上云过程中，阿里云提供一系列便利的迁移服务和工具来实现HDFS的数据迁移上云，用户可根据自身网络带宽情况，选择离线迁移及在线迁移两种方式进行HDFS的数据迁移。本文主要讨论在上云过程中HDFS数据迁移的方案和步骤

  

2021年09月

• 09.29 17:44:08
  发表了文章 2021-09-29 17:44:08

  基于Tablestore 实现大规模订单系统海量订单/日志数据分类存储的实践

  前言：从最早的互联网高速发展、到移动互联网的爆发式增长，再到今天的产业互联网、物联网的快速崛起，各种各样新应用、新系统产生了众多订单类型的需求，比如电商购物订单、银行流水、运营商话费账单、外卖订单、设备信息等，产生的数据种类和数据量越来越多；其中订单系统就是一个非常广泛、通用的系统。而随着数据规模的快速增长、大数据技术的发展、运营水平的不断提高，包括数据消费的能力要求越来越高，这对支撑订单系统的数据库设计、存储系统也提出了更多的要求。在新的需求下，传统的经典架构面临着诸多挑战，需要进一步思考架构优化，以更好支撑业务发展；