阿里云迁移规划

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: 自2017年阿里云落地了数据中台和业务中台的架构后,“中台”这一概念很快成为了许多企业数字化转型的技术评定标杆。一时间咨询公司的DT蓝图充斥着“中台化”、“大中台、小前台”,似乎脱离了这些描述,报告就不够高大上;相较而言,很多AIOPS的科技公司明明具备了中台化技术,但习惯用技术语言去表达,比如“客制化SPL语句模板”就明显LOW很多。

自2017年阿里云落地了数据中台和业务中台的架构后,“中台”这一概念很快成为了许多企业数字化转型的技术评定标杆。一时间咨询公司的DT蓝图充斥着“中台化”、“大中台、小前台”,似乎脱离了这些描述,报告就不够高大上;相较而言,很多AIOPS的科技公司明明具备了中台化技术,但习惯用技术语言去表达,比如“客制化SPL语句模板”就明显LOW很多。
鉴于阿里云已经有自己的大数据产品了,“中台化”在很多情况下只是将本地数据迁移到阿里云,然后通过阿里云的GUI工具做客制化数据调取模板。顺着这一思路,首先我们把企业数据分为结构化数据(如Oracle,MySQL中的数据)、非结构化数据(如文本、图片、视频、音频)以及半结构化数据(如Log文件、XML文件、JSON文件),然后将这些数据集成到云端,这一阶段主要涉及数据的获取、转置和治理。
1
对于不同的数据,数据集成方式也有所不同。譬如离线数据,首先我们从数据库、本地文件或OSS对象存储中获取数据,然后进行数据清理工作将失实、重复、格式错误的数据删除;接下来对数据做前期探索分析(EDA),包括分析与建模,在这一过程中,元数据被打上名称型(Nominal)或序数型(Ordinal),间隔型(Interval)或比例性(Ratio)的标签,以便之后做完整分析,例如名称型/序数型标签通常用作统计分类,而间隔性/比例型标签通常用作统计数据。最后是数据入库,对接BI工具。
2
数据流通常通过Agent获取,包括应用程序、系统内置工具以及传感器,然后进入转置缓存通道,譬如一些常见的消息总线如Kafka,RabbitMQ,接下来是流处理程序,常见的有Storm、Samza、Storm和Flink(可参看本座之前写的介绍文章,这里就无法传送了),最后入库。
3
最后是实时数据,根据系统需要,上两类数据都可能要求很强的实时性以支持即时搜索或即时报表功能。
我们以离线数据为例,如下图,RDS中存放着企业的结构化数据,OSS中存储着非结构化或半结构化的数据。这些数据的元数据会转移到阿里云的Table Store中,主数据会记录在基于MaxCompute的对应RDS和OSS数据库中,应用层是基于负载均衡并能自动扩展的ECS集群以保障服务的高可用。
4
既然说到这了,那就来说说阿里云的MaxCompute,它其实是一个基于项目(Project)的存储引擎,或者说是一个面向存储对象的集成开发环境,犹如软件研发的集成开发环境Eclipse,或大数据分析的集成开发环境Jupyter。它也有非常丰富的命令行,例如使用tunnel命令就可以将数据下载到本地或上传到MaxCompute。
5
相较于命令行,这个IDE的亮点在于它的图形界面--Dataworks,在这个界面中,可以非常方便的创建云端RDS/OSS数据库,以及到源数据的连接。
6
在阿里云的架构中,不同的区域对应有不同的MaxCompute IP,因此在数据迁移时需要开放,根据创建时的站点选择,需要开放以下目标IP,包括说迁移完成后,数据需要对外发布服务的话,同样需要开放对应IP列表(篇幅有限就不一一列举了)。
*中国东部1(杭州) 100.64.0.0/8,11.193.102.0/24,11.193.215.0/24,11.194.110.0/24,11.194.73.0/24,118.31.157.0/24,47.97.53.0/24,11.196.23.0/24,47.99.12.0/24,47.99.13.0/24,114.55.197.0/24,11.197.246.0/24,11.197.247.0/24
中国东部2(上海) 11.193.109.0/24,11.193.252.0/24,47.101.107.0/24,47.100.129.0/24,106.15.14.0/24,10.117.28.203,10.117.39.238,10.143.32.0/24,10.152.69.0/24,10.153.136.0/24,10.27.63.15,10.27.63.38,10.27.63.41,10.27.63.60,10.46.64.81,10.46.67.156,11.192.97.0/24,11.192.98.0/24,11.193.102.0/24,11.218.89.0/24,11.218.96.0/24,11.219.217.0/24,11.219.218.0/24,11.219.219.0/24,11.219.233.0/24,11.219.234.0/24,118.178.142.154,118.178.56.228,118.178.59.233,118.178.84.74,120.27.160.26,120.27.160.81,121.43.110.160,121.43.112.137,100.64.0.0/8*
在数据迁移前,我们还能修改目标的对应字段,或添加新的字段。
7
导入OSS的步骤与RDS基本相同,同样是向导式操作,只是没有行列对应,需要手动定义正则以识别日志中的IP信息、时间、事件等信息。
8
采集上来之后,根据应用的需要,开发客制化的查询结果端口,以提高数据调用效率,这也就是中台化的本质啦~当然有不同意见的施主欢迎拍砖。

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
11天前
|
关系型数据库 MySQL Apache
**ADB MySQL湖仓版能够平滑迁移到湖仓**,阿里云提供了相应的迁移工具和服务来简化这一过程。
**ADB MySQL湖仓版能够平滑迁移到湖仓**,阿里云提供了相应的迁移工具和服务来简化这一过程。
20 2
|
11天前
|
关系型数据库 Apache 流计算
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南
本文介绍了如何将数据从 OceanBase 迁移到阿里云数据库 SelectDB 内核版 Apache Doris。提供 3 种数据同步方法 1. 使用 DataX,下载 DataX 并编写配置文件,通过 OceanBaseReader 和 DorisWriter 进行数据迁移。 2. 利用 Apache Doris 的 Catalog功 能,将 OceanBase 表映射到 Doris 并插入数据。 3. 通过Flink CDC,设置 OceanBase 环境,配置 Flink 连接器,实现实时数据同步。
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南
|
11天前
|
存储 容灾 安全
在阿里云RDS(Relational Database Service)迁移前准备目标区域选择
在阿里云RDS(Relational Database Service)迁移前准备目标区域选择
34 3
|
11天前
|
监控 安全 关系型数据库
在规划阿里云RDS跨区迁移资源和服务可用性
在规划阿里云RDS跨区迁移资源和服务可用性
271 4
|
11天前
|
SQL 运维 关系型数据库
在阿里云RDS(Relational Database Service)进行跨区域迁移
在阿里云RDS(Relational Database Service)进行跨区域迁移
47 2
|
4天前
|
弹性计算 监控 负载均衡
【阿里云弹性计算】ECS实例迁移实战:无缝迁移到阿里云的步骤与技巧
【5月更文挑战第22天】阿里云ECS实例迁移实战详解,涵盖无缝迁移步骤与技巧:选择合适迁移方案,如VPC或使用阿里云工具;创建目标环境,数据迁移及配置同步;测试验证功能正常,流量切换;选择低峰期,保证数据一致,实时监控,提升迁移成功率。本文为云平台迁移提供实用指南。
37 2
|
11天前
|
SQL 数据可视化 Apache
阿里云数据库内核 Apache Doris 兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言,助力业务平滑迁移
阿里云数据库 SelectDB 内核 Doris 的 SQL 方言转换工具, Doris SQL Convertor 致力于提供高效、稳定的 SQL 迁移解决方案,满足用户多样化的业务需求。兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言,助力业务平滑迁移。
阿里云数据库内核 Apache Doris 兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言,助力业务平滑迁移
|
11天前
|
关系型数据库 MySQL 数据库
使用阿里云的数据传输服务DTS(Data Transmission Service)进行MySQL 5.6到MySQL 8.0的迁移
【2月更文挑战第29天】使用阿里云的数据传输服务DTS(Data Transmission Service)进行MySQL 5.6到MySQL 8.0的迁移
235 2
|
11天前
|
弹性计算 NoSQL 测试技术
倚天使用|Redis性能高30%,阿里云倚天ECS性能摸底和迁移实践
Redis在倚天ECS环境下与同规格的基于 x86 的 ECS 实例相比,Redis 部署在基于 Yitian 710 的 ECS 上可获得高达 30% 的吞吐量优势。成本方面基于倚天710的G8y实例售价比G7实例低23%,总性价比提高50%;按照相同算法,相对G8a,性价比为1.4倍左右。
137516 5
|
11天前
|
SQL 监控 关系型数据库
规划阿里云RDS跨区迁移业务需求迁移方案设计
规划阿里云RDS跨区迁移业务需求迁移方案设计
44 5

热门文章

最新文章