产品和应用场景|学习笔记

本文涉及的产品
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 快速学习 产品和应用场景

开发者学堂课程【阿里云分析型数据库使用教程:产品和应用场景】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/87/detail/1344


产品和应用场景


课程提纲:

在线大数据计算引擎介绍

在线大数据计算引擎的应用场景

在线大数据计算上下游工具

 

产品概述:

分析型数据库(AnalyticDB,原名 ADS), 是阿里巴巴自主研发的能够满足海量数据实时多维分析的大数据产品。

分析型数据库基于飞天平台,拥有快速处理千亿级别的大数据的能力, 可以在毫秒级完成十亿百亿的数据计算,可以根据自己的想法在海量数据中自由的进行探索。

图片21.png

产品优势:

(1)海量数据计算能力

最高支持单表万亿记录、PB数据级别

(2)自由灵活的查询能力

通过 SQL 对海量数据灵活的进行多维分析、数据透视、数据筛选。

(3)极速的查询响应时间

毫秒级的百亿级数据多维透视

(4)多通道并行数据导入

离线通道、在线通道双模式并行数据导入,导入性能随集群规模线性扩展

(5)精细化的安全机制

提供精确到列级别的权限管理和超细粒度用户操作审计,利用公私钥机制保护数据安全

(6)良好的兼容性

全面兼容MySQL协议(包括数据元信息),天生具备与商业分析工具、应用的兼容性,内置支持多种数据源数据快速接入,大幅度降低业务系统和商业软件的接入成本

应用场景概览

图片22.png

购买和创建阿里云分析型数据库

●进行试用和测试时建议购买按量付费,更加灵活

●正式生产试用时,建议购买包年包月(也可从按量付费转换) ,价格便宜

了解阿里云分析型数据库的特性-存储

图片23.png

了解阿里云分析型数据库的特性-计算

图片24.png

了解阿里云分析型数据库的特性-特色功能

图片25.png

数据如何进入阿里云分析型数据库

通过 load 命令从用户的 MaxCompute 批量导入

用户应用实时写入

通过数据集成 CDP 或 DatalDE 从其他数据源批量导入

通过数据传输 DTS 实时同步 RDS(MySQL) 中的数据

通过其他第三方工具如 Kettle 写入

批量导入类:

适合每天(或12小时/8小时)运行一次,同步过去的数据的业务需求;在小数据量下,批量导入任务运行的很慢(至少15分钟),在大数据量下(例如一次同步数千万到数亿条数据),批量导入相对速度很快;

实时写入类:

适合一次性同步数据量较小(<100w) ,或数据持续不断的实时进入的情况。一次性同步大量数据时性能较批量导入差。

应用连接池特别指导

●Java 应用推荐使用 DruidDataSource,但是不建议开启sq过滤等辅助功能

●整个数据库的连接数(读) 参考: min=Frontnode 的数量*5,

max=FRONTNODE 的数量*30

●心跳包:必须,建议 20-40s-次,建议使用 show status like

“%Service_ status%'语句。无心跳包,2min 无查询自动断开连接。

●注意不要出现多个线程同时使用一个连接的情况

其他使用技巧

表结构优化:

 https://help . aliyun.com/document detail/45390.htm.

查询优化:

https://help aliyun.com/document detail4539.html

写入性能优化:

https://help.aliyun.com/document detail/45392

SQL 语法:

https://help. aliyun.com/document detail/26408.html

用户元数据:

https://help aliyun.com/document detail/26429.html

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
5月前
|
人工智能 自然语言处理 算法
【LLMOps】AIGC使用场景解决方案
【4月更文挑战第10天】AIGC五大使用场景解决方案
227 2
【LLMOps】AIGC使用场景解决方案
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
|
4月前
|
Kubernetes 容器 Perl
K8s是什么?k8s应用场景是什么?
K8s是什么?k8s应用场景是什么?
|
5月前
|
数据采集 存储 弹性计算
产品优势及应用场景
产品优势及应用场景
48 3
|
5月前
|
存储 机器学习/深度学习 数据可视化
浅谈数字化和可视化的区别、各自的优缺点及未来的趋势主流
浅谈数字化和可视化的区别、各自的优缺点及未来的趋势主流
533 2
|
5月前
|
负载均衡 Kubernetes 混合部署
k8s 中externalTrafficPolicy应用场景和实践
在Kubernetes(K8s)中,`externalTrafficPolicy` 是一个用于控制服务的外部流量的策略。这个字段可以在 `Service` 的定义中设置,其主要作用是决定服务对外部请求的负载均衡行为。具体来说,`externalTrafficPolicy` 有两个可选值: 1. `Cluster`: 默认值。当设置为 `Cluster` 时,服务将负载均衡流量到所有的 Pod,无论这些 Pod 是否在同一节点上。这意味着即使请求来自于同一节点的多个 Pod,流量也可能被负载均衡到不同的节点上。 ```yaml apiVersion: v1 kind: Se
465 0
|
12月前
|
安全 程序员
ThottleStop 软件的应用场景
ThottleStop 软件的应用场景
|
弹性计算 Cloud Native Java
《阿里云云原生 Serverless 案例集》——典型案例——游戏-江娱互动
《阿里云云原生 Serverless 案例集》——典型案例——游戏-江娱互动
330 0
|
数据可视化 开发者
应用场景2-2 | 学习笔记
快速学习应用场景2-2
111 0
应用场景2-2 |  学习笔记
|
存储 数据建模 开发者
应用场景1 | 学习笔记
快速学习应用场景1
139 0
应用场景1  |  学习笔记
下一篇
无影云桌面