产品和应用场景|学习笔记

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 快速学习 产品和应用场景

开发者学堂课程【阿里云分析型数据库使用教程:产品和应用场景】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/87/detail/1344


产品和应用场景


课程提纲:

在线大数据计算引擎介绍

在线大数据计算引擎的应用场景

在线大数据计算上下游工具

 

产品概述:

分析型数据库(AnalyticDB,原名 ADS), 是阿里巴巴自主研发的能够满足海量数据实时多维分析的大数据产品。

分析型数据库基于飞天平台,拥有快速处理千亿级别的大数据的能力, 可以在毫秒级完成十亿百亿的数据计算,可以根据自己的想法在海量数据中自由的进行探索。

图片21.png

产品优势:

(1)海量数据计算能力

最高支持单表万亿记录、PB数据级别

(2)自由灵活的查询能力

通过 SQL 对海量数据灵活的进行多维分析、数据透视、数据筛选。

(3)极速的查询响应时间

毫秒级的百亿级数据多维透视

(4)多通道并行数据导入

离线通道、在线通道双模式并行数据导入,导入性能随集群规模线性扩展

(5)精细化的安全机制

提供精确到列级别的权限管理和超细粒度用户操作审计,利用公私钥机制保护数据安全

(6)良好的兼容性

全面兼容MySQL协议(包括数据元信息),天生具备与商业分析工具、应用的兼容性,内置支持多种数据源数据快速接入,大幅度降低业务系统和商业软件的接入成本

应用场景概览

图片22.png

购买和创建阿里云分析型数据库

●进行试用和测试时建议购买按量付费,更加灵活

●正式生产试用时,建议购买包年包月(也可从按量付费转换) ,价格便宜

了解阿里云分析型数据库的特性-存储

图片23.png

了解阿里云分析型数据库的特性-计算

图片24.png

了解阿里云分析型数据库的特性-特色功能

图片25.png

数据如何进入阿里云分析型数据库

通过 load 命令从用户的 MaxCompute 批量导入

用户应用实时写入

通过数据集成 CDP 或 DatalDE 从其他数据源批量导入

通过数据传输 DTS 实时同步 RDS(MySQL) 中的数据

通过其他第三方工具如 Kettle 写入

批量导入类:

适合每天(或12小时/8小时)运行一次,同步过去的数据的业务需求;在小数据量下,批量导入任务运行的很慢(至少15分钟),在大数据量下(例如一次同步数千万到数亿条数据),批量导入相对速度很快;

实时写入类:

适合一次性同步数据量较小(<100w) ,或数据持续不断的实时进入的情况。一次性同步大量数据时性能较批量导入差。

应用连接池特别指导

●Java 应用推荐使用 DruidDataSource,但是不建议开启sq过滤等辅助功能

●整个数据库的连接数(读) 参考: min=Frontnode 的数量*5,

max=FRONTNODE 的数量*30

●心跳包:必须,建议 20-40s-次,建议使用 show status like

“%Service_ status%'语句。无心跳包,2min 无查询自动断开连接。

●注意不要出现多个线程同时使用一个连接的情况

其他使用技巧

表结构优化:

 https://help . aliyun.com/document detail/45390.htm.

查询优化:

https://help aliyun.com/document detail4539.html

写入性能优化:

https://help.aliyun.com/document detail/45392

SQL 语法:

https://help. aliyun.com/document detail/26408.html

用户元数据:

https://help aliyun.com/document detail/26429.html

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
打赏
0
0
0
0
42
分享
相关文章
大数据的应用场景
大数据在众多行业中的应用场景广泛,涵盖金融、零售、医疗保健、交通物流、制造、能源、政府公共服务及教育等领域。在金融行业,大数据用于风险评估、精准营销、反欺诈以及决策支持;零售业则应用于商品推荐、供应链管理和门店运营优化等;医疗保健领域利用大数据进行疾病预测、辅助诊断和医疗质量评估;交通物流业通过大数据优化物流配送、交通管理和运输安全;制造业则在生产过程优化、设备维护和供应链协同方面受益;能源行业运用大数据提升智能电网管理和能源勘探效率;政府和公共服务部门借助大数据改善城市管理、政务服务及公共安全;教育行业通过大数据实现个性化学习和资源优化配置;体育娱乐业则利用大数据提升赛事分析和娱乐制作水平。
ly~
1339 2
数字化产科管理平台覆盖的应用场景
数字化产科管理平台是专为医院产科设计的信息管理系统,通过数字化手段提升服务质量与管理效率。平台覆盖孕妇从怀孕到产后42天内的全流程健康管理,包括建档、产检、分娩、住院及产后随访等场景,并提供数据分析、远程医疗、智能管理等功能。系统采用Java开发,基于前后端分离架构,使用Vue和ElementUI前端框架,数据库为MySQL 8.0.36,已在多家三甲医院成功应用。
数字化产科管理平台覆盖的应用场景
产品优势及应用场景
产品优势及应用场景
79 3
大模型技术在C端市场的三大应用场景
【1月更文挑战第15天】大模型技术在C端市场的三大应用场景
643 2
大模型技术在C端市场的三大应用场景
k8s 中externalTrafficPolicy应用场景和实践
在Kubernetes(K8s)中,`externalTrafficPolicy` 是一个用于控制服务的外部流量的策略。这个字段可以在 `Service` 的定义中设置,其主要作用是决定服务对外部请求的负载均衡行为。具体来说,`externalTrafficPolicy` 有两个可选值: 1. `Cluster`: 默认值。当设置为 `Cluster` 时,服务将负载均衡流量到所有的 Pod,无论这些 Pod 是否在同一节点上。这意味着即使请求来自于同一节点的多个 Pod,流量也可能被负载均衡到不同的节点上。 ```yaml apiVersion: v1 kind: Se
968 1