大数据学习的一些概念(值得背)

简介: 大数据学习的一些概念(值得背)

什么是数据分析

就是把隐藏在数据背后的信息提炼出来,总结出内在规律,帮助更好的决策


数据分析的三个方向


现状分析(分析当下的数据)

也叫实时分析,数据产生到数据分析的间隔非常短,数据是流式的不是批式

原因分析(分析过去的数据)

也叫离线分析,批处理,比如一周一分析、一天一分析,通过总结过去的数据找到一些现状的原因

预测分析(预测未来的变化)

也叫机器学习,利用当下和过去的数据,预测未来的变化。侧重于数学算法。

数据分析的基本步骤

1.明确分析的目的和思路

分析的思路需要数据分析的方法论支撑,就像软件工程里面的一些开发模型一样,比如说用户行为理论,PEST分析法

2.数据收集

数据可能是采集(爬取)而来,数据也可能是被搬运而来(从数据库搬运)

3.数据预处理

对收集的数据进行处理,形成干净的、结构化的数据

4.数据分析

要掌握一些分析的工具和方法

5.数据可视化

将分析的结果用图表展示,因为人是视觉动物。分析结果还能进行数据挖掘

6.报告撰写

也就是数据分析的应用,总结出一些什么规律

大数据时代

数据分析的是数据,在谈数据分析之前,必须了解大数据


大数据(big data)是短时间内无法捕捉、处理、分析的数据集合


业界用5v来描述它的特征

大数据的应用场景


比如说,电商、传媒、金融、交通、电信领域、安防、医疗


大数据场景催生的两个问题


数据怎么存储的?

数据怎么计算的?

分布式和集群

分布式和集群的相同点在于都是多台机器构成


分布式在于各个机器承担的功能不一样。而集群里面的各个机器承担的功能是一样的,常被用于负载均衡


大数据场景催生的两个问题的解决

  • 数据怎么存储的?
    分布式存储
  • 数据怎么计算的?
    分布式计算
相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
6月前
|
SQL 资源调度 数据库
数仓学习---14、大数据技术之DolphinScheduler
数仓学习---14、大数据技术之DolphinScheduler
|
7月前
|
分布式计算 Hadoop 大数据
Hadoop学习:深入解析MapReduce的大数据魔力之数据压缩(四)
Hadoop学习:深入解析MapReduce的大数据魔力之数据压缩(四)
|
6月前
|
SQL 存储 大数据
黑马程序员-大数据入门到实战-分布式SQL计算 Hive 语法与概念
黑马程序员-大数据入门到实战-分布式SQL计算 Hive 语法与概念
78 0
|
4月前
|
存储 分布式计算 Hadoop
【大数据技术Hadoop+Spark】HDFS概念、架构、原理、优缺点讲解(超详细必看)
【大数据技术Hadoop+Spark】HDFS概念、架构、原理、优缺点讲解(超详细必看)
124 0
|
6月前
|
SQL NoSQL Java
Redis学习---大数据技术之Redis(NoSQL简介、Redis简介、Redis安装、五大数据类型、相关配置、持久化)
Redis学习---大数据技术之Redis(NoSQL简介、Redis简介、Redis安装、五大数据类型、相关配置、持久化)
|
6月前
|
人工智能 搜索推荐 数据可视化
电子学习中的大数据分析:每个人都应该知道的这些方面
电子学习中的大数据分析:每个人都应该知道的这些方面
|
1月前
|
存储 SQL 关系型数据库
【MySQL 数据库】6、一篇文章学习【索引知识】,提高大数据量的查询效率【文末送书】
【MySQL 数据库】6、一篇文章学习【索引知识】,提高大数据量的查询效率【文末送书】
59 0
|
4月前
|
分布式计算 NoSQL Java
大数据学习资料和书籍推荐
大数据学习资料和书籍推荐
71 0
|
4月前
|
前端开发 JavaScript 大数据
❤️[前端学习]大数据全栈工程师之一文快速上手vue3❤️
❤️[前端学习]大数据全栈工程师之一文快速上手vue3❤️
59 0
|
4月前
|
存储 分布式计算 大数据
【云计算与大数据技术】大数据概念和发展背景讲解(图文解释 超详细)
【云计算与大数据技术】大数据概念和发展背景讲解(图文解释 超详细)
226 0

热门文章

最新文章