大数据开篇

简介:
。大数据时代来临的因素:
1.1信息浪潮
    1.第一次  1980  PC机  解决问题:信息处理   代表企业 :Intel AMD IBM
    2.第二次   1995  互联网   解决问题:信息传输  代表企业:雅虎,谷歌  BAT
    3.第三次   2010  物联网、云计算、大数据  解决问题:信息爆炸  代表企业 亚马逊、谷歌、Cloudera、阿里云等
1.2信科技为大数据时代提供技术支撑
    1.存储设备容量增加(DVD光盘为例。将来可以 1DVD容量 10^6GB
    2.CPU处理能力提升
    3.网络带宽增加
1.3数据产生方式的变革促成大数据时代的来临(数据产生阶段)
    1.运营式系统阶段
    2.用户原创内容阶段
    3.感知系统阶段
1.4大数据发展历程
    1.萌芽期 20世纪90年代 -21世纪初    数据库技术成熟和数据挖掘理论
    2.成熟期 21世纪前10年  web2.0应用发展,非结构化数据大量产生,Hadoop平台MapReduce技术
    3.大规模应用  2010年后  数据驱动决策,信息社会智能化程度
2 大数据的概念
    4V  Volume 数据量大  Variety 数据类型繁多 Velocity 处理速度快 Value 价值密度低
    2.1 数据量大
    1ZB=1024EB 1024PB 1024TB 1024GB 1024MB 1024KB 1024Byte 8bit
    大数据以每年50%的速度在增长,也就是说每两年就增加一倍,这被称为“大数据摩尔定律”
    2.2 数据类型繁多
        10%存储在关系型数据库中,90%存储在非关系型数据库中
    2.3 处理速度快
    2.4 价值密度低
3 大数据的影响
    人类科学研究经历四种模式:
        1.实验科学
        2.理论科学
        3.计算科学
        4.数据密集型科学
    思维的转变:
     1.全面而非抽样
     2.效率而非精确
     3.相关而非因果
大数据计算模式
    1.批处理计算
    2.流计算
    3.图计算
    4.查询分析计算
大数据与云计算和物联网
    大数据:    4V  Volume 数据量大  Variety 数据类型繁多 Velocity 处理速度快 Value 价值密度低
    云计算:通过网络提供课伸缩的、廉价的分布式计算能力,用户只需要在具备网络接入条件的地方,就可以随时随地获得所需的各种IT
        资源。
    云计算包括3种典型的服务模式。LaaS PaaS SaaS 基础设施即服务 平台即服务 软件即服务
    1.云计算关键技术:
        虚拟化、分布式存储、分布式计算、多租户等。
    2.云计算数据中心 (地质稳定,凉爽舒适)
        计算中心电力利用:(55%电力用于制冷 45%服务器(其中70%服务器风扇,30%CPU(其中10%用于计算)))
    物联网:物物相连的物联网,是互联网的延伸,利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过
        新的方式连在一起,形成人与物、物与物相连,实现信息化和远程管理控制。
        技术角度分四个层面:感知层、网络层、处理层和应用层。
区别:大数据侧重于对海量数据的存储、处理与分析,从海量数据中发现价值,服务与生产和生活。
    云计算本质旨在整合和优化各种IT资源,通过网络以服务的方式廉价地提供给用户
    物联网发展目标物物相联,应用创新时物联网的核心。
联系:云计算为大数据提供了技术基础。云计算为物联网提供海量数据存储能力。
      大数据为云计算提供用武之地。大数据为物联网数据分析提供支撑。
      物联网为云计算技术提供了广阔的应用空间。物联网是大数据的重要来源。









本文转自 swallow_zys  51CTO博客,原文链接:http://blog.51cto.com/12042068/1928031,如需转载请自行联系原作者
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
11月前
|
数据采集 存储 算法
MyEMS 开源能源管理系统:基于 4G 无线传感网络的能源数据闭环管理方案
MyEMS 是开源能源管理领域的标杆解决方案,采用 Python、Django 与 React 技术栈,具备模块化架构与跨平台兼容性。系统涵盖能源数据治理、设备管理、工单流转与智能控制四大核心功能,结合高精度 4G 无线计量仪表,实现高效数据采集与边缘计算。方案部署灵活、安全性高,助力企业实现能源数字化与碳减排目标。
381 0
|
10月前
|
数据采集 人工智能 定位技术
分享一个开源的MCP工具使用的AI Agent 支持常用的AI搜索/地图/金融/浏览器等工具
介绍一个开源可用的 MCP Tool Use 通用工具使用的 AI Agent (GitHub: https://github.com/AI-Agent-Hub/mcp-marketplace ,Web App https://agent.deepnlp.org/agent/mcp_tool_use,支持大模型从Open MCP Marketplace (http://deepnlp.org/store/ai-agent/mcp-server) 的1w+ 的 MCP Server的描述和 Tool Schema 里面,根据用户问题 query 和 工具 Tool描述的 相关性,选择出来可以满足
|
数据采集 监控 数据管理
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展,数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理,包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理,为企业数据治理提供参考。
513 1
|
人工智能 安全
大模型安全撬壳计划(一) 手把手教你参加大模型安全撬壳计划
“大模型安全撬壳计划”由阿里巴巴集团安全部主办,旨在通过真实环境攻防实战,探索大模型安全边界,培养顶尖AI安全人才。大赛提供场景、技术、数据与奖金支持,赛程包括报名(7月9日-8月14日)、初赛与复赛。参赛者可通过大赛官网报名并提交攻击方法代码,挑战模型安全极限。更多信息请访问大赛网址。
671 0
|
机器学习/深度学习 计算机视觉 知识图谱
YOLOv11改进策略【注意力机制篇】| SENet V2 优化SE注意力机制,聚合通道和全局信息
YOLOv11改进策略【注意力机制篇】| SENet V2 优化SE注意力机制,聚合通道和全局信息
569 1
YOLOv11改进策略【注意力机制篇】| SENet V2 优化SE注意力机制,聚合通道和全局信息
|
Java
【Java】俄罗斯方块小游戏(附源码)
【Java】俄罗斯方块小游戏(附源码)
889 1
|
资源调度 监控 关系型数据库
实时计算 Flink版操作报错合集之处理大量Join时报错空指针异常,是什么原因
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
实时计算 Flink版操作报错合集之处理大量Join时报错空指针异常,是什么原因
|
自然语言处理 IDE 测试技术
CodeGeeX用法
【8月更文挑战第30天】CodeGeeX用法
1163 6