大数据发展历程及技术选型(1)

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 大数据发展历程及技术选型(1)

大数据发展历程


image.png


第一阶段


2000年-2010年


数仓提供方


企业级数据仓库(EDW)
IOT(IBM、Oracle、Teradata)
提供数据仓库建设从硬件、软件到实施的整体方案
需要购买大(中、小)型机 配套商用的关系型数据库
(Oracle、DB2、SQL Server)以及一些ETL/OLAP套件


使用范围


实施成本高昂 
集中在金融、电信、大型零售与制造等行业


作用


为企业提供报表、分析等数据
辅助企业的经营决策
电信行业的经营分析系统、银行的风控管理


第二阶段


2010年-2015年 大数据平台阶段


搭建方式


企业基于Hadoop分布式的计算框架
使用相对廉价的PC服务器就能搭建起大数据集群


目的


数据湖 降低传统数仓较为复杂的中间建模过程


使用过程


通过接入业务系统的原始数据 包括结构化、非结构数据
借助Hadoop生态强大计算引擎 将数据直接服务于应用


使用范围


国内主流互联网企业纷纷搭建大数据平台


使用场景


决策分析
基于APP/门户站点的搜索推荐
A/B Test对产品进行升级迭代
用户画像(企业的营销、运营)


第三阶段


2015年至今 数据中台 云上大数据阶段


数据统一化


数据流转的所有环节进行统一化
从采集到存储到加工等过程
建立统一的公共数据模型体系
统一的指标与标签体系
提高数据的标准性、易用性


工具组件化


  • 场景



数据再采集、计算、存储、应用过程涉及多业务线条 多场景


  • 工具


采集工具、管道工具、计算&调度工具、数据服务工具、数据管理工具、可视化工具


应用服务化


通过数据中台应用服务化建设
提供标准应用服务
以数据可视化产品
数据API工具等服务


组织清晰化


按照职责分为 平台(工具)研发、数据研发、数据产品、数据分析
数据中台团队专注于数据内容&数据平台开发,提供各种基于数据的能力模块
其他部门人员如业务产品、运营、分析等角色,只需要借助工具/产品有效地使用数据,发挥其价值,无需关注数据加工的过程


当前阶段


使用场景


  • 决策分析


  • 大数据与线上事务系统(OLTP)的联动场景


电商平台查询个人所有历史订单
刷单
反作弊的实时拦截
一些实时推荐


大概流程


将数据的运算交给数据中台部门处理
前台部门直接通过API进行结果调用


数据中台能力


数据中台的集中化建设也更好地支撑起创新业务
比如通过大数据+分析建立起商业化数据变现产品 进行数据售卖
把数据变成新的业务


共享复用


早期数据仓库(建立公共数据模型)、大数据平台(研发一些组件化工具)的建设中,也是满足共享复用


  • 共享数据组


  • 公共数据组


借助云计算


云计算的发展可以快速提供数据中台建设的能力
例如企业无需自己搭建机房
使用云计算的弹性计算存储能力以及丰富的工具
可以支撑数据中台的快速搭建


争议


1、
大型(集团型)公司有相互独立的子公司
数据之间不需要太多连接与共享
分别构建自己子数据中台也是合理的架构
集团层面可以利用数据子中台进行数据上报解决集团层面数据大盘、统计、分析、财务等诉求
2、
一些小型公司是否需要在一开始就按照数据中台的架构进行建设
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
分布式计算 安全 大数据
企查查支撑8000万+企业数据的大数据平台技术选型与实现
企查查终端所有企业工商信息均实时同步更新,汇集了目前国内市场中的80个产业链,8000个行业,6000个市场以及8000多万家企业数据。
7818 0
|
消息中间件 存储 SQL
大数据流处理平台的技术选型参考
大数据流处理平台的技术选型参考
大数据流处理平台的技术选型参考
|
存储 分布式计算 大数据
大数据发展历程及技术选型(5)
大数据发展历程及技术选型(5)
217 0
大数据发展历程及技术选型(5)
|
大数据 数据管理 数据安全/隐私保护
大数据发展历程及技术选型(4)
大数据发展历程及技术选型(4)
148 0
大数据发展历程及技术选型(4)
|
大数据 数据处理 流计算
大数据发展历程及技术选型(3)
大数据发展历程及技术选型(3)
224 0
大数据发展历程及技术选型(3)
|
数据采集 存储 数据可视化
大数据发展历程及技术选型(2)
大数据发展历程及技术选型(2)
183 0
大数据发展历程及技术选型(2)