《企业大数据系统构建实战:技术、架构、实施与应用》——导读

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:


image

前  言

为什么要写这本书

随着2013年大数据元年的开启,各行各业都已经将大数据视为推动企业发展、推进行业进步、加快产业升级、促进民生繁荣、巩固社会安全甚至提升国家竞争力的核心武器。从个性化推荐、关联销售到精准营销,从云平台、云服务、云计算到大数据产业链,从百度迁徙、高考预测到冬季流感预测,从机器学习、图像识别到智能交通,从奥巴马总统竞选到美国中央情报局反恐,从美国的大数据研究和发展计划到中国的促进大数据发展行动纲要等一系列事实说明了大数据正受到来自政治、经济、社会、文化、军事等各个领域的广泛关注,并越来越彰显其巨大价值。

大数据不仅是一个技术名词,更是当下企业资产、核心竞争力、完整产业链和先进生产力的代名词。因此,大数据应该是作为一个整合概念和体系被认知,而非独立的方法论、技术论甚至应用论。处于飞速变革时代的中国,在大数据产业链各个环节的企事业单位受限于自身产业属性、盈利模式、利益趋向、认知、能力等,无法完整地展示出大数据的知识图谱与价值图谱。
纵观当下整个大数据认知取向,大致有三类基本认知点:

第一类是大数据知识论,这种认知以大数据方法、理论、知识的研究和推导为聚焦点,通过深度学习,归纳、总结出大数据知识体系。这是典型的学院派,优势是对基础理论研究非常透彻并且具备深厚的理论基础,不足之处是缺乏对产业、学术、应用的结合,更缺少真正能落地的应用案例。

第二类是大数据技术论,这种认知以大数据技术为聚焦点,落脚于大数据的硬件、服务、架构、开发、计算、算法等具体实施层面。诚然,大数据技术是大数据实施的核心,也是带来技术变革和生产力突破的关键,但只有技术而缺乏正确的方向以及有价值的应用引导,技术便无法发挥作用,更无法转化为经济价值、社会价值和政治价值。

第三类是大数据应用论,这种认知以大数据的场景化为聚焦点,通过对历史、现在、未来的变革、创新和实践的总结和构想,营造出大数据的丰富应用场景和能力空间。这是一种典型的以应用为驱动的认知理论,通过落地案例驱动技术来表现大数据的巨大价值。但这种应用论过于专注场景化包装,更强调落地而忽视技术的巨大潜力和推动作用,更无法体现出大数据作为企业资产、技术竞争力等非直接利润表现的价值因素。

本书的几位联合作者彼此是共事多年的朋友,各自负责大数据工作中的不同环节。大家的工作和知识有交集更有互补,因此,我们认为只有依靠这种“知识合并”和“知识互补”的关系才能够呈现出大数据的全貌,这也是撰写本书的出发点之一。

当前,市场上有非常多关于大数据的书籍,但能从整体性、全局性、安全性、价值性、技术性、体系性等方面完整考虑的书非常少。我们希望通过本书让读者认识到大数据不仅仅是数据、技术、架构、应用,更是结合了商业模式、战略定位、信息安全、单位协同、组织保障、实施选型的完整体系。
几位联合作者对于本书内容的贡献如下:吕兆星撰写了技术的架构部分,包括第4章、第5章、第6章;郑传峰撰写了战略和应用的部分,包括第1章、第2章、第9章;宋天龙撰写了数据和价值评估的部分,包括第3章、第8章、第10章、第11章、第12章、第13章;杨晓鹏撰写了技术开发的部分中第7章的全部内容。

目  录

[第1章 企业大数据战略定位
1.1 宏观 ](https://yq.aliyun.com/articles/120406/)
1.2 微观
1.2.1 资源协同
1.2.2 战略定位
1.2.3 启动契机
1.2.4 大数据历程
1.3 本章小结
[第2章 企业大数据职能规划
2.1 大数据组织架构体系 ](https://yq.aliyun.com/articles/120451/)
2.1.1 大数据部门在企业中的角色
2.1.2 常见的大数据职能及职责
2.2 大数据职位构建体系
2.2.1 基础平台类
2.2.2 数据管理类
2.2.3 技术研发类
2.2.4 产品设计类
2.2.5 数据挖掘类
2.2.6 数据分析类
2.3 大数据制度和流程规范
2.3.1 制度和流程规范意义
2.3.2 制度和流程规范内容
2.3.3 制度和流程规范模板
2.4 本章小结
[第3章 企业大数据解决方案
3.1 企业大数据解决方案实现方式 ](https://yq.aliyun.com/articles/120490/)
3.1.1 独立研发
3.1.2 第三方解决方案
3.1.3 联合开发
3.2 如何选择解决方案
3.2.1 外部环境分析
3.2.2 内部环境分析
3.2.3 需求规划分析
3.2.4 解决方案特性分析
3.2.5 解决方案费用评估
3.3 本章小结

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
7天前
|
弹性计算 负载均衡 安全
【上云基础系列-02】企业推荐!必学必会的上云标准架构(弹性架构)
本文介绍上云标准弹性架构,针对企业业务发展需求,推荐使用多服务器的弹性架构而非单体架构。方案包含负载均衡、NAT网关、云服务器ECS、云数据库RDS等组件,确保业务的负载分担、冗余备份及平滑扩展。通过统一公网暴露面管理和VPC网络设计,保障架构的稳定性、安全性和可扩展性。该架构适用于中小企业上云,避免性能瓶颈和迭代升级困难,支持业务持续发展。更多内容可参考下方演进说明总览。
|
1月前
|
容灾 网络协议 数据库
云卓越架构:云上网络稳定性建设和应用稳定性治理最佳实践
本文介绍了云上网络稳定性体系建设的关键内容,包括面向失败的架构设计、可观测性与应急恢复、客户案例及阿里巴巴的核心电商架构演进。首先强调了网络稳定性的挑战及其应对策略,如责任共担模型和冗余设计。接着详细探讨了多可用区部署、弹性架构规划及跨地域容灾设计的最佳实践,特别是阿里云的产品和技术如何助力实现高可用性和快速故障恢复。最后通过具体案例展示了秒级故障转移的效果,以及同城多活架构下的实际应用。这些措施共同确保了业务在面对网络故障时的持续稳定运行。
|
1月前
|
人工智能 运维 监控
云卓越架构:企业稳定性架构体系和AI业务场景探秘
本次分享由阿里云智能集团公共云技术服务部上海零售技术服务高级经理路志华主讲,主题为“云卓越架构:企业稳定性架构体系和AI业务场景探秘”。内容涵盖四个部分:1) 稳定性架构设计,强调高可用、可扩展性、安全性和可维护性;2) 稳定性保障体系和应急体系的建立,确保快速响应和恢复;3) 重大活动时的稳定重宝策略,如大促或新业务上线;4) AI在企业中的应用场景,包括智能编码、知识库问答、创意广告生成等。通过这些内容,帮助企业在云计算环境中构建更加稳定和高效的架构,并探索AI技术带来的创新机会。
|
1月前
|
监控 架构师 安全
企业架构(EA)项目开发综合指南
企业架构(EA)是一种全面的方法,用于对齐企业的业务目标与其 IT 战略和资源。EA 涵盖了企业的各个层面,包括业务流程、信息流、应用系统和技术基础设施。本指南将详细探讨 EA 项目开发的关键步骤、[EA](https://www.visual-paradigm.com/features/enterprise-architecture-diagram-tool/) 与 TOGAF、ArchiMate 以及其他建模图(如 BPMN 和 UML)之间的关系,以及推荐 Visual Paradigm 作为 EA 团队的最佳解决方案。
78 3
|
2月前
|
存储 SQL 分布式计算
大数据时代的引擎:大数据架构随记
大数据架构通常分为四层:数据采集层、数据存储层、数据计算层和数据应用层。数据采集层负责从各种源采集、清洗和转换数据,常用技术包括Flume、Sqoop和Logstash+Filebeat。数据存储层管理数据的持久性和组织,常用技术有Hadoop HDFS、HBase和Elasticsearch。数据计算层处理大规模数据集,支持离线和在线计算,如Spark SQL、Flink等。数据应用层将结果可视化或提供给第三方应用,常用工具为Tableau、Zeppelin和Superset。
703 8
|
2月前
|
存储 负载均衡 监控
揭秘 Elasticsearch 集群架构,解锁大数据处理神器
Elasticsearch 是一个强大的分布式搜索和分析引擎,广泛应用于大数据处理、实时搜索和分析。本文深入探讨了 Elasticsearch 集群的架构和特性,包括高可用性和负载均衡,以及主节点、数据节点、协调节点和 Ingest 节点的角色和功能。
80 0
|
2月前
|
监控 数据可视化
如何通过建模工具实现企业架构治理全流程管理
企业架构治理工具通过构建统一的架构语言、可视化建模、流程管理、资源整合和多场景分析,实现企业架构的全生命周期管理。该工具赋能企业数字化转型,确保业务、平台、数据及技术相互耦合闭环,提供从规划到决策的一站式服务,助力提升业务运营、优化组织管理和加速数字化建设。
56 2
如何通过建模工具实现企业架构治理全流程管理
|
2月前
|
监控 数据可视化 架构师
为什么企业需要开展架构治理?
随着数字化转型加速,企业面临的技术和业务环境日益复杂,传统架构难以应对快速变化的需求。企业架构治理成为数字化转型的关键,通过确保技术与战略对接、优化资源利用、降低风险和复杂性,提升企业灵活性、效率和创新能力,支持快速响应市场变化,推动数字化转型成功。
163 7
为什么企业需要开展架构治理?
|
2月前
|
弹性计算 负载均衡 安全
企业业务上云经典架构方案整体介绍
本次课程由阿里云产品经理晋侨分享,主题为企业业务上云经典架构。内容涵盖用户业务架构现状及挑战、阿里云业务托管经典架构设计、方案涉及的产品选型配置,以及业务初期如何低门槛使用。课程详细介绍了企业业务上云的全流程,帮助用户实现高可用、稳定、可扩展的云架构。
|
2月前
|
机器学习/深度学习 人工智能 运维
智能化运维:AI与大数据在IT运维中的应用探索####
本文旨在探讨人工智能(AI)与大数据分析技术如何革新传统IT运维模式,提升运维效率与服务质量。通过具体案例分析,揭示AI算法在故障预测、异常检测及自动化修复等方面的实际应用成效,同时阐述大数据如何助力实现精准运维管理,降低运营成本,提升用户体验。文章还将简要讨论实施智能化运维面临的挑战与未来发展趋势,为IT管理者提供决策参考。 ####

热门文章

最新文章