《企业大数据系统构建实战:技术、架构、实施与应用》——导读

简介:


image

前  言

为什么要写这本书

随着2013年大数据元年的开启,各行各业都已经将大数据视为推动企业发展、推进行业进步、加快产业升级、促进民生繁荣、巩固社会安全甚至提升国家竞争力的核心武器。从个性化推荐、关联销售到精准营销,从云平台、云服务、云计算到大数据产业链,从百度迁徙、高考预测到冬季流感预测,从机器学习、图像识别到智能交通,从奥巴马总统竞选到美国中央情报局反恐,从美国的大数据研究和发展计划到中国的促进大数据发展行动纲要等一系列事实说明了大数据正受到来自政治、经济、社会、文化、军事等各个领域的广泛关注,并越来越彰显其巨大价值。

大数据不仅是一个技术名词,更是当下企业资产、核心竞争力、完整产业链和先进生产力的代名词。因此,大数据应该是作为一个整合概念和体系被认知,而非独立的方法论、技术论甚至应用论。处于飞速变革时代的中国,在大数据产业链各个环节的企事业单位受限于自身产业属性、盈利模式、利益趋向、认知、能力等,无法完整地展示出大数据的知识图谱与价值图谱。
纵观当下整个大数据认知取向,大致有三类基本认知点:

第一类是大数据知识论,这种认知以大数据方法、理论、知识的研究和推导为聚焦点,通过深度学习,归纳、总结出大数据知识体系。这是典型的学院派,优势是对基础理论研究非常透彻并且具备深厚的理论基础,不足之处是缺乏对产业、学术、应用的结合,更缺少真正能落地的应用案例。

第二类是大数据技术论,这种认知以大数据技术为聚焦点,落脚于大数据的硬件、服务、架构、开发、计算、算法等具体实施层面。诚然,大数据技术是大数据实施的核心,也是带来技术变革和生产力突破的关键,但只有技术而缺乏正确的方向以及有价值的应用引导,技术便无法发挥作用,更无法转化为经济价值、社会价值和政治价值。

第三类是大数据应用论,这种认知以大数据的场景化为聚焦点,通过对历史、现在、未来的变革、创新和实践的总结和构想,营造出大数据的丰富应用场景和能力空间。这是一种典型的以应用为驱动的认知理论,通过落地案例驱动技术来表现大数据的巨大价值。但这种应用论过于专注场景化包装,更强调落地而忽视技术的巨大潜力和推动作用,更无法体现出大数据作为企业资产、技术竞争力等非直接利润表现的价值因素。

本书的几位联合作者彼此是共事多年的朋友,各自负责大数据工作中的不同环节。大家的工作和知识有交集更有互补,因此,我们认为只有依靠这种“知识合并”和“知识互补”的关系才能够呈现出大数据的全貌,这也是撰写本书的出发点之一。

当前,市场上有非常多关于大数据的书籍,但能从整体性、全局性、安全性、价值性、技术性、体系性等方面完整考虑的书非常少。我们希望通过本书让读者认识到大数据不仅仅是数据、技术、架构、应用,更是结合了商业模式、战略定位、信息安全、单位协同、组织保障、实施选型的完整体系。
几位联合作者对于本书内容的贡献如下:吕兆星撰写了技术的架构部分,包括第4章、第5章、第6章;郑传峰撰写了战略和应用的部分,包括第1章、第2章、第9章;宋天龙撰写了数据和价值评估的部分,包括第3章、第8章、第10章、第11章、第12章、第13章;杨晓鹏撰写了技术开发的部分中第7章的全部内容。

目  录

[第1章 企业大数据战略定位
1.1 宏观 ](https://yq.aliyun.com/articles/120406/)
1.2 微观
1.2.1 资源协同
1.2.2 战略定位
1.2.3 启动契机
1.2.4 大数据历程
1.3 本章小结
[第2章 企业大数据职能规划
2.1 大数据组织架构体系 ](https://yq.aliyun.com/articles/120451/)
2.1.1 大数据部门在企业中的角色
2.1.2 常见的大数据职能及职责
2.2 大数据职位构建体系
2.2.1 基础平台类
2.2.2 数据管理类
2.2.3 技术研发类
2.2.4 产品设计类
2.2.5 数据挖掘类
2.2.6 数据分析类
2.3 大数据制度和流程规范
2.3.1 制度和流程规范意义
2.3.2 制度和流程规范内容
2.3.3 制度和流程规范模板
2.4 本章小结
[第3章 企业大数据解决方案
3.1 企业大数据解决方案实现方式 ](https://yq.aliyun.com/articles/120490/)
3.1.1 独立研发
3.1.2 第三方解决方案
3.1.3 联合开发
3.2 如何选择解决方案
3.2.1 外部环境分析
3.2.2 内部环境分析
3.2.3 需求规划分析
3.2.4 解决方案特性分析
3.2.5 解决方案费用评估
3.3 本章小结

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
存储 缓存 安全
某鱼电商接口架构深度剖析:从稳定性到高性能的技术密码
某鱼电商接口架构揭秘:分层解耦、安全加固、性能优化三维设计,实现200ms内响应、故障率低于0.1%。详解三层架构、多引擎存储、异步发布、WebSocket通信与全链路防护,助力开发者突破电商接口“三难”困境。
|
存储 人工智能 大数据
云栖2025|阿里云开源大数据发布新一代“湖流一体”数智平台及全栈技术升级
阿里云在云栖大会发布“湖流一体”数智平台,推出DLF-3.0全模态湖仓、实时计算Flink版升级及EMR系列新品,融合实时化、多模态、智能化技术,打造AI时代高效开放的数据底座,赋能企业数字化转型。
3352 0
|
数据采集 监控 JavaScript
移动端性能监控探索:鸿蒙 NEXT 探针架构与技术实现
阿里云 ARMS 团队倾力打造的鸿蒙 NEXT SDK,为鸿蒙应用提供了业界领先的全链路监控解决方案。这不仅仅是一个 SDK,更是您洞察用户体验、优化应用性能的智能伙伴。
1193 89
|
人工智能 监控 测试技术
告别只会写提示词:构建生产级LLM系统的完整架构图​
本文系统梳理了从提示词到生产级LLM产品的八大核心能力:提示词工程、上下文工程、微调、RAG、智能体开发、部署、优化与可观测性,助你构建可落地、可迭代的AI产品体系。
1508 52
|
Cloud Native Serverless API
微服务架构实战指南:从单体应用到云原生的蜕变之路
🌟蒋星熠Jaxonic,代码为舟的星际旅人。深耕微服务架构,擅以DDD拆分服务、构建高可用通信与治理体系。分享从单体到云原生的实战经验,探索技术演进的无限可能。
1178 4
微服务架构实战指南:从单体应用到云原生的蜕变之路
|
机器学习/深度学习 人工智能 搜索推荐
从零构建短视频推荐系统:双塔算法架构解析与代码实现
短视频推荐看似“读心”,实则依赖双塔推荐系统:用户塔与物品塔分别将行为与内容编码为向量,通过相似度匹配实现精准推送。本文解析其架构原理、技术实现与工程挑战,揭秘抖音等平台如何用AI抓住你的注意力。
3139 7
从零构建短视频推荐系统:双塔算法架构解析与代码实现
|
人工智能 自然语言处理 安全
AI助教系统:基于大模型与智能体架构的新一代教育技术引擎
AI助教系统融合大语言模型、教育知识图谱、多模态交互与智能体架构,实现精准学情诊断、个性化辅导与主动教学。支持图文语音输入,本地化部署保障隐私,重构“教、学、评、辅”全链路,推动因材施教落地,助力教育数字化转型。(238字)
2027 23
|
监控 Cloud Native Java
Spring Boot 3.x 微服务架构实战指南
🌟蒋星熠Jaxonic,技术宇宙中的星际旅人。深耕Spring Boot 3.x与微服务架构,探索云原生、性能优化与高可用系统设计。以代码为笔,在二进制星河中谱写极客诗篇。关注我,共赴技术星辰大海!(238字)
1666 2
Spring Boot 3.x 微服务架构实战指南
|
消息中间件 数据采集 NoSQL
秒级行情推送系统实战:从触发、采集到入库的端到端架构
本文设计了一套秒级实时行情推送系统,涵盖触发、采集、缓冲、入库与推送五层架构,结合动态代理IP、Kafka/Redis缓冲及WebSocket推送,实现金融数据低延迟、高并发处理,适用于股票、数字货币等实时行情场景。
1921 3
秒级行情推送系统实战:从触发、采集到入库的端到端架构

热门文章

最新文章