上一篇提到机器与机器之间交流，这里解释一下意思，其实说的是机器与机器间像人一样交流，但交流的密度更甚于人与人之间，甚至于远远超过人，因为它突破了很多人的限制。首先最重要突破的限制是交流的频率和交流的网络，交流的频率就是人与人交流一条消息的平均时间和机器与机器交流的时间的对比。交流的网络，正因为交流频次的不是一个数量级，那交流的网络就更不是一个数量级，一个人能够交流的最大上限是多少，那一台机器呢？那么问题就能引出来了，数据量的增长，数据关系的复杂度和现在的现状相比，肯定不是一个数量级。
那接着上一篇，怎么去存储，整合并分析，还是说需要再设计一个自动整合并分析的机器，然后供我们去参考，值得去思考！
（该文章未完，让思路飞一会儿）
大数据数据分析架构探究（二）
2019-04-19
1280
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
上一篇提到机器与机器之间交流，这里解释一下意思，其实说的是机器与机器间像人一样交流，但交流的密度更甚于人与人之间，甚至于远远超过人，因为它突破了很多人的限制。首先最重要突破的限制是交流的频率和交流的网络，交流的频率就是人与人交流一条消息的平均时间和机器与机器交流的时间的对比。
相关实践学习
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品，是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法，从场景到实践，体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库，助力开发者学习了解先进的技术栈，并能在实际业务中敏捷的进行大数据分析，赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景，可应用MaxCompute实现数仓搭建，快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理，需要搭建数据仓库？学它！ 没有足够人员和经验来运维大数据平台，不想自建IDC买机器，需要免运维的大数据平台？会SQL就等于会大数据？学它！ 想知道大数据用得对不对，想用更少的钱得到持续演进的数仓能力？获得极致弹性的计算资源和更好的性能，以及持续保护数据安全的生产环境？学它！ 想要获得灵活的分析能力，快速洞察数据规律特征？想要兼得数据湖的灵活性与数据仓库的成长性？学它！ 出品人：阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps
目录
相关文章
|
27天前
|
SQL
存储
分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台，支持海量数据的存储与计算，适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面，确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序，用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
81
1
1
|
2天前
|
SQL
数据采集
分布式计算
【赵渝强老师】基于大数据组件的平台架构
本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层：数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中，大数据平台层为核心，负责数据的存储和计算，支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型，应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。
24
3
3
|
1天前
|
大数据
【赵渝强老师】大数据主从架构的单点故障
大数据体系架构中，核心组件采用主从架构，存在单点故障问题。为提高系统可用性，需实现高可用（HA）架构，通常借助ZooKeeper来实现。ZooKeeper提供配置维护、分布式同步等功能，确保集群稳定运行。下图展示了基于ZooKeeper的HDFS HA架构。
12
0
0
|
1天前
|
并行计算
数据挖掘
大数据
|
27天前
|
存储
SQL
分布式计算
|
30天前
|
存储
SQL
缓存
Apache Doris 3.0 里程碑版本｜存算分离架构升级、湖仓一体再进化
从 3.0 系列版本开始，Apache Doris 开始支持存算分离模式，用户可以在集群部署时选择采用存算一体模式或存算分离模式。基于云原生存算分离的架构，用户可以通过多计算集群实现查询负载间的物理隔离以及读写负载隔离，并借助对象存储或 HDFS 等低成本的共享存储系统来大幅降低存储成本。
128
0
0
|
9天前
|
弹性计算
Kubernetes
Cloud Native
云原生架构下的微服务设计原则与实践####
本文深入探讨了在云原生环境中，微服务架构的设计原则、关键技术及实践案例。通过剖析传统单体架构面临的挑战，引出微服务作为解决方案的优势，并详细阐述了微服务设计的几大核心原则：单一职责、独立部署、弹性伸缩和服务自治。文章还介绍了容器化技术、Kubernetes等云原生工具如何助力微服务的高效实施，并通过一个实际项目案例，展示了从服务拆分到持续集成/持续部署（CI/CD）流程的完整实现路径，为读者提供了宝贵的实践经验和启发。
####
32
1
1
|
6天前
|
监控
安全
应用服务中间件
微服务架构下的API网关设计策略与实践####
本文深入探讨了在微服务架构下，API网关作为系统统一入口点的设计策略、实现细节及其在实际应用中的最佳实践。不同于传统的摘要概述，本部分将直接以一段精简的代码示例作为引子，展示一个基于NGINX的简单API网关配置片段，随后引出文章的核心内容，旨在通过具体实例激发读者兴趣，快速理解API网关在微服务架构中的关键作用及实现方式。
```nginx
server {
listen 80;
server_name api.example.com;
location / {
proxy_pass http://backend_service:5000;
24
3
3
|
7天前
|
缓存
监控
API
探索微服务架构中的API网关模式
随着微服务架构的兴起，API网关成为管理和服务间交互的关键组件。本文通过在线零售公司的案例，探讨了API网关在路由管理、认证授权、限流缓存、日志监控和协议转换等方面的优势，并详细介绍了使用Kong实现API网关的具体步骤。
25
3
3
|
9天前
|
运维
NoSQL
Java
后端架构演进：微服务架构的优缺点与实战案例分析
【10月更文挑战第28天】本文探讨了微服务架构与单体架构的优缺点，并通过实战案例分析了微服务架构在实际应用中的表现。微服务架构具有高内聚、低耦合、独立部署等优势，但也面临分布式系统的复杂性和较高的运维成本。通过某电商平台的实际案例，展示了微服务架构在提升系统性能和团队协作效率方面的显著效果，同时也指出了其带来的挑战。
44
4
4