分布式计算

首页 标签 分布式计算
# 分布式计算 #
关注
38076内容
【赵渝强老师】Hadoop HDFS的回收站和快照
本文详解HDFS两大核心高级功能:回收站(支持文件误删恢复,需配置fs.trash.interval启用)与快照(目录级时间点镜像,用于备份、测试及灾难恢复)。涵盖配置方法、操作命令及典型应用场景。
EMR Serverless Daft 如何简化多模态数据处理:视频抽帧、清洗、标注全流程与具身智能实践
阿里云 EMR Serverless Spark 引入 Ray 分布式计算框架与 Daft 高性能数据引擎,为用户提供了一套开箱即用、免运维且极致高效的多模态数据处理基础设施。
|
19天前
| |
来自: 计算巢
阿里云账号:计算型/通用型/内存型价格与场景区别
本文深度解析阿里云ECS三大主力实例:计算型(1:2)、通用型(1:4)、内存型(1:8)的硬件配比、适用场景与性价比逻辑。通过真实业务案例、价格测算与三步决策法,助企业告别“乱选配置”,精准匹配CPU与内存需求,避免资源浪费,实现降本增效。
|
19天前
| |
阿里云 EMR Serverless Spark 全托管 Ray 再进化:加速构建全模态数据处理新基建
阿里云 EMR Serverless Spark + Ray 双引擎构建全模态数据处理的新基建,通过极致内核优化和统一数据、算力底座,彻底打通了大数据工程与 AI 模型训练的割裂。结合 RayData、Daft、Data-Juicer 等多模态引擎,以及 CPFS、OSS 等高性能存储生态,阿里云正在为全球的 AI 开发者提供一套最具竞争力的数据新基建。
阿里云智能决策平台对接使用完全指南:从架构解析到生产级集成实战
本文系统性地阐述了阿里云智能决策平台的完整对接与使用流程。首先剖析了平台的总体架构与核心决策引擎,指出该平台并非单一产品,而是整合了DataWorks、Quick BI、PAI、决策引擎、百炼大模型等多个核心产品的全链路决策智能体系。随后分模块详解了DataWorks数据开发治理平台的工作空间创建、数据源配置与数据集成JSON脚本示例;Quick BI智能数据分析与可视化工具的报表嵌入与OpenAPI自动化管理;PAI人工智能平台的模型训练、部署与EAS在线服务调用;决策引擎风险决策平台的事件接入、策略配置与API调用;以及百炼大模型平台的数据源对接、模型训练与智能体应用开发。文章提供了完整的
阿里云MaxCompute海量数据离线分析完全指南:从架构原理到性能调优
本文系统性地剖析了阿里云MaxCompute作为企业级EB级数据仓库解决方案在海量数据离线分析场景中的完整技术体系。文章从MaxCompute的Serverless架构与存算分离设计理念切入,深入解析了Pangu分布式文件系统、AliORC列式存储、伏羲调度框架等核心组件的工作原理。在开发实践层面,详细讲解了DDL/DML/DQL操作、分区表设计、MapReduce编程、UDF自定义函数开发以及PyODPS数据科学计算等关键技术。针对数据同步场景,阐述了DataWorks数据集成中离线同步的策略选择与分区优化方案。在性能调优方面,重点介绍了小表广播、动态分区裁剪、Hash Clustering
阿里云大数据 AI 产品月刊-2026年6月
阿里云大数据& AI 产品技术月刊【2026 年 6 月】,涵盖 6 月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
20天前
|
AI Slop 图鉴来了,TypeScript 7 快了 10 倍,MiniMax 市值蒸发近 四分之三
本期「周一上线」聚焦AI圈新鲜事:社区创意频出——AI slop图鉴、反AI字体Ghost Font、桌面AI小电视;大厂密集发版——GPT-Live语音模型、Grok 4.5、SWE-1.7、Muse Spark 1.1、TypeScript 7;开源新锐涌现,涵盖多Agent工作站、安全技能路由、3D建模插件等。
|
21天前
|
GPT-5.6 Sol & Subagent 不但聪明,更会分工
不需要什么都用 Sol Ultra,SugAgents 帮你按需调用最合适的模型,省钱又省心!!!
阿里云EMR大数据集群网站运营数据统计完全实战指南
本文全面讲解如何利用阿里云EMR大数据集群搭建企业级网站运营数据统计分析平台。文章从EMR的三种产品形态入手,详细阐述集群创建前的账号授权与网络规划、控制台创建集群的关键配置项、多种数据源(OSS、RDS等)的对接方式、Spark SQL与Hive任务的开发示例、RAM权限管理体系、集群监控告警配置,以及计算与存储分离架构下的成本优化最佳实践。通过完整的用户画像分析案例,展示从数据同步、数据加工到数据消费的全流程,帮助读者快速掌握使用EMR进行网站运营数据统计的核心技能。全文包含完整的代码示例和配置参数说明,适合大数据开发工程师、数据架构师及运维人员阅读。
免费试用