分布式计算

首页 标签 分布式计算
# 分布式计算 #
关注
37751内容
|
18天前
| |
MaxCompute聚簇优化推荐功能发布,单日节省2PB Shuffle、7000+CU!
MaxCompute全新推出了聚簇优化推荐功能。该功能基于 31 天历史运行数据,每日自动输出全局最优 Hash Cluster Key,对于10 GB以上的大型Shuffle场景,这一功能将直接带来显著的成本优化。
|
18天前
|
ODPS在AI时代的发展战略与技术演进分析报告
ODPS(现MaxCompute)历经十五年发展,从分布式计算平台演进为AI时代的数据基础设施,以超大规模处理、多模态融合与Data+AI协同为核心竞争力,支撑大模型训练与实时分析等前沿场景,助力企业实现数据驱动与智能化转型。
|
19天前
|
【交替方向乘子法】梯度下降法与交替方向乘子法(ADMM)求解LASSO问题研究(Matlab代码实现)
【交替方向乘子法】梯度下降法与交替方向乘子法(ADMM)求解LASSO问题研究(Matlab代码实现)
|
20天前
|
Java初级学习路线
本文为Java初学者提供了一条清晰、系统的学习路线,从环境搭建到实战练习,涵盖了Java基础语法、面向对象编程、常用API、异常处理及项目实践,助你从零开始掌握Java编程,打下坚实基础。
数据不用搬,AI直接炼!阿里云AnalyticDB AI数据湖仓一站式融合AI+BI
阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL版(以下简称ADB)诞生于高性能实时数仓时代,实现了PB级结构化数据的高效处理和分析。在前几年,为拥抱大数据的浪潮,ADB从传统数仓拓展到数据湖仓,支持Paimon/Iceberg/Delta Lake/Hudi湖格式,为开放的数据湖提供数据库级别的性能、可靠性和管理能力,从而更好地服务以SQL为核心的大规模数据处理和BI分析,奠定了坚实的湖仓一体基础。
【赵渝强老师】Hadoop HDFS的快照
Hadoop HDFS快照是文件系统或目录在某一时刻的镜像,提供备份机制,适用于防止错误操作、备份数据、测试环境搭建及灾难恢复等场景。通过管理员命令可开启目录快照功能,并使用操作命令创建、删除、重命名快照。文章演示了具体操作步骤,包括创建两个快照并进行对比,展示了如何通过命令行和Web Console查看快照信息。
|
23天前
|
zookeeper
ZooKeeper 是专为分布式系统设计的协调服务,提供一致性、可靠性与有序性支持,常用于服务注册、配置管理、分布式锁等场景。其核心基于 ZAB 协议保障数据同步与集群一致性,采用树形结构存储数据,并通过 Watcher 机制实现事件通知。架构上包含 Leader、Follower 和 Observer 三种角色,兼顾写一致性与读扩展性,是分布式系统的重要基础组件。
从数据工程师到AI工程师,我的阿里云ODPS应用实践
阿里云DataWorks提供完善的智能计算与多模态数据处理能力,通过Object Table与MaxFrame实现非结构化数据高效治理,结合OSS与AI模型,助力电商、媒体等行业实现数据驱动的智能化升级。
|
23天前
| |
来自: 数据库
阿里云ODPS 使用实践的深度总结
本内容深入解析ODPS在大数据实践中的核心价值与挑战,涵盖分布式架构、流批一体、成本控制等关键技术,结合制造业、营销等场景案例,展示从数据治理到智能决策的跃迁路径,并展望未来边缘协同、AI平民化等前沿方向。
免费试用