分布式计算

首页 标签 分布式计算
# 分布式计算 #
关注
37755内容
月之暗面Kimi大模型海量数据预处理实践
加速大模型的训练迭代,在模型数据预处理方面,需要高性价比、弹性灵活的 CPU 和 GPU 算力满足模型迭代的业务实践。
|
2天前
|
智能数据建设与治理 Dataphin 评测报告
本文详细记录了测试开发工程师“宏哥”对阿里巴巴云产品Dataphin的评测体验。Dataphin是一款基于OneData数据治理方法论的企业级数据中台工具,提供数据采集、建模、管理与应用的全生命周期能力。评测从开通试用、环境准备、项目创建到任务开发、周期补数据、即席分析及数据分析等多个环节展开。宏哥按照官方手册完成了数据处理全流程,但也指出了一些问题:如部分操作步骤不够清晰、新手友好数不足(例如SQL脚本编写难度)、以及业务流程逻辑需进一步优化。整体来看,Dataphin在数据同步、周期补数据和即席分析等方面表现出色,但用户体验和学习成本仍有提升空间。
【YashanDB知识库】使用DataX工具迁移yashan数据到maxcompute
本文介绍使用崖山适配的DataX工具进行数据库迁移的方法,包括单表迁移和批量表迁移。单表迁移需配置json文件并执行同步命令;批量迁移则通过脚本自动化生成json配置文件并完成数据迁移,最后提供数据比对功能验证迁移结果。具体步骤涵盖连接信息配置、表清单获取、json文件生成、数据迁移执行及日志记录,确保数据一致性。相关工具和脚本简化了复杂迁移过程,提升效率。
|
3天前
|
监理晨读第一天
本内容全面介绍了信息化的相关概念与技术,包括信息特征、信息化主体及时空域范围,以及实现手段和目标。重点阐述了新型基础设施的三大方面(信息、融合、创新基础设施)及其涵盖的七大领域,如5G、大数据中心、人工智能等。同时解析云计算、大数据、Hadoop框架、人工智能等关键技术的特点与分类,并探讨物联网、工业互联网及智慧城市建设的应用场景。此外,还提及数字政府建设的核心理念与实践路径,例如“一网通办”、“一网统管”和“一网协同”。最后提供了阿里云服务器免费试用的学习资源。
|
4天前
|
《分布式软总线:AI动态推理架构的智能“建造师”》
分布式软总线是一种具备自组织特性的关键技术,可灵活构建适应人工智能动态推理需求的分布式计算架构。它通过自主设备发现、灵活组网、动态资源调度及自我修复机制,实现高效协同计算。在智能交通、智慧医疗和工业智能制造等领域,分布式软总线优化了实时数据处理与任务分配,推动了AI技术与行业应用的深度融合,为社会发展带来变革性影响。其核心优势在于去中心化设计,能快速响应动态需求并保障系统稳定性,助力复杂推理任务高效完成。
|
4天前
|
信息系统监理-认真听课版-第一天
本内容探讨信息与信息化的核心概念,涵盖数据、信息、知识的层级关系(DIKW模型),信息特征及国家信息化战略。文中详细解析云计算、大数据、物联网、工业互联网、区块链等关键技术的特点、分类与应用场景,并展望新基建和数字产业的发展趋势,强调其对社会进步的支撑与引领作用。
vivo 湖仓架构的性能提升之旅
聚焦 vivo 大数据多维分析面临的挑战、StarRocks 落地方案及应用收益。 在 **即席分析** 场景,StarRocks 使用占比达 70%,查询速度提升 3 倍,P50 耗时从 63.77 秒缩短至 22.30 秒,查询成功率接近 98%。 在 **敏捷 BI** 领域,StarRocks 已完成 25% 切换,月均查询成功数超 25 万,P90 查询时长缩短至 5 秒,相比 Presto 提升 75%。 在 **研发工具平台** 方面,StarRocks 支持准实时数据查询,数据可见性缩短至 3 分钟,查询加速使 P95 延迟降至 400 毫秒,开发效率提升 30%。
|
4天前
|
Dataphin深度评测:企业级数据中台的智能实践利器
Dataphin是一款以全链路治理、智能提效和高兼容性为核心的企业级数据中台工具,特别适用于中大型企业的复杂数据场景。其流批一体能力、资源监控工具及行业化模板库可显著提升数据治理水平并降低运维成本。通过周期补数据功能,历史数据修复效率提升约60%;智能建模功能使建模时间缩短50%。尽管在数据源支持(如SAP HANA、DB2)和用户体验上仍有改进空间,但其强大的功能使其成为构建企业级数据中台的优选工具,尤其适合零售、金融等行业需要高效数据治理与实时分析的企业。
免费试用