# 云原生大数据计算服务 MaxCompute #
0
关注
38137内容
大数据的隐私与安全：你的一举一动，都在“裸奔”？
大数据的隐私与安全：你的一举一动，都在“裸奔”？
【技术产品】DS三剑客：DeepSeek、DataSophon、DolphineSchduler浅析
在大数据与云原生技术快速发展的时代，开源技术成为推动行业进步的重要力量。本文深入探讨了三个备受瞩目的开源产品组件：DeepSeek、DataSophon 和 DolphinScheduler。DeepSeek 是专注于自然语言处理的大语言模型，具备多模态交互和高效推理功能；DataSophon 是大数据云原生平台的智能管家，提供快速部署和智能化运维；DolphinScheduler 则是分布式任务调度系统，支持复杂工作流的编排与执行。三者分别在大语言模型、大数据管理和任务调度领域展现了强大的技术实力，并通过技术互补共同推动AI与大数据技术的深度融合。
静态代理IP对网站性能的影响分析
在信息化时代，网络不可或缺。静态代理IP通过增强网络稳定性、确保连接可靠性和提高用户工作效率，显著提升网站访问速度和性能。91HTTP作为高质量代理IP服务商，提供更快的代理连接速度，助力用户高效获取信息。
从 ClickHouse 到 Apache Doris：在网易云音乐日增万亿日志数据场景下的落地
日志数据已成为企业洞察系统状态、监控网络安全及分析业务动态的宝贵资源。网易云音乐引入 Apache Doris 作为日志库新方案，替换了 ClickHouse。解决了 ClickHouse 运维复杂、不支持倒排索引的问题。目前已经稳定运行 3 个季度，规模达到 50 台服务器， 倒排索引将全文检索性能提升7倍，2PB 数据，每天新增日志量超过万亿条，峰值写入吞吐 6GB/s 。
【赵渝强老师】Spark的容错机制：检查点
Spark通过Checkpoint机制将RDD状态持久化到磁盘，以支持容错。当任务执行出错时，可以从检查点位置重新计算，减少开销。Checkpoint目录可设置为本地文件夹或HDFS。建议生产系统使用高可靠的文件系统保存检查点。文中详细介绍了在本地和HDFS上设置检查点目录的步骤，并附有代码示例和视频讲解。
湖仓分析｜浙江霖梓基于 Doris + Paimon 打造实时/离线一体化湖仓架构
浙江霖梓早期基于 Apache Doris 进行整体架构与表结构的重构，并基于湖仓一体和查询加速展开深度探索与实践，打造了 Doris + Paimon 的实时/离线一体化湖仓架构，实现查询提速 30 倍、资源成本节省 67% 等显著成效。
为何长效代理静态IP是网络管理的关键要素
在信息化时代，静态长效IP代理对网络管理至关重要。它能提升网络服务质量，确保远程办公、视频会议等应用的稳定性和连续性；减少延迟和网络拥堵，加快数据传输；提高网络安全，便于设置访问权限，防止未授权访问。91HTTP高质量代理IP服务商助力高效信息获取。
Flink+Paimon+Hologres，面向未来的一体化实时湖仓平台架构设计
本文介绍了阿里云实时数仓Hologres负责人姜伟华在Flink Forward Asia 2024上的分享，涵盖实时数仓的发展历程、从实时数仓到实时湖仓的演进，以及总结。文章通过三代实时数仓架构的演变，详细解析了Lambda架构、Kafka实时数仓分层+OLAP、Hologres实时数仓分层复用等方案，并探讨了未来从实时数仓到实时湖仓的演进方向。最后，结合实际案例和Demo展示了Hologres + Flink + Paimon在实时湖仓中的应用，帮助用户根据业务需求选择合适的方案。
守护城市地基·共筑安全梦
城市化进程加速带来便捷的同时，也隐藏着地质安全风险。为应对这一挑战，2024年自然资源部等四部门联合发布《关于加强城市地质安全风险防控的通知》，旨在通过建立城市地质大数据共享平台，实现风险识别、监测预警、数据分析、决策支持和应急响应一体化。平台整合多源数据，构建“城市地质安全一张图”，提升城市规划与管理的科学性，确保城市发展与安全并进。目前，该平台已应用于多个城市的基础设施建设、环境保护及应急响应，显著提升了城市治理能力和安全水平。
开启矿山新时代：数字孪生矿山系统引领未来
数字孪生矿山利用大数据、AI、实景三维等技术，构建矿山的虚拟映像，实现矿山规划、建设和管理的智能化转型。通过高效集成多源数据，精准复刻矿山全貌，提供实时监控、智能预测和优化决策，提升矿山安全性和经济效益，推动绿色矿业发展。该系统打破信息壁垒，促进协同创新，助力矿山行业迈向智能、绿色、可持续的未来。
免费试用