Fluss on 鲲鹏 openEuler 大数据实战
本文介绍了基于华为鲲鹏ARM架构服务器与openEuler操作系统,构建包含HDFS、ZooKeeper、Flink、Fluss及Paimon的实时大数据环境的完整实战过程。涵盖了软硬件配置、组件部署、集群规划、环境变量设置、安全认证及启停脚本编写等内容,适用于企业级实时数据平台搭建与运维场景。
我与ODPS的故事:从电子厂开发到数据智能的实践之旅
作为一名电子厂开发人员,我通过引入阿里云ODPS(现MaxCompute),构建了集MES、VMS、IoT于一体的智能数据分析平台。该平台实现了海量数据的整合、分析与可视化,提升了生产效率与良率,助力工厂实现数字化转型。
ODPS的初识和共生
本文回顾了作者从2018年至今使用ODPS(现MaxCompute)的成长历程,涵盖初识大数据、架构优化、智能探索与技术传承四个阶段,展现了个人与平台共同进化的技术之路。
与ODPS共处的日子
本文分享了作者在使用ODPS(开放数据处理服务)进行大数据分析过程中的真实经验与思考。从最初面对海量数据的无措,到借助ODPS实现高效、安全、智能的数据处理,作者结合具体业务场景,讲述了ODPS在效率提升、分析灵活性、安全保障等方面的强大能力,并展望其在未来AI、实时计算、多云融合等方向的发展潜力。
我把ODPS当朋友用,它却一直当我命根子
本文讲述了作者在数据处理工作中与 ODPS 从“无奈使用”到“深度依赖”的真实心路历程。面对业务压力、系统崩溃、任务延迟等现实问题,ODPS 以稳定、高效的性能成为作者最可靠的“搭档”。文章通过多个实战场景,展现了 ODPS 在日常数据处理中的实用价值,也道出了技术人对“稳定”与“结果”的执着追求。
ODPS 拯救我为数不多的头发
简介:
作者分享了作为数据分析师在双十一备战中的真实经历,从旧系统崩溃、数据混乱的痛苦,到引入ODPS后效率飞跃的转变。通过技术升级,不仅实现了实时数据分析,更让团队拥有了随时响应业务需求的能力,展现了数据工具如何真正服务于业务实战。
从数据困境到智能跃迁:我与ODPS的三年成长记
2022年深秋,我所在的电商公司因用户暴增陷入数据处理危机,传统Hive集群在双11期间彻底瘫痪。转机出现在引入阿里云ODPS后,任务效率大幅提升,团队重拾信心。随着深入使用,DataWorks的可视化编排、ODPS的高性能计算与安全能力,极大优化了数据治理效率。我也从“写代码的人”转变为“用数据说话的人”。2024年,我们基于ODPS构建优惠券模型,推动GMV提升5%。ODPS不仅是技术工具,更是智能协作伙伴,助力我从执行者成长为数据价值的定义者。
大数据之路:阿里巴巴大数据实践——离线数据开发
该平台提供一站式大数据开发与治理服务,涵盖数据存储计算、任务调度、质量监控及安全管控。基于MaxCompute实现海量数据处理,结合D2与DataWorks进行任务开发与运维,通过SQLSCAN与DQC保障代码质量与数据准确性。任务调度系统支持定时、周期、手动运行等多种模式,确保高效稳定的数据生产流程。