Hadoop端口一览表
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50505599
Hado...
最火热的分布式流式处理引擎-Flink入门介绍
Flink是目前流行的分布式流式处理引擎，是Apache的顶级项目。Flink支持高吞吐、低延迟、高性能、Exactly-Once语义等特性，同时其基于"批是特殊的流"的理念，既实现了流式处理计算，又实现了批处理计算，达到了真正意义上的批流统一。
手把手教你搞定大数据上云：数据迁移的全流程解析
本文深入探讨了企业数据迁移的核心价值与复杂挑战，重点分析了离线大数据平台在物理传输、系统耦合与数据校验三方面的难题。文章系统阐述了存储格式、表格式、计算引擎等关键技术原理，并结合LHM等工具介绍了自动化迁移的实践演进，展望了未来智能化、闭环化的数据流动方向。
机器学习分布式框架Ray
Ray是UC Berkeley RISELab推出的一个高性能分布式执行框架，它比Spark更具计算优势，部署简单，支持机器学习和深度学习的分布式训练。Ray包括节点（head和worker）、本地调度器、object store、全局调度器（GCS），用于处理各种分布式计算任务。它支持超参数调优（Ray Tune）、梯度下降（Ray SGD）、推理服务（Ray SERVE）等。安装简单，可通过`pip install ray`。使用时，利用`@ray.remote`装饰器将函数转换为分布式任务，通过`.remote`提交并用`ray.get`获取结果。5月更文挑战第15天
终于有人把数据倾斜讲清楚了
本文深入剖析大数据处理中的“数据倾斜”问题，从现象到本质，结合真实踩坑经历，讲解数据倾斜的成因、典型场景及四步精准定位方法，帮助开发者从根本上理解和解决这一常见难题。
