EMR Serverless Spark PB级文本语义去重4倍加速的技术方案解读
针对大模型语料清洗中文本去重面临的性能瓶颈，某企业迁移至阿里云emr serverless spark后实现突破。新方案通过minhash-lsh内置函数将算法下沉引擎层，减少40%代码量；结合fusion engine向量化加速与shuffle优化，消除python udf跨进程开销并解决数据倾斜问题。实测去重性能提升4倍，任务耗时从天级降至小时级，且实现零shuffle失败与免运维。该实践验证了serverless架构在pb级数据预处理中的高效性与稳定性，显著加速模型迭代并降低计算成本。
Spark 选 join 策略靠的是估算值，估错了它只会悄悄降级。
Spark Join算法选择完全由统计信息驱动，但估算偏差常致计划“选错路”：小表估大则弃广播，大表估小则误用ShuffleHash，非等值或collation字段直接降级笛卡尔积。AQE可动态修正，但未shuffle的扫描仍依赖静态估算。调优需结合EXPLAIN、UI指标与WARN日志，而非盲目改配置。
《Kafka Stream》调研：一种轻量级流计算模式
流计算，已经有Storm、Spark，Samza，包括最近新起的Flink，Kafka为什么再自己做一套流计算呢？Kafka Stream 与这些框架比有什么优势？Samza、Consumer Group已经包装了Kafka轻量级的消费功能，难道不够吗？
花了一些时间阅读[docs](http
Windows下单机安装Spark开发环境
转自：https://www.cnblogs.com/eczhou/p/5216918.html
转自：http://blog.csdn.net/u011513853/article/details/52865076
Windows下单机安装Spark开发环境
机器：windows 10 64位。
