大数据时代的引擎：大数据架构随记
大数据架构通常分为四层：数据采集层、数据存储层、数据计算层和数据应用层。数据采集层负责从各种源采集、清洗和转换数据，常用技术包括Flume、Sqoop和Logstash+Filebeat。数据存储层管理数据的持久性和组织，常用技术有Hadoop HDFS、HBase和Elasticsearch。数据计算层处理大规模数据集，支持离线和在线计算，如Spark SQL、Flink等。数据应用层将结果可视化或提供给第三方应用，常用工具为Tableau、Zeppelin和Superset。
EMR Serverless Spark PB级文本语义去重4倍加速的技术方案解读
针对大模型语料清洗中文本去重面临的性能瓶颈，某企业迁移至阿里云emr serverless spark后实现突破。新方案通过minhash-lsh内置函数将算法下沉引擎层，减少40%代码量；结合fusion engine向量化加速与shuffle优化，消除python udf跨进程开销并解决数据倾斜问题。实测去重性能提升4倍，任务耗时从天级降至小时级，且实现零shuffle失败与免运维。该实践验证了serverless架构在pb级数据预处理中的高效性与稳定性，显著加速模型迭代并降低计算成本。
