# 开源大数据平台 E-MapReduce #
0
关注
1606内容
【云栖2023】李钰：阿里云 E-MapReduce 全面开启 Serverless 时代
本文根据 2023 云栖大会，阿里云资深技术专家、阿里云开源大数据平台EMR负责人李钰演讲实录整理而成。
1688API接口推荐：1688口令转换真实链接接口
1688平台的item_password接口用于将淘口令短链接转为商品链接。开发者需注册获取API key和secret，通过POST或GET请求接口，输入淘口令代码和参数，返回结果包含商品ID和详细链接。商品详情可进一步通过商品详情接口获取。注意遵守1688平台的规定和条款，确保合法使用API。
阿里云 EMR Serverless StarRocks OLAP 数据分析场景解析
阿里云 E-MapReduce Serverless StarRocks 版是阿里云提供的 Serverless StarRocks 全托管服务，提供高性能、全场景、极速统一的数据分析体验，具备开箱即用、弹性扩展、监控管理、慢 SQL 诊断分析等全生命周期能力。内核 100% 兼容 StarRocks，性能比传统 OLAP 引擎提升 3-5 倍，助力企业高效构建大数据应用。本篇文章对阿里云EMR Serverless StarRocks OLAP 数据分析场景进行解析、存算分离架构升级以及 Trino 兼容，无缝替换介绍。
基于Spark Streaming 进行 MySQL Binlog 日志准实时传输
基本架构
RDS -> SLS -> Spark Streaming -> Spark HDFS
上述链路主要包含3个过程：
如何把 RDS 的 binlog 收集到 SLS。
如何通过 Spark Streaming 将 SLS 中的日志读取出来，进行分析。
Kerberos使用OpenLDAP作为backend
本文介绍Kerberos对接OpenLDAP, 使用OpenLDAP作为principal数据库
Hive性能优化（全面）
Hadoop的计算框架特性下的HIve有效的优化手段
浅析Hive/Spark SQL读文件时的输入任务划分
本文最后留个思考题给读者们：如何设置参数彻底关闭Spark SQL data source表的文件合并？
积极回答问题即可获得社区礼物。
直播 | Delta Lake 如何帮助云用户解决数据实时入库问题
6月14日，大数据+AI Meetup 在线直播！Apache Flink Committer，阿里巴巴技术专家辛庸将现场分享《Delta Lake 如何帮助云用户解决数据实时入库问题》，还有快手春晚项目的独家实践、网易云音乐 Flink + Kafka 的生产落地等。
Apache Spark™ 3.0中全新的Structured Streaming UI
Spark 3.0中新的Structured Streaming UI会提供一些有用的信息和统计数据，以此来监视所有流作业，便于在开发调试过程中排除故障。同时，开发者还能够获得实时的监测数据，这能使生产流程更直观。
免费试用