AI 助理
文档备案控制台

Spark

首页 标签 Spark
# Spark #
关注
9123内容
最新 热门 文章 问答 课程
扬流
|
博文
|
来自： 大数据与机器学习
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
本文以 ECS 连接 EMR Serverless Spark 为例，介绍如何通过 EMR Serverless spark-submit 命令行工具进行 Spark 任务开发。
# 函数计算 # 对象存储 # 开源大数据平台 E-MapReduce # 分布式计算 # Java # Serverless # 对象存储 # Spark
扬流
|
博文
|
来自： 大数据与机器学习
阿里云 EMR Serverless Spark 版正式开启商业化
阿里云 EMR Serverless Spark 版正式开启商业化，内置 Fusion Engine，100% 兼容开源 Spark 编程接口，相比于开源 Spark 性能提升300%；提供 Notebook 及 SQL 开发、调试、发布、调度、监控诊断等一站式数据开发体验！
# 云原生数据仓库AnalyticDB MySQL版 # 函数计算 # 云原生大数据计算服务 MaxCompute # 开源大数据平台 E-MapReduce # SQL # 分布式计算 # Serverless # 调度 # Spark
阿里云大数据
|
10月前
|
博文
|
来自： 大数据与机器学习
鹰角网络：EMR Serverless Spark 在《明日方舟》游戏业务的应用
鹰角网络为应对游戏业务高频活动带来的数据潮汐、资源弹性及稳定性需求，采用阿里云 EMR Serverless Spark 替代原有架构。迁移后实现研发效率提升，支持业务快速发展、计算效率提升，增强SLA保障，稳定性提升，降低运维成本，并支撑全球化数据架构部署。
# 函数计算 # 开源大数据平台 E-MapReduce # SQL # 分布式计算 # Serverless # 调度 # Spark
探索云世界
|
8月前
|
博文
Fusion 引擎赋能：流利说如何用阿里云 Serverless Spark 实现数仓计算加速
本文介绍了流利说与阿里云合作，利用EMR Serverless Spark优化数据处理的全过程。流利说是科技驱动的教育公司，通过AI技术提升用户英语水平。原有架构存在资源管理、成本和性能等痛点，采用EMR Serverless Spark后，实现弹性资源管理、按需计费及性能优化。方案涵盖数据采集、存储、计算到查询的完整能力，支持多种接入方式与高效调度。迁移后任务耗时减少40%，失败率降低80%，成本下降30%。未来将深化合作，探索更多行业解决方案。
# 云原生数据仓库AnalyticDB MySQL版 # 函数计算 # 分布式计算 # 运维 # 监控 # Serverless # Spark
开源大数据EMR
|
博文
|
来自： 大数据与机器学习
SparkSQL DatasourceV2 之 Multiple Catalog
SparkSQL DatasourceV2作为Spark2.3引入的特性，在Spark 3.0 preview(2019/12/23)版本中又有了新的改进以更好的支持各类数据源。本文将从catalog角度，介绍新的数据源如何和Spark DatasourceV2进行集成。
# 开源大数据平台 E-MapReduce # 云解析DNS # SQL # 分布式计算 # 大数据 # 关系型数据库 # 数据挖掘 # Apache # 数据库 # HIVE # Spark # PostgreSQL
阿里云实时计算Flink
|
博文
|
来自： 大数据与机器学习
基于 Flink+Iceberg 构建企业级实时数据湖
Apache Flink 是大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构。那么当 Apache Flink 遇见数据湖时，会碰撞出什么样的火花呢？
# 实时计算 Flink版 # 云消息队列 Kafka 版 # 存储 # 消息中间件 # SQL # 分布式计算 # Kafka # Apache # HIVE # 对象存储 # 流计算 # Spark
阿里云E-MapReduce团队
|
博文
|
来自： 大数据与机器学习
百草味基于“ EMR+Databricks+DLF ”构建云上数据湖的最佳实践
本文介绍了百草味大数据平台从 IDC 自建 Hadoop 到阿里云数据湖架构的迁移方案和落地过程。重点从 IDC 自建集群的痛点分析，云上大数据方案的选型以及核心模块的建设过程几个方面做了详细的介绍，希望给想了解和实践数据湖架构的企业和朋友一个参考。
# 开源大数据平台 E-MapReduce # 数据湖构建 # 云数据库 RDS MySQL 版 # 云原生大数据计算服务 MaxCompute # 对象存储 # 数据安全中心 # 存储 # SQL # 分布式计算 # 运维 # 大数据 # Hadoop # 调度 # 对象存储 # 数据安全/隐私保护 # Spark
CodeLeader
|
博文
CBAM:Convolutional Block Attention Module--通道+空间混合注意力
提出了**卷积块注意模块（CBAM）**，这是一种用于前馈卷积神经网络的简单而有效的注意模块。==给定一个中间特征图，我们的模块沿两个单独的维度（通道和空间）顺序推断注意力图，然后将注意力图乘以输入特征图以进行自适应特征细化。==因为 CBAM 是一个轻量级的通用模块，它可以无缝集成到任何 CNN 架构中，开销可以忽略不计，并且可以与基础 CNN 一起进行端到端训练。
# 机器学习/深度学习 # 资源调度 # 分布式计算 # 数据可视化 # 测试技术 # TensorFlow # 算法框架/工具 # 计算机视觉 # Spark # 网络可视化
Maynor
|
博文
DolphinScheduler 之Docker 部署
Docker 容器通过环境变量进行配置，附录-环境变量 列出了 DolphinScheduler 的可配置环境变量及其默认值
# 云数据库 RDS MySQL 版 # 容器服务Kubernetes版 # 微服务引擎 # 云原生数据库 PolarDB # 实时计算 Flink版 # 日志服务 # 数据集成 Data Integration # 存储 # 分布式计算 # 关系型数据库 # MySQL # Java # Apache # Spark # Docker # Python # 容器
灵杰开发者
|
博文
|
来自： 大数据与机器学习
Flink 遇见 Apache Celeborn：统一的数据 Shuffle 服务
最新发布的 0.3.0 版本新增对 Flink 批作业 Shuffle 的支持，从此 Flink、Spark 可以同时使用统一的数据 Shuffle 服务，更大程度节省资源、降低运维成本。
# 实时计算 Flink版 # 存储 # 分布式计算 # 运维 # Kubernetes # Apache # 调度 # 流计算 # Spark # 开发者 # 容器
免费试用