AI 助理
备案控制台

Spark

首页 标签 Spark
# Spark #
关注
9105内容
最新 热门 文章 问答 课程
扬流
|
博文
|
来自： 大数据与机器学习
EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务
Apache Airflow 是一个强大的工作流程自动化和调度工具，它允许开发者编排、计划和监控数据管道的执行。EMR Serverless Spark 为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过 Apache Airflow 的 Livy Operator 实现自动化地向 EMR Serverless Spark 提交任务，以实现任务调度和执行的自动化，帮助您更有效地管理数据处理任务。
# 函数计算 # 开源大数据平台 E-MapReduce # 分布式计算 # Serverless # 数据处理 # Apache # Spark
呆呆宝
|
博文
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
# 实时计算 Flink版 # 云消息队列 Kafka 版 # 分布式计算 # Apache # 数据安全/隐私保护 # 流计算 # Spark
wljslmz
|
博文
Spark 中的集群管理器类型详解
【8月更文挑战第14天】
# 资源管理 # 容器服务Kubernetes版 # 分布式计算 # 资源调度 # Hadoop # Spark # 容器
wljslmz
|
博文
如何在 PySpark 中实现自定义转换
【8月更文挑战第14天】
# 分布式计算 # 大数据 # 数据处理 # Spark # Python
wljslmz
|
博文
什么是 Spark DAG？
【8月更文挑战第14天】
# 分布式计算 # 资源调度 # 监控 # 调度 # Spark
wljslmz
|
博文
什么是 Spark Driver，它的职责是什么？
【8月更文挑战第14天】
# 分布式计算 # 监控 # 大数据 # 调度 # Spark
wljslmz
|
博文
分区在 PySpark 中起什么作用？它如何提高性能？
【8月更文挑战第13天】
# 分布式计算 # 并行计算 # 数据处理 # 调度 # Spark
wljslmz
|
博文
如何在 PySpark 中创建 SparkSession？它的主要用途是什么？
【8月更文挑战第13天】
# SQL # 机器学习/深度学习 # 分布式计算 # HIVE # Spark
wljslmz
|
博文
与传统 Python 相比，使用 PySpark 进行大数据处理的主要优势是什么？
【8月更文挑战第13天】
# 云原生大数据计算服务 MaxCompute # 分布式计算 # 大数据 # API # Spark # Python
wljslmz
|
博文
解释 Spark 与数据序列化格式的互操作性
【8月更文挑战第13天】
# 存储 # 分布式计算 # Java # 数据处理 # Spark
免费试用