AI 助理
备案控制台

Spark

首页 标签 Spark
# Spark #
关注
9105内容
最新 热门 文章 问答 课程
阿里云实时计算Flink
|
博文
|
来自： 大数据与机器学习
阿里重磅开源全球首个批流一体机器学习平台Alink，Blink功能已全部贡献至Flink
11月28日，Flink Forward Asia 2019 在北京国家会议中心召开，阿里在会上发布Flink 1.10版本功能前瞻，同时宣布基于Flink的机器学习算法平台Alink正式开源，这也是全球首个批流一体的算法平台，旨在降低算法开发门槛，帮助开发者掌握机器学习的生命全周期。
# 实时计算 Flink版 # 云原生大数据计算服务 MaxCompute # 机器学习/深度学习 # SQL # 人工智能 # 分布式计算 # 算法 # 大数据 # 数据处理 # 流计算 # Spark # Python
技术小哥哥
|
博文
Hadoop工作流引擎之Azkaban与Oozie对比（四）
# 分布式计算 # Hadoop # 数据库 # 调度 # 数据安全/隐私保护 # Java # 数据格式 # XML # Spark # 关系型数据库
周志湖
|
博文
Spark修炼之道（高级篇）——Spark源码阅读：第十三节 Spark SQL之SQLContext（一)
作者：周志湖 1. SQLContext的创建 SQLContext是Spark SQL进行结构化数据处理的入口，可以通过它进行DataFrame的创建及SQL的执行，其创建方式如下： //sc为SparkContext val sqlContext = new org.apache.spark.sql.SQLContext(sc) 其对应的源码为： def
# SQL # 分布式计算 # HIVE # Spark # 缓存 # 数据处理
祝威廉
|
博文
Spark Streaming 数据清理机制
大家刚开始用Spark Streaming时，心里肯定嘀咕，对于一个7*24小时运行的数据，cache住的RDD,broadcast 系统会帮忙自己清理掉么？还是说必须自己做清理？如果系统帮忙清理的话，机制是啥？
# 云消息队列 Kafka 版 # 分布式计算 # Java # Spark # 流计算
技术mix呢
|
博文
spark的sparkUI如何解读？
# 分布式计算 # 调度 # Spark
bySerendipity
|
博文
VectorizedReader 和 ORC
spark SQL not only SQL 1.SparkSession/DataFrame/Datasets API 2.
# SQL # 存储 # 分布式计算 # Spark # HIVE # NoSQL # API # Java # 编译器 # 数据格式
祝威廉
|
博文
Spark UI (基于Yarn) 分析与定制
这篇文章的主旨在于让你了解Spark UI体系，并且能够让你有能力对UI进行一些定制化增强。在分析过程中，你也会深深的感受到Scala语言的魅力。
# JSON # 分布式计算 # Spark # 数据格式 # 流计算 # Scala # API # Apache # 容器 # XML
小猫吃鱼569
|
博文
【Spark Summit East 2017】Drizzle——Spark的低延迟执行
本讲义出自Shivaram Venkataraman在Spark Summit East 2017上的演讲，主要介绍了Spark的低延迟执行引擎——Drizzle，其设计目的在于对流进行处理以及进行迭代工作。
# 分布式计算 # 大数据 # Spark
那年的坏人
|
博文
spark源码分析之Executor启动与任务提交篇
spark源码分析，spark版本1.5.2
# 分布式计算 # Scala # 调度 # Spark # Shell # 机器学习/深度学习 # Java
技术小哥哥
|
博文
对于maven创建spark项目的pom.xml配置文件（图文详解）
# 分布式计算 # Java # Apache # Maven # Spark
免费试用