Spark

首页 标签 Spark
# Spark #
关注
9105内容
【Hadoop Summit Tokyo 2016】像搭乐高一样搭建Storm与Spark Streaming Pipelines块
本讲义出自Arun Murthy在Hadoop Summit Tokyo 2016上的演讲,主要介绍了Arun Murthy与团队的从各种流使用中学习到的最佳实践和经验,演讲的内容非常简单易懂并且非常有趣,在演讲的最后还介绍了像搭乐高一样搭建Storm与Spark Streaming Pipelines块的相应工具。
Hadoop笔试题一
Hadoop笔试题一 一、选择题(2分每题,共20分) 1.下面哪个程序负责 HDFS 数据存储。 A NameNode B Jobtracker C Datanode D tasktracker 2.
Spark修炼之道(基础篇)——Linux大数据开发基础:第十三节:Shell编程入门(五)
本节主要内容 while循环控制结构 if条件判断 until循环控制结构 1. while循环控制结构 本节例子来源:http://blog.chinaunix.net/uid-25880122-id-2901409.html 语法格式: while expression do command command done (1)计数器格式 适用于循环次
【Spark Summit East 2017】使用Spark进行带有高维度标签的机器学习
本讲义出自Stefan Panayotov与Michael Zargham 在Spark Summit East 2017上的演讲,主要介绍了在Stefan Panayotov和团队使用Spark进行带有高维度标签的机器学习的过程中使用到的工具,遇到的障碍以及围绕使用Databricks尝试构建用于预测不同电视节目的收视率以及人口统计数据的客户机器学习模型所做的工作。
Hadoop大数据平台实战(05):深入Spark Cluster集群模式YARN vs Mesos vs Standalone vs K8s
Hadoop大数据平台实战(05):Spark Cluster集群模式YARN, Mesos,Standalone和K8s深入对比。监控,调度,监控,安全机制,特性对比,哪个才是最好的Spark集群管理工具。
Data Lake 三剑客——Delta、Hudi、Iceberg 对比分析
本文主要从设计出发点、功能支持、性能等方面对比了Delta、Hudi、Iceberg 三个 data lake 方案
用机器学习流程去建模我们的平台架构
Spark 提供了一个新的体系,spark.ml。 相对于spark.mllib,这是一个更高层的对机器学习流程的一个抽象。你会神奇的发现这套抽象也适合服务平台的设计与建模。更让我印象深刻的是,一个合适的抽象,简直就像真理一样。本文将介绍spark.ml 的五个该概念。
免费试用