sjf0115
sjf0115_个人页
sjf0115
文章
776
问答
0
视频
0
个人介绍
Stay Hungry, Stay Foolish---我们必须用谦虚者的自觉，饥饿者的渴望的求职态度，来拥抱我们的未来。
擅长的技术
获得更多能力
通用技术能力：
暂时未有相关通用技术能力~
云产品技术能力：
-
ACP
-
阿里云大数据工程师ACP认证（Alibaba Cloud Certified Professional - Big Data）
获得于2022-03-27 23:15:12
-
阿里云大数据工程师ACP认证（Alibaba Cloud Certified Professional - Big Data）
阿里云技能认证
详细说明-
发表了文章 2018-05-10
Hadoop Yarn上的调度器
1. 引言 Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。
-
发表了文章 2018-03-07
Flink1.4 用于外部数据访问的异步IO
原文来源：Flink1.4 用于外部数据访问的异步IO 1. 异步IO操作的必要性 当与外部系统交互时（例如，使用存储在数据库中数据丰富流事件），需要注意与外部系统的通信延迟并不决定流应用程序的整体工作。
-
发表了文章 2018-03-07
Stream 分布式数据流的轻量级异步快照
原文来源：Stream 分布式数据流的轻量级异步快照 1. 概述 分布式有状态流处理支持在云中部署和执行大规模连续计算，主要针对低延迟和高吞吐量。
-
发表了文章 2018-03-05
Flink1.4 窗口触发器与Evictors
原文来源于：Flink1.4 窗口触发器与Evictors 1. 窗口触发器 触发器(Trigger)决定了窗口(请参阅窗口概述)博文)什么时候准备好被窗口函数处理。
-
发表了文章 2018-03-05
Flink1.4 HDFS Connector
原文来源于：Flink1.4 HDFS Connector 此连接器提供一个 Sink，将分区文件写入 Hadoop FileSystem 支持的任何文件系统。
-
发表了文章 2017-12-22
Hadoop Trash回收站使用指南
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/78869778 我们在删...
-
发表了文章 2017-10-29
[Flink]Flink1.3 Stream指南八 图解事件时间与Watermarks
如果你正在构建实时流处理应用程序，那么事件时间处理是你迟早必须使用的功能之一。因为在现实世界的大多数用例中，消息到达都是无序的，应该有一些方法，通过你建立的系统知道消息可能延迟到达，并且有相应的处理方案。
-
发表了文章 2017-10-29
[Flink]Flink1.3 Stream指南七 理解事件时间与Watermarks
Flink实现了数据流模型(Dataflow Model)中许多技术。如果想对事件时间(event time)和水位线(watermarks)更详细的了解，请参阅下面的文章: The world beyond batch: Streaming 101 The Dataflow Model 支持事件时间的流处理器需要一种方法来衡量事件时间的进度。
-
发表了文章 2017-10-27
[Flink]Flink1.3 Stream指南六 事件时间与处理时间
Flink在数据流中支持几种不同概念的时间。 1. 处理时间 Processing Time Processing Time(处理时间)是指执行相应操作机器的系统时间(Processing time refers to the system time of the machine that is executing the respective operation.)。
-
发表了文章 2017-10-25
[Flink]Flink1.3 Stream指南五 窗口触发器与驱逐器
1. 窗口触发器 触发器(Trigger)确定窗口(由窗口分配器形成)何时准备好被窗口函数处理。每个窗口分配器都带有默认触发器。
-
发表了文章 2017-10-24
[Flink]Flink1.3 Stream指南四 窗口函数
1.4版本：Flink1.4 窗口函数 在定义窗口分配器之后，我们需要在每个窗口上指定我们要执行的计算。这是窗口函数的责任，一旦系统确定窗口准备好处理数据，窗口函数就处理每个窗口中的元素。
-
发表了文章 2017-10-24
[Flink]Flink1.3 Batch指南二 集群运行
Flink程序可以分布在许多机器的群集上。有两种方式可以将程序发送到集群上运行： (1) 命令行接口 (2) 远程环境 1. 命令行接口 命令行接口允许你将打包程序(JAR)提交到集群(或单机配置)。
-
发表了文章 2017-10-24
[Flink]Flink1.3 Stream指南三 窗口分配器
1.4版本：Flink1.4 窗口概述 Windows(窗口)是处理无限数据流的核心。Windows将流分解成有限大小的"桶"，在上面我们可以进行计算。
-
发表了文章 2017-10-23
[Flink]Flink1.3 指南五 指定keys
一些转换(例如，join，coGroup，keyBy，groupBy)要求在一组元素上定义一个key。其他转换(Reduce，GroupReduce，Aggregate，Windows)允许在使用这些函数之前对数据进行分组。
-
发表了文章 2017-10-23
[Flink]Flink1.3 指南四 命令行接口
Flink提供了一个命令行接口（CLI）用来运行打成JAR包的程序，并且可以控制程序的运行。命令行接口在Flink安装完之后即可拥有，本地单节点或是分布式的部署安装都会有命令行接口。
-
发表了文章 2017-10-23
[Flink]Flink1.3 Batch指南一 本地运行
Flink可以在单台机器上运行，甚至可以在单个Java虚拟机中运行。 这运行机制可以方便用户在本地测试和调试Flink程序。
-
发表了文章 2017-10-18
[Flink]Flink1.3 指南二 安装与启动
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/78276595 1. 下载 Flink 可以运行在 Linux, Mac OS X和Windows上。
-
发表了文章 2017-10-18
[Hive]Hive使用指南七 空值与NULL
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/78276551 1.
-
发表了文章 2017-10-16
[ElasticSearch]ElasticSearch,Kibana安装与启动
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/78247189 1.
-
发表了文章 2017-08-29
[Maven]maven-shade-plugin使用指南
1. Selecting Contents for Uber JAR 下面的POM代码段显示了如何控制在uber JAR中应该包含/排除哪些项目依赖关系： .
-
发表了文章 2017-08-17
[Scala]Scala学习笔记十 模式匹配
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/77301598 Scal...
-
发表了文章 2017-08-16
[Scala]Scala学习笔记九 提取器
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/77268186 1.
-
发表了文章 2017-08-14
[Guava]Throwables:简化异常和错误的传播与检查
1. 异常传播 有时候，你会想把捕获到的异常再次抛出。这种情况通常发生在 Error 或 RuntimeException 被捕获的时候，你没想捕获它们，但是声明捕获 Throwable 和 Exception 的时候，也包括了了 Error 或 RuntimeException。
-
发表了文章 2017-08-11
[Scala]Scala学习笔记八 高阶函数
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/77096534 Scal...
-
发表了文章 2017-08-08
[Scala]Scala学习笔记七 正则表达式
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/76882378 1.
-
发表了文章 2017-08-03
[AirFlow]AirFlow使用指南四 DAG Operator Task
1. DAG 在Airflow中，DAG或有向无环图是你运行所有任务的集合，以某种组织方式来反映所有任务之间的关系和依赖。
-
发表了文章 2017-08-03
[AirFlow]AirFlow使用指南三 第一个DAG示例
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/76615699 经过前两...
-
发表了文章 2017-08-03
[AirFlow]AirFlow使用指南二 DAG定义文件
1. Example """ Code that goes along with the Airflow tutorial located at: https://github.
-
发表了文章 2017-08-02
[AirFlow]AirFlow使用指南一 安装与启动
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/76592793 1.
-
发表了文章 2017-08-02
[Shell]bash的良好编码实践
最好的bash脚本不仅可以工作，而且以易于理解和修改的方式编写。很多好的编码实践都是来自使用一致的变量名称和一致的编码风格。
-
发表了文章 2017-08-02
[Scala]Scala学习笔记六 文件
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/76574187 1.
-
发表了文章 2017-07-31
[Scala]Scala学习笔记五 Object
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/76423770 1.
-
发表了文章 2017-07-31
[Scala]Scala学习笔记四 类
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/76423590 1.
-
发表了文章 2017-07-26
[Scala]Scala学习笔记三 Map与Tuple
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/76130839 1.
-
发表了文章 2017-07-25
[Git]Git指南一 查看创建删除标签
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/76070245 1. 查看标签 列出现有标签,使用如下命令： xiaosi@yoona:~/code/learningnotes$ git tag r-000000-000000-cm.cm v1.0.0 v1.0.1 我们可以用特定的搜索模式列出符合条件的标签。
-
发表了文章 2017-07-25
[Scala]Scala学习笔记二 数组
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/76066648 1.
-
发表了文章 2017-07-24
[Scala]Scala学习笔记一 基础
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/76037690 1.
-
发表了文章 2017-07-18
[Hive]HiveServer2配置
HiveServer2(HS2)是一个服务器接口，能使远程客户端执行Hive查询，并且可以检索结果。HiveServer2是HiveServer1的改进版，HiveServer1已经被废弃。
-
发表了文章 2017-07-18
[Hive]HiveServer2概述
1. HiveServer1 HiveServer是一种可选服务，允许远程客户端可以使用各种编程语言向Hive提交请求并检索结果。
-
发表了文章 2017-07-17
[Mvel]Mvel2.0使用指南一 基础
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/75244442 MVEL在很大程度上受到Java语法的启发，作为一个表达式语言，也有一些根本的区别，旨在更高的效率，例如：直接支持集合、数组和字符串匹配等操作以及正则表达式。
-
发表了文章 2017-06-28
[Redis]Redis指南二 配置
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/73863746 我们可以...
-
发表了文章 2017-06-20
[Spark]Shark, Spark SQL, Hive on Spark以及SQL On Spark的未来
随着Spark SQ的引入以及Hive On Apache Spark的新功能（HIVE-7292）的引入，我们对这两个项目的立场以及它们与Shark的关系有了很多的关注。
-
发表了文章 2017-06-16
[Spark]Spark RDD 指南五 持久化
1. 概述 Spark中最重要的功能之一是操作时在内存中持久化(缓存)数据集(persisting (or caching) a dataset in memory across operations)。
-
发表了文章 2017-06-16
[Shell]tr命令使用指南
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/73331052 1. 用途 tr，translate的简写，主要用于压缩重复字符，删除文件中的控制字符以及进行字符转换操作。
-
发表了文章 2017-06-16
[Shell]test命令使用指南
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/73330973 Shell中的 test 命令用于检查某个条件是否成立，它可以进行数值、字符和文件三个方面的测试。
-
发表了文章 2017-06-15
[Shell]特殊变量$0$#$*$@$?和命令行参数
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/73302312 1. 参数变量 特殊变量列表 变量 含义 $0 当前脚本的文件名 $n 传递给脚本或函数的参数。
-
发表了文章 2017-06-13
[Spark]Spark RDD 指南四 RDD操作
Spark2.3.0版本: Spark2.3.0 RDD操作 RDD支持两种类型的操作： 转移(transformations):从现有数据集创建一个新数据集 动作(actions):在数据集上进行计算后将值返回给驱动程序 例如，map是一个转移操作，传递给每个数据集元素一个函数并返回一个新RDD表示返回结果。
-
发表了文章 2017-06-12
[Spark]Spark RDD 指南三 弹性分布式数据集(RDD)
Spark2.3.0 版本: Spark2.3.0 创建RDD Spark的核心概念是弹性分布式数据集（RDD），RDD是一个可容错、可并行操作的分布式元素集合。
-
发表了文章 2017-06-08
[Spark]Spark RDD 指南二 初始化
1. 初始化 Spark程序必须做的第一件事是创建一个JavaSparkContext对象(Scala和Python中是SparkContext对象)，它告诉Spark如何访问集群。
-
发表了文章 2017-06-08
[Spark]Spark RDD 指南一 引入Spark
2.3.0版本：Spark2.3.0 引入Spark 1. Java版 Spark 2.1.1适用于Java 7及更高版本。
暂无更多信息
-
发表了文章
2018-05-10
Hadoop Yarn上的调度器
-
发表了文章
2018-03-07
Flink1.4 用于外部数据访问的异步IO
-
发表了文章
2018-03-07
Stream 分布式数据流的轻量级异步快照
-
发表了文章
2018-03-05
Flink1.4 窗口触发器与Evictors
-
发表了文章
2018-03-05
Flink1.4 HDFS Connector
-
发表了文章
2017-12-22
Hadoop Trash回收站使用指南
-
发表了文章
2017-10-29
[Flink]Flink1.3 Stream指南八 图解事件时间与Watermarks
-
发表了文章
2017-10-29
[Flink]Flink1.3 Stream指南七 理解事件时间与Watermarks
-
发表了文章
2017-10-27
[Flink]Flink1.3 Stream指南六 事件时间与处理时间
-
发表了文章
2017-10-25
[Flink]Flink1.3 Stream指南五 窗口触发器与驱逐器
-
发表了文章
2017-10-24
[Flink]Flink1.3 Stream指南四 窗口函数
-
发表了文章
2017-10-24
[Flink]Flink1.3 Batch指南二 集群运行
-
发表了文章
2017-10-24
[Flink]Flink1.3 Stream指南三 窗口分配器
-
发表了文章
2017-10-23
[Flink]Flink1.3 指南五 指定keys
-
发表了文章
2017-10-23
[Flink]Flink1.3 指南四 命令行接口
-
发表了文章
2017-10-23
[Flink]Flink1.3 Batch指南一 本地运行
-
发表了文章
2017-10-18
[Flink]Flink1.3 指南二 安装与启动
-
发表了文章
2017-10-18
[Hive]Hive使用指南七 空值与NULL
-
发表了文章
2017-10-16
[ElasticSearch]ElasticSearch,Kibana安装与启动
-
发表了文章
2017-08-29
[Maven]maven-shade-plugin使用指南
滑动查看更多
暂无更多信息
暂无更多信息