冷月_wjh_个人页

一站式极致读吞吐，加速业务数字化转型 - 阿里云对象存储 OSS加速器解析与实践

阿里云对象存储OSS重磅推出OSS加速器功能，提供高性能、高吞吐量的数据访问服务。

如何将Elasticsearch的快照备份至OSS

前言 Elasticsearch 是一个开源的分布式 RESTful 搜索和分析引擎。它可以在近实时条件下，存储，查询和分析海量的数据。它还支持将快照备份至HDFS/S3上面，而阿里云OSS兼容S3的API，本文将介绍如何使用ES的Repository-S3插件将快照备份至OSS。

使用Fluentd读写OSS

前言 Fluentd是一个实时开源的数据收集器，基于CRuby实现，td-agent是其商业化版本，由Treasure Data公司维护。本文将介绍如何使Fluentd能够读写OSS。 安装 首先下载并安装td-agent，笔者使用的是td-agent-3.

Apache Hadoop 2.7如何支持读写OSS

背景 2017.12.13日Apache Hadoop 3.0.0正式版本发布，默认支持阿里云OSS对象存储系统，作为Hadoop兼容的文件系统，后续版本号大于等于Hadoop 2.9.x系列也支持OSS。

使用Logstash将日志导入OSS

前言 logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的 “存储库” 中。 目前logstash已经支持了很多输入和输出插件，本文主要介绍如何使用logstash output oss插件将日志导入OSS。

Spark读写OSS并使用OSS Select来加速查询

Spark读写OSS 基于这篇文章搭建的CDH6以及配置，我们来使Spark能够读写OSS(其他版本的Spark都是类似的做法，不再赘述)。 由于默认Spark并没有将OSS的支持包放到它的CLASSPATH里面，所以我们需要执行如下命令下面的步骤需要在所有的CDH节点执行 进入到$CDH_HO.

使用Apache Impala(CDH6)查询OSS的数据

CDH6 目前CDH的最新版本是6.0.1，支持Hadoop 3.0.0，本文将介绍如何使CDH6的相关组件(Hadoop/Hive/Spark/Impala等)能够读写OSS。CDH5对OSS的支持在这篇文章介绍。

CDH5 Hadoop如何支持读写OSS

CDH和CM(Cloudera Manager) CDH (Cloudera’s Distribution, including Apache Hadoop)是众多Hadoop发行版本中的一种，由Cloudera维护，目前有不少用户使用这个发行版本。

HDP2.6 Hadoop如何支持读写OSS

HDP和Ambari HDP(Hortonworks Data Platform)是由Hortonworks发行的大数据平台，里面包含了Hadoop、Hive、HBase等很多开源组件，目前有不少用户直接使用HDP版本的Hadoop。

在控制台使用OSS Select

对象存储OSS（Object Storage Service）具有海量、可靠、安全、高性能、低成本的特点。OSS提供标准、低频、归档类型，覆盖多种数据从热到冷的存储需求，单个文件的大小从1字节到48.8TB，可以存储的文件个数无限制。

OSS访问控制介绍

使用Flume将日志导入OSS