基于LogStash插件采集数据到阿里云Datahub-阿里云开发者社区

开发者社区> 云服务技术课堂> 正文

基于LogStash插件采集数据到阿里云Datahub

简介: DataHub服务基于阿里云自研的飞天平台,具有高可用,低延迟,高可扩展,高吞吐的特点,原生支持对接阿里云的多项服务,相关功能特点与Kafka类似。本身主要介绍如何使用LogStash采集数据写入Datahub。

Step By Step

一、测试环境

Ubuntu16.04

二、Java JDK环境安装与配置

1、更新软件包列表:

sudo apt-get update

2、安装openjdk-8-jdk

sudo apt-get install openjdk-8-jdk

3、查看Java安装情况及版本号

java -version

图片.png

三、安装Ruby(安装插件的时候底层依赖需要)

1、安装

apt install ruby

2、查看版本

ruby -version

图片.png

四、LogStash安装

1、下载

wget https://mirrors.huaweicloud.com/logstash/7.5.0/logstash-7.5.0.tar.gz

注意:目前直接从ElasticSearch官网下载,因为资源在国外,下载会特别慢,建议使用:Logstash 国内加速下载

2、解压

tar -xzvf logstash-7.5.0.tar.gz

五、Datahub 插件安装

1、插件下载
DataHub Logstash Output插件
DataHub Logstash Input插件

2、修改Gemfile(路径 /logstash-7.5.0/Gemfile)

https://gems.ruby-china.com/

图片.png

3、插件安装

$ {LOG_STASH_HOME}/bin/logstash-plugin install logstash-output-datahub-1.0.8.gem

$ {LOG_STASH_HOME}/bin/logstash-plugin install logstash-input-datahub-1.0.8.gem

$ {LOG_STASH_HOME} 为LogStash的解压路径

六、Datahub控制台创建Topic

图片.png

图片.png

七、测试数据集配置文件准备

1、CSV数据(多行)

1111,1.23456789012E9,true,14321111111000000,string_dataxxx0

2222,2.23456789012E9,false,14321111111000000,string_dataxxx1
3333,1.23456789012E9,true,14321111111000000,string_dataxxx0
4444,2.23456789012E9,false,14321111111000000,string_dataxxx1

2、配置文件:csv-sample2.conf

input {
    file {
        path => "/root/logstash/data2.csv"
        start_position => "beginning"
    }
}
filter{
    csv {
        columns => ['col1', 'col2', 'col3', 'col4', 'col5']
    }
}
output {
    datahub {
        access_id => "LTAIOZZg********"
        access_key => "v7CjUJCMk7j9aK****************"
        endpoint => "https://dh-cn-shanghai.aliyuncs.com"
        project_name => "logstash_project"
        topic_name => "logstash"
        #shard_id => "0"
        #shard_keys => ["thread_id"]
        dirty_data_continue => true
        dirty_data_file => "/root/logstash/data/dirty.data"
        dirty_data_file_max_size => 1000
    }
}
八、运行与查看数据

1、运行

./logstash-7.5.0/bin/logstash -f csv-sample2.conf

2、查看数据
图片.png

参考链接

LogStash插件
Logstash 国内加速下载

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

云服务技术课堂,各类技术课程、最佳实践输出,来好好听课吧!

官方博客