开发者学堂课程【阿里云 DataHub 使用教程：使用 Logstash 导入流式数据】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/429/detail/5367
使用 Logstash 导入流式数据
如何使用 Logstash 上传数据到 Datahub 中
1、首先，进入到 Datahub 的控制台，
（https://datahub.console.aliyun.com），可看到之前创建的 project。
2、进入后创建一个能上传数据的 topic ，Topic 名称为 longstash_test，准备了五个字段，因此 topic 也有五个字段，Shard 数量为1，备注 longstash。（如下图）
创建成功后，点击查看 topic，数据量为0。
3、进入迷你行终端，可先下载
logstash-with-datahub-2.3.0.tar.gz的包，包里包含 datahub 插件，可解压出来，进入已解压好的目录中，准备好的配置文件包含 input，表示上传数据文件的位置
Input {
fail {
path=>”/Users/wz/workspace/Logstash-with-datahub-2.3.0/sample_conf/datahub_type.data”
start_position=>”beginning”//从文件开始处上传
sincedb_path=>”/tmp/.sincedb_test”//表示文件上传到哪里
}
}
filter是 csv 的插件
filter {
csv {
## change to you own columns
columns => { ‘f_bigint”, ‘f_double’, ‘f_boolean’, ‘f_timestamp’, ‘f_string’ }//表示把数据文件分成五个字段，每个字段的名字即 topic 定义的五个字段的名字
}
}
Output 插件
output {
datahub {
acess_id=>”your acessId”
acess_key=>”your acesskey”
endpoint=>”http://dh_cn_hangzhou.aliyuncs.com”
project_name=>”test_dh1”
topic_name=>”logstash_test”
}//表示输出到 datahub 哪一个 topic
继续上传数据，亦包含五个字段，每一行用逗号分隔的五段数据
例：
1001，1.23456789012E9，true，14321111111，test_string_filed
其中1001为bigint，1.23456789012E9为dubbo，true 为buling,14321111111为typestep，test_string_filed为string。
启动 logstash
./bin/logstash-f sample_conf/datahub-type-data.conf.ak-verbose
已经把数据文件的40行 put 到文件里。
4、查看控制台
数据为40条，点击数据抽样，数据已上传
5、在数据文件中加入数据
Logstash 已检测出数据变动，把数据也写到 datahub 中。查看控制台，有41条数据，进行数据抽样，最后的数据是1041。
