开发者学堂课程【Elasticsearch 实战进阶营：实操讲解：微服务运行日志采集（二）】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/899/detail/14319
实操讲解：微服务运行日志采集（二）
2、filebeat 的介绍和实践
经常采用的这个非常 BT，取出来 feel，专门注意这个文本文件采集，它可以支持很多种，支持很多种日志，如果官方没有提供直接的模式，输入 input 之后，针对数据进行一些修改，
他首先会自己存储到他的临时队列里面反映出的客户端队列里面，然后集中把这个数据可以传到里面，也可以传到 Lucy，甚至传到 relax，根据自己选择，你的日志平台每天产生的 TB 级以上几十 TB 甚至上百 TB 级以上，首先采用卡夫卡，做一个 buffer 缓冲，然后最后呢，再通过这个 Lucy 抽取到 S，这是一个标准的价格体系。
anJ2 :patqeua .8uTJO2TUoW
unKttegypueasotset3. :pJomssed
.PTaseTe. :aweuJasn
[”00Z6 :wo sounKTe "ypJeasJTaseTa'IT Iqnd. ZUMNTOOOUUMJATMaO-U3-sa.] :s3s0y
:ypJeassTiseTa 2nd2no
asTef :8uTssTu aJou8τ
[.2ndut.‘.80T. ' 2ua8e. .2.5++. .ounos. ' .229. wJolpadsojd." “ aSessaw.] :spTeT+
[ , aJessaw,] :spTaT+ sey
: uaym
:spTaTt doup
anu2 :sAax a3TJmJaAO
: 289Je3
[, aessaw,] :spTaT+
:$PTat uosC aposap
: sJossasoud
uosf" ofuT/TgJaAJas/aTT+-8ot/owappnop8utJds -npaoedn8/0Z0Z- eaer-2oafoud/oedn9- L0-0Z0Z/:3
: sy2ed
anJ2 :patqeua
SOT :adA2
:sanduy"zeaqatT+ anJ2 :patqeua
90T :adA2
许多日志会写在同一个日志下，采集的时候就会批量采集
:sandug" zeaqaTtt
,unAtTe@ysJeassTaseT3. :pJomssed
pT4seTa. :oweuJasn
[ .0076 :Wos" sounKTe "ypJeasoTaseta "stiqnd. ZUMnTOOOUUMJATMa0-U)-sa.] :S2SO4
:ypJeaspTaseTa "2nd2no
astef :8utssτu aJou8τ
[.2nduT. ' .So.“.2u8e.. .285.H0. '.anos. ' .2e.9. ' udo2adsoJd. '.sSessaw.] :spTaT+
[. a8essau,] :SPTeT+ sey
: uayM
:spTaT+ doup
anJ2 :sAay a3TJMJaAO
:18Je2
启动之前要把原有的日志删除
[ , aJessaw.] :spTeT+
:SPTaTt uosC aposap -
: sJossasoJd
uos!"ofUT/TeJBAJagj/att+-3ot/owappnots8uyJds-npaoedn8/ezez eneC-2a[oJd/oedn9-L8-8ZeZ/:3
: syzed
drop_ fieIds:
when :
has_ fields: [ ' message']
fields: [ ”message", "prospector" ，"beat", ” source"，"offset" ，”agent"，"1og" ,”input”] 注意路径
ignore_ missing: false [.00Z6 :woo. sounAtte
后面开启监控吧es输出到es里面去，其它的默认，回到日志里面
"ypJeasotaseta'stqnd. ZUMnTOOUUMJA[Ma0-u2-sa.] :S2Soy
:ypJeasoTaseta 2nd2no
asTet :8uTSSτw aJou2τ
[.2ndut.‘.80T. ' 2ua8e.2.5+.. .ounos.. 2.e29.. udo2padsoJd ' a9essaw.] :SpTBTJ
[ , aZessaw,] :SpTaT+ sey
: uaym
:sptaTt doJp
anJ2 :sAay a2TJMJaAO
: 2a8Je3
[, e9essew,] :spTaT+
I :spTaTt uosC aporap -
:sJossasoJd
uosf”ofuT/TeJaAuas/aTT+-8ot/owappnotp8uquds-npaoedn8/eZ0乙- ener-2oa[oJd/oedN9-L0-0Z0Z/:3
: sy2ed
anJ2 :patqeua打开内容
8OT :ad/2
sanduy 2eeqaIt+
读取
<level>INF0</level>
conMatch>ACCEPT</onMatch>
conMi smatch>DENY< /onMi smatch>
</filter>
<File>${logging . path}/${App_ Name}/info. json</File>
<rollingPolicy class="ch.qos . logback. core . rolling，TimeBasedRol lingPolicy">
<FileNamePattern>${logging. path]}/${App_ Name}/info. json . %d{yyyy -M-dd}</FileNamePattern>
<MaxHistory>7</MaxHistory>
</rollingPolicy>
<encoder class-" net . logstash. logback . encoder，LoggingEventCompositeJsonEncoder">
<providers>
<mdc/>
<pattern>
<pattern>
"@t imestanp": "%date{yyy -NM-dd'T' HH: mm:55.S5S7} , 日志采集会带很多副属信息
”appName": "client01" ,
"logger": "%logger" ,
"level": "%level" ,
"thread": "%thread" ，
"message":” Xmessage”,
"ip":"192.168.896
</ pattern>
</pattern>
</ providers>
</ encoder>
</ appender>
<appender name "Error" class-"ch. qos . logback . core. rolling. RollingFileAppender" >自动化日志会自己采集
采集日志
anJ2 : patqeua SutJo2TuoW
.unAT Te@ypJeasotaset3. :pJomssed
TseTa. :oweuJasn
[ .0076 :WOD' sounKTTe"ypJeaS9TISeTa "stiqnd. ZUMNTOOOUUMJATMa0-UD-Sa.] :S2soy
: ypJeassTaseTa .nd2no
一台服务器部署很多日志，会批量读取
anJ2 :sAay a4TJMJaAO
: 2a8.e2
[, aSessaw,] :spTaT+
:sptaT+ uosC aposap
: sJossasoJd
uos[" ofUT/ T02auT[P/eTT+-8oT/owappnotp9utuds-npaoedn8/0Zez -eaec-2a[oJd/oeN9-L0-0Z0Z/:3
uos!”ofut/TOJaAJas/eTT+-8ot/owappnotp8uxuds -npaoedn8/0z0z - eaec-29a[oud/oedN9-L0-0Z0Z/:3
:syzed
anJ2. :patqeua
SoT :ad/3
: sa.nduT"Jeaqaτ
采集完成
