• 关于

    cookie插件[]

    的搜索结果

问题

H5全栈开发去开发app你是怎么考虑的?

稻城 2019-12-01 20:54:55 1631 浏览量 回答数 0

问题

【discuz伪静态】系列之一:主题分类与排序功能伪 静态解决方案

wgrid.cn 2019-12-01 21:56:21 17567 浏览量 回答数 3

问题

无法建立连接,因为目标计算机主动拒绝了它(PHP / WAMP)?mysql

保持可爱mmm 2020-05-13 14:35:16 0 浏览量 回答数 1

阿里云试用中心,为您提供0门槛上云实践机会!

0元试用32+款产品,最高免费12个月!拨打95187-1,咨询专业上云建议!

问题

python怎么爬取天眼查工商基本信息?

游客bnlxddh3fwntw 2020-04-24 22:43:34 19 浏览量 回答数 1

回答

日志采集场景下客户端测评 DT时代,数以亿万计的服务器、移动终端、网络设备每天产生海量的日志。中心化的日志处理方案有效地解决了在完整生命周期内对日志的消费需求,而日志从设备采集上云是始于足下的第一步。 三款日志采集工具 Logstash 开源界ELK stack中的”L”,社区活跃,生态圈提供大量插件支持。 Logstash基于JRuby实现,可以跨平台运行在JVM上。 模块化设计,有很强的扩展性和互操作性。 Fluentd 开源社区中流行的日志采集工具,td-agent已正式商用,由Treasure Data公司维护,是本文选用的评测版本。 Fluentd基于CRuby实现,并对性能表现的一些关键组件用C语言重新实现,整体性能不错。 Fluentd设计简洁,pipeline内数据传递可靠性高。 相较于Logstash,其插件支持相对少一些。 Logtail 阿里云日志服务的生产者,经过多年阿里集团大数据场景考验。 采用C++语言实现,在稳定性、资源控制、管理等方面表现较好,性能良好。 相比于Logstash、Fluentd的社区支持,Logtail功能较为单一,专注日志采集功能。 功能对比 功能项 Logstash Fluentd Logtail 日志读取 轮询 轮询 事件触发 文件轮转 支持 支持 支持 Failover处理 (本地checkpoint) 支持 支持 支持 通用日志解析 支持grok(基于正则表达式)解析 支持正则表达式解析 支持正则表达式解析 特定日志类型 支持delimiter、key-value、json等主流格式 支持delimiter、key-value、json等主流格式 支持delimiter、key-value、json等主流格式 数据发送压缩 插件支持 插件支持 LZ4 数据过滤 支持 支持 支持 数据buffer发送 插件支持 插件支持 支持 发送异常处理 插件支持 插件支持 支持 运行环境 JRuby实现,依赖JVM环境 CRuby、C实现,依赖Ruby环境 C++实现,无特殊要求 线程支持 支持多线程 多线程受GIL限制 支持多线程 热升级 不支持 不支持 支持 中心化配置管理 不支持 不支持 支持 运行状态自检 不支持 不支持 支持cpu/内存阈值保护 日志文件采集场景 - 性能对比 以Nginx的access log为样例,如下一条日志365字节,结构化成14个字段: 在下面的测试中,将模拟不同的压力将该日志重复写入文件,每条日志的time字段取当前系统时间,其它13个字段相同。相比于实际场景,模拟场景在日志解析上并无差异,有一点区别是:较高的数据压缩率会减少网络写出流量。 Logstash logstash-2.0.0版本,通过grok解析日志并写出到kafka(内置插件,开启gzip压缩)。 日志解析配置: grok { patterns_dir=>"/home/admin/workspace/survey/logstash/patterns" match=>{ "message"=>"%{IPORHOST:ip} %{USERNAME:rt} - [%{HTTPDATE:time}] "%{WORD:method} %{DATA:url}" %{NUMBER:status} %{NUMBER:size} "%{DATA:ref}" "%{DATA:agent}" "%{DATA:cookie_unb}" "%{DATA:cookie_cookie2}" "%{DATA:monitor_traceid}" %{WORD:cell} %{WORD:ups} %{BASE10NUM:remote_port}" } remove_field=>["message"] } 测试结果: 写入TPS 写入流量 (KB/s) CPU使用率 (%) 内存使用 (MB) 500 178.22 22.4 427 1000 356.45 46.6 431 5000 1782.23 221.1 440 10000 3564.45 483.7 450 Fluentd td-agent-2.2.1版本,通过正则表达式解析日志并写入kafka(第三方插件fluent-plugin-kafka,开启gzip压缩)。 日志解析配置: type tail format /^(? \S+)\s(?\d+)\s-\s\[(? [^\]]*)\]\s"(? [^\"]+)"\s(? \d+)\s(? \d+)\s"(? [^\"]+)"\s"(? [^\"]+)"\s"(? \d+)"\s"(? \w+)"\s"(? \w+)"\s(? \w+)\s(? \w+)\s(? \d+).*$/ time_format %d/%b/%Y:%H:%M:%S %z path /home/admin/workspace/temp/mock_log/access.log pos_file /home/admin/workspace/temp/mock_log/nginx_access.pos tag nginx.access 测试结果: 写入TPS 写入流量 (KB/s) CPU使用率 (%) 内存使用 (MB) 500 178.22 13.5 61 1000 356.45 23.4 61 5000 1782.23 94.3 103 说明 受GIL限制,Fluentd单进程最多使用1个cpu核,可以使用插件multiprocess以多进程的形式支持更大的日志吞吐。 Logtail logtail 0.9.4版本,设置正则表达式进行日志结构化,数据LZ4压缩后以HTTP协议写到阿里云日志服务,设置batch_size为4000条。 日志解析配置: logRegex : (\S+)\s(\d+)\s-\s\[([^]]+)]\s"([^"]+)"\s(\d+)\s(\d+)\s"([^"]+)"\s"([^"]+)"\s"(\d+)"\s"(\w+)"\s"(\w+)"\s(\w+)\s(\w+)\s(\d+).* keys : ip,rt,time,url,status,size,ref,agent,cookie_unb,cookie_cookie2,monitor_traceid,cell,ups,remote_port timeformat : %d/%b/%Y:%H:%M:%S 测试结果: 写入TPS 写入流量 (KB/s) CPU使用率 (%) 内存使用 (MB) 500 178.22 1.7 13 1000 356.45 3 15 5000 1782.23 15.3 23 10000 3564.45 31.6 25 单核处理能力对 总结 可以看到三款日志工具各有特点: Logstash支持所有主流日志类型,插件支持最丰富,可以灵活DIY,但性能较差,JVM容易导致内存使用量高。 Fluentd支持所有主流日志类型,插件支持较多,性能表现较好。 Logtail占用机器CPU/内存资源最少,性能吞吐量较好,针对常用日志场景支持全面,但缺少插件等机制,灵活性和可扩展性不如以上两个客户端。

保持可爱mmm 2020-03-26 23:05:44 0 浏览量 回答数 0

问题

jQuery的datatable插件 使用 问题

a123456678 2019-12-01 20:20:31 1667 浏览量 回答数 1

问题

YSlow老矣尚能饭否

sunny夏筱 2019-12-01 22:09:32 10004 浏览量 回答数 2

问题

jQuery的datatable插件 使用 问题 400 请求报错 

kun坤 2020-05-29 23:20:24 0 浏览量 回答数 1

问题

利用 NGINX 和 LuaJIT 构建精悍的 WAF 防火墙

妙正灰 2019-12-01 21:36:51 8632 浏览量 回答数 1

问题

.Net 下2种方式实现HTTP同步异步需要4.6.1源码附带token管理

欧阳寒玟 2019-12-01 21:12:25 4533 浏览量 回答数 1
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 2020阿里巴巴研发效能峰会 企业建站模板 云效成长地图 高端建站 阿里云双十一主会场 阿里云双十一新人会场 1024程序员加油包 阿里云双十一拼团会场 场景化解决方案 阿里云双十一直播大厅