• 关于

    信息采集

    的搜索结果

问题

Oracle express 版本采集采集少 sqltext 信息 ?

保持可爱mmm 2020-03-29 15:26:47 1 浏览量 回答数 1

回答

登录ET工业大脑控制台,选择AI创作间 > 数据链路进入数据链路配置页面。拖入并配置数据接入组件。拖入设备点位探查引擎组件。 单击设备点位探查引擎组件,进入数据探查页面,可以查看所有设备的详细信息,包括设备ID、设备类型、设备型号、测点个数等。 您也可以在搜索框中输入设备ID,对设备进行搜索,系统支持模糊匹配。 按照以下步骤,对设备数据进行探查。 在设备点位探查页面,单击操作栏下的探查图标,开始对数据进行探查。探查过程可能需要几分钟,请耐心等待。 探查成功后,系统显示最近探查时间。 单击操作栏下的查看结果图标,查看数据探查结果。 数据探查结果显示 测点信息、 采集建议和 操作。 测点信息:显示测点名称和测点描述,可在搜索框中输入测点名称或描述进行搜索,系统支持模糊匹配。采集建议:单击采集建议下拉框选择采集建议类型,对测点进行筛选。采集建议包括以 下几种类型: 建议采集 建议不采集 建议精简点位 建议降频采集 无法判断

剑曼红尘 2020-03-25 09:30:19 0 浏览量 回答数 0

回答

概述 使用Logtail收集日志时,会遇到诸如正则解析失败、文件路径不正确、流量超过Shard服务能力等错误。日志服务控制台提供诊断功能,支持诊断Logtail日志收集错误。本文主要介绍如何查看日志诊断采集错误信息。 详细信息 登录日志服务控制台,单击对应的Project名称。 右侧选择对应的日志库名称,单击 诊断。 进入日志采集错误页面,即可查看该Logstore的所有Logtail收集日志错误列表,单击对应的错误类型,查看错误详情信息。 注:具体错误类型请查看日志采集错误类型。 如果需要查询指定机器的日志采集错误信息,请执行以下步骤。 在日志采集错误页面中,在搜索框中输入指定机器IP地址,查看指定机器的所有采集错误。其中Logtail上报错误信息的时间间隔为5分钟。 处理问题完毕后,根据错误统计时间可以查看业务恢复正常后是否仍有报错。历史报错在过期前仍可显示,您可以忽略这部分报错,仅确认在问题处理完毕的时间点之后是否有新的错误即可。 注:如需查看所有解析失败而丢弃的完整日志行,请登录服务器查看/usr/local/ilogtail/ilogtail.LOG。 适用于 日志服务

保持可爱mmm 2020-03-26 23:01:04 0 浏览量 回答数 0

阿里云试用中心,为您提供0门槛上云实践机会!

0元试用32+款产品,最高免费12个月!拨打95187-1,咨询专业上云建议!

问题

RDS介绍 - 功能特性 -RDS慢日志的采集策略

李沃晟 2019-12-01 21:41:51 710 浏览量 回答数 0

问题

linux系统分布式数据采集机设计

杨冬芳 2019-12-01 20:26:13 885 浏览量 回答数 1

问题

用HttpClient做数据采集时的阻塞问题

蛮大人123 2019-12-01 20:02:33 1168 浏览量 回答数 1

问题

怎样有效防止自己的文章被采集的5大方法

千鸟 2019-12-01 22:01:34 4820 浏览量 回答数 3

回答

概述 完整正则模式要求日志必须采用统一的格式,但有些时候日志中可能会包含多种格式。本文主要介绍如何通过完整正则模式采集包含多种格式的日志。 详细信息 以Java日志为例,它是一个程序日志,既包含正常信息,也会包含异常栈等错误信息,如下所示。 WARNING:多行日志。 INFO:简单文本日志。 DEBUG:键值日志。 [2018-10-01T10:30:31,000] [WARNING] java.lang.Exception: another exception happened at TestPrintStackTrace.f(TestPrintStackTrace.java:3) at TestPrintStackTrace.g(TestPrintStackTrace.java:7) at TestPrintStackTrace.main(TestPrintStackTrace.java:16) [2018-10-01T10:30:32,000] [INFO] info something [2018-10-01T10:30:33,000] [DEBUG] key:value key2:value2 因此建议您可以采用Schema-On-Write和Schema-On-Read任意一种模式进行处理。 Schema-On-Write:同样的一份日志使用多个采集配置,每个采集配置具有不同的正则配置,从而能够正确地实现字段提取。 提示:Logtail不支持对同一个文件同时使用多个采集配置,您需要为该文件所在的目录建立多个软链接,每个采集配置作用于不同的软链接目录,间接实现多个配置同时采集一个文件的目的。 Schema-On-Read:使用它们共同的正则表达式来采集。比如采用多行日志采集,将时间和日志等级配置为行首正则,剩余的部分都为message字段内容。如果希望进一步分析message字段内容,可以为该字段建立索引,然后利用日志服务的正则提取等查询分析功能,从message字段提取需要的内容,基于该内容进行分析。 提示:此方案仅推荐应用于同时分析的日志数量较小的场景下(比如千万级数据处理)。 适用于 日志服务

保持可爱mmm 2020-03-26 23:10:20 0 浏览量 回答数 0

回答

Re首届开发者大赛应用使用说明 【卖家福利】运营助手-淘宝天猫二合一上线了,免费使用! 【运营助手-淘宝天猫二合一】应用指南: 【1】采集全店商品数据——填入对应的店铺名或店铺首页链接,点击采集,采集完成后导出表格即可。 采集店铺所有商品的标题、ID、货号、吊牌价、促销价、库存、总销量、月销量及商品收藏等。 应用场景——中大型活动报名之前,需要统筹全局,了解商品信息,并便于批量提交活动相关的商品信息,利用得当还可挖掘更深层次的数据,理论上支持所有店铺。 【2】采集单品评价——填入对应的单个商品链接,点击采集,采集完成后导出表格即可。 采集单品评价,方便自定义分析,理论上支持所有商品。 应用场景——请根据自己需要进行脑补。 【3】特价宝批量改价——先在excel上计算好折扣价格,然后导入至码栈,点击批量修改等待即可。 适用于商品多的店铺,在excel中批量计算价格后,可利用此工具自动批量修改价格 应用场景——活动后余热期,官方活动的改价工具已经失效,需要自己进行修改,这时熬夜一款一款改价是家常便饭。 ★为了方便更多中小卖家,特集合成二合一版,觉得赞给个好评支持一下,有问题或建议请反馈。 码栈官方粉丝旺旺群 1386481022 联系旺旺 - 对琴待月 联系QQ - 1125302263 码栈平台下载地址:ht tps://codestore.taobao.com/index.htm 下载完成后在应用市场里搜索“运营助手-淘宝天猫二合一”即可免费使用。

对琴待月 2019-12-02 00:29:55 0 浏览量 回答数 0

问题

[@炯轩][¥20]有没有什么工具可以采集移动端的崩溃信息?

黄二刀 2019-12-01 19:27:38 367 浏览量 回答数 1

问题

画像报错,采集数据中缺乏某信息,怎么办?

保持可爱mmm 2020-03-29 15:30:36 0 浏览量 回答数 1

回答

能采集成功吗?这是notice级别的信息,一般不会影响程序运行的。到php.ini里面关闭错误报告就行了######能采集,但采集到的图片路径是远程链接,不是本地文件,即不能下载到本地。这是神马情况?

kun坤 2020-06-06 22:14:30 0 浏览量 回答数 0

回答

能采集成功吗?这是notice级别的信息,一般不会影响程序运行的。到php.ini里面关闭错误报告就行了######能采集,但采集到的图片路径是远程链接,不是本地文件,即不能下载到本地。这是神马情况?

montos 2020-05-31 09:01:06 0 浏览量 回答数 0

回答

能采集成功吗?这是notice级别的信息,一般不会影响程序运行的。到php.ini里面关闭错误报告就行了######能采集,但采集到的图片路径是远程链接,不是本地文件,即不能下载到本地。这是神马情况?

kun坤 2020-05-28 09:29:03 0 浏览量 回答数 0

回答

引用第3楼dongshan8于2016-04-06 12:43发表的  : 楼主您好, 如果您的文章是从mysql数据库里的文件调取出来的,可能需要将版权信息添加到mysql数据表中的内容喔。 如2楼所说,建议是将版权信息添加到程序的模版文件中,这样或许修改一个模版的文件,就可以整站显示版权信息了。如现在这个页面左下角的“© 2009-2016 Aliyun.com 版权所有” [url=https://bbs.aliyun.com/job.php?action=topost&tid=276565&pid=775674][/url] 我是想加不同的版权网址,主要目的是防采集。 采用大小写随机组合成的网址。在网页内容中随意段落插入。让采集的人不太好寻找替换规律(当然,手工采集是防不往的,不过手工采集是一篇一篇点击,也是浏览量很高的访问用户了)

文王之典 2019-12-02 02:10:48 0 浏览量 回答数 0

问题

网站每天来自大量疑似阿里云的IP的访问,疑似在采集网站信息,需要到哪里投诉

20491158 2020-02-11 11:59:49 3 浏览量 回答数 1

问题

Kubernetes 集群 日志管理 采集Kubernetes日志

青蛙跳 2019-12-01 21:33:10 713 浏览量 回答数 0

问题

远程桌面已经构建 桌面内的设备无法采集到智能仪器发射的信息

游客afvmc4ef2bhks 2019-12-01 19:16:46 59 浏览量 回答数 0

问题

SQL 审计采集量在哪里查看?

云栖大讲堂 2019-12-01 21:32:29 1663 浏览量 回答数 0

问题

阿里云创业创新基地明星项目介绍-哈尔滨图景科技

wei.sha 2019-12-01 21:27:03 5692 浏览量 回答数 1

回答

配置Logtail采集日志后,如果预览页面为空,或查询页面显示无数据,可以根据本文步骤进行排查。 操作步骤 确认机器组内Logtail心跳是否正常。 在日志服务控制台查看Logtail机器组心跳状态,详细步骤请参考查看状态。 如果心跳OK则直接进入下一步;如果心跳FAIL则需要进一步排查。详细排查步骤请参考Logtail 机器无心跳。 确认是否创建了Logtail采集配置。 确认Logtail客户端状态正常后,则需要确认是否已创建Logtail配置。务必确认日志监控目录和日志文件名与机器上文件相匹配。目录结构支持完整路径和通配符两种模式。 确认Logtail配置是否已应用到机器组。 查看Logtail机器组,选择 管理配置,确认目标配置是否已经应用到机器组。 检查采集错误。 确认Logtail配置正常后,您需要确认日志文件是否实时产生新数据。Logtail只采集增量数据,存量文件如果没有更新则不会被读取。如日志有更新但未在日志服务中查询到,您可以通过以下方式诊断。 诊断采集错误 进行诊断采集错误,根据Logtail上报的错误类型处理。 查看Logtail日志 客户端日志会记录关键INFO以及所有WARNING、ERROR日志。如果想了解更为实时完整的错误,可以在以下路径查看客户端日志: Linux:/usr/local/ilogtail/ilogtail.LOG Linux:/usr/local/ilogtail/logtail_plugin.LOG (http、mysql binlog、mysql 查询结果等输入源的日志记录) Windows x64 : C:\Program Files (x86)\Alibaba\Logtail\logtail_.log Windows x32 : C:\Program Files\Alibaba\Logtail\logtail_.log 用量超限 如果有大日志量或者大文件数据量的采集需求,可能需要修改Logtail的启动参数,以达到更高的日志采集吞吐量。参考配置启动参数。 在完成以上三步检查后如问题仍未解决,请工单联系日志服务,并附上排查过程中发现的关键信息。

保持可爱mmm 2020-03-26 22:59:05 0 浏览量 回答数 0

问题

有些网站,放阿里云海外主机,采集一些企业的不良信息,收取删除费用

unhome 2019-12-01 21:14:39 2686 浏览量 回答数 2

回答

ADAM画像必须分析完整的采集数据,如果缺乏某些必要信息,请重启采集或联系ADAM工作人员;

保持可爱mmm 2020-03-29 15:31:14 0 浏览量 回答数 0

回答

湖北,数道云大数据,就有分布式数据采集软件国内外海量数据爬取,可实现全网任意网站文本信息的采集,同时可以帮助政企做好品牌舆情

游客4c3lpvjn33j5i 2019-12-02 01:59:43 0 浏览量 回答数 0

回答

Logtail具备自身健康度以及日志采集进度查询的功能,便于您对于日志采集问题进行自检,同时您可基于该功能定制日志采集的状态监控。 使用指南 all命令 active命令 logstore命令 logfile命令 history命令 命令返回值 功能使用场景示例 监控Logtail运行状态 监控日志采集进度 判断日志文件是否采集完毕 日志采集问题排查 使用指南 确认已安装支持状态查询功能的Logtail客户端之后,在客户端输入相对命令即可查询本地采集状态。安装Logtail参见安装Logtail(Linux系统)。 在客户端输入命令 /etc/init.d/ilogtaild -h,确认当前客户端是否支持本地采集状态查询功能。若输出logtail insight, version关键字则表示已安装支持此功能的Logtail。 /etc/init.d/ilogtaild -h Usage: ./ilogtaild { start | stop (graceful, flush data and save checkpoints) | force-stop | status | -h for help}$ logtail insight, version : 0.1.0 commond list : status all [index] get logtail running status status active [--logstore | --logfile] index [project] [logstore] list all active logstore | logfile. if use --logfile, please add project and logstore. default --logstore status logstore [--format=line | json] index project logstore get logstore status with line or json style. default --format=line status logfile [--format=line | json] index project logstore fileFullPath get log file status with line or json style. default --format=line status history beginIndex endIndex project logstore [fileFullPath] query logstore | logfile history status. index : from 1 to 60. in all, it means last $(index) minutes; in active/logstore/logfile/history, it means last $(index)*10 minutes Logtail目前支持的查询命令、命令功能、可查询的时间区间以及结果统计的时间窗口如下: 命令 功能 可查询时间区间 统计窗口 all 查询Logtail的运行状态 最近60分钟 1分钟 active 查询当前活跃(有数据采集)的Logstore或日志文件 最近600分钟 10分钟 logstore 查询Logstore的采集状态 最近600分钟 10分钟 logfile 查询日志文件的采集状态 最近600分钟 10分钟 history 查询Logstore或日志文件一段时间内的采集状态 最近600分钟 10分钟 说明 命令中的index参数代表查询的时间窗口索引值,有效值为1~60,从当前时间开始计算。若统计窗口是1分钟,则查询距当前(index, index-1]分钟内的窗口;若统计窗口是10分钟,则查询距当前(10index, 10(index-1)]分钟内的统计窗口 所有查询命令均属于status子命令,因此主命令为status。 all命令 命令格式 /etc/init.d/ilogtaild status all [ index ] 说明 all命令用来查看Logtail的运行状态。index为可选参数,不输入时默认代表1。 示例 /etc/init.d/ilogtaild status all 1 ok /etc/init.d/ilogtaild status all 10 busy 输出信息描述 项目 描述 紧急度 解决方法 ok 当前状态正常。 无 无需处理。 busy 当前采集速度较高,Logtail状态正常。 无 无需处理。 many_log_files 当前正在采集的日志数较多。 低 检查配置中是否包含无需采集的文件。 process_block 当前日志解析出现阻塞。 低 检查日志产生速度是否过高,若一直出现,按需调整配置启动参数修改CPU使用上限或网络发送并发限制。 send_block 当前发送出现阻塞。 较高 检查日志产生速度是否过高以及网络状态是否正常,若一直出现,按需调整配置启动参数修改CPU使用上限或网络发送并发限制。 send_error 日志数据上传失败。 高 参考诊断采集错误解决。 active命令 命令格式 /etc/init.d/ilogtaild status active [--logstore] index /etc/init.d/ilogtaild status active --logfile index project-name logstore-name 说明 命令active [--logstore] index用来查看当前活跃的Logstore,--logstore参数可以省略,命令含义不变。 命令active --logfile index project-name logstore-name用来查看某Project中Logstore下的所有活跃日志文件。 active命令用来逐级查看活跃的日志文件。建议您先定位当前活跃的Logstore,再定向查询该Logstore下的活跃日志文件。 示例 /etc/init.d/ilogtaild status active 1 sls-zc-test : release-test sls-zc-test : release-test-ant-rpc-3 sls-zc-test : release-test-same-regex-3 /etc/init.d/ilogtaild status active --logfile 1 sls-zc-test release-test /disk2/test/normal/access.log 输出信息描述 执行命令active --logstore index,则以project-name : logstore-name形式输出当前所有活跃Logstore;若执行命令active --logfile index project-name logstore-name,则输出活跃日志文件的完整路径。 若Logstore或日志文件在查询窗口期内没有日志采集活动,则不会出现在active命令的输出信息中。 logstore命令 命令格式 /etc/init.d/ilogtaild status logstore [--format={line|json}] index project-name logstore-name 说明 命令logstore指定以line或json形式输出指定Project和Logstore的采集状态。 如果不配置--format=参数,则默认选择--format=line,按照line形式输出回显信息。注意:--format参数需位于logstore之后。 若无该Logstore或该Logstore在当前查询窗口期没有日志采集活动,则line形式输出为空,json下为null。 示例 /etc/init.d/ilogtaild status logstore 1 sls-zc-test release-test-same time_begin_readable : 17-08-29 10:56:11 time_end_readable : 17-08-29 11:06:11 time_begin : 1503975371 time_end : 1503975971 project : sls-zc-test logstore : release-test-same status : ok config : ##1.0##sls-zc-test$same read_bytes : 65033430 parse_success_lines : 230615 parse_fail_lines : 0 last_read_time : 1503975970 read_count : 687 avg_delay_bytes : 0 max_unsend_time : 0 min_unsend_time : 0 max_send_success_time : 1503975968 send_queue_size : 0 send_network_error_count : 0 send_network_quota_count : 0 send_network_discard_count : 0 send_success_count : 302 send_block_flag : false sender_valid_flag : true /etc/init.d/ilogtaild status logstore --format=json 1 sls-zc-test release-test-same { "avg_delay_bytes" : 0, "config" : "##1.0##sls-zc-test$same", "last_read_time" : 1503975970, "logstore" : "release-test-same", "max_send_success_time" : 1503975968, "max_unsend_time" : 0, "min_unsend_time" : 0, "parse_fail_lines" : 0, "parse_success_lines" : 230615, "project" : "sls-zc-test", "read_bytes" : 65033430, "read_count" : 687, "send_block_flag" : false, "send_network_discard_count" : 0, "send_network_error_count" : 0, "send_network_quota_count" : 0, "send_queue_size" : 0, "send_success_count" : 302, "sender_valid_flag" : true, "status" : "ok", "time_begin" : 1503975371, "time_begin_readable" : "17-08-29 10:56:11", "time_end" : 1503975971, "time_end_readable" : "17-08-29 11:06:11" } 输出信息描述 关键字 含义 单位 status 该Logstore整体状态。具体状态、含义以及修改方式见下表。 无 time_begin_readable 可读的开始时间。 无 time_end_readable 可读的截止时间。 无 time_begin 统计开始时间。 Unix时间戳,秒 time_end 统计结束时间。 Unix时间戳,秒 project Project名。 无 logstore Logstore名。 无 config 采集配置名(由##1.0## + project + $ + config组成的全局唯一配置名)。 无 read_bytes 窗口内读取日志数。 字节 parse_success_lines 窗口内日志解析成功的行数。 行 parse_fail_lines 窗口内日志解析失败的行数。 行 last_read_time 窗口内最近的读取时间。 Unix时间戳,秒 read_count 窗口内日志读取次数。 次数 avg_delay_bytes 窗口内平均每次读取时当前偏移量与文件大小差值的平均值。 字节 max_unsend_time 窗口结束时发送队列中未发送数据包的最大时间,队列空时为0。 Unix时间戳,秒 min_unsend_time 窗口结束时发送队列中未发送数据包的最小时间,队列空时为0。 Unix时间戳,秒 max_send_success_time 窗口内发送成功数据的最大时间。 Unix时间戳,秒 send_queue_size 窗口结束时当前发送队列中未发送数据包数。 个 send_network_error_count 窗口内因网络错误导致发送失败的数据包个数。 个 send_network_quota_count 窗口内因quota超限导致发送失败的数据包个数。 个 send_network_discard_count 窗口内因数据异常或无权限导致丢弃数据包的个数。 个 send_success_count 窗口内发送成功的数据包个数。 个 send_block_flag 窗口结束时发送队列是否阻塞。 无 sender_valid_flag 窗口结束时该Logstore的发送标志位是否有效,true代表正常,false代表可能因为网络错误或quota错误而被禁用。 无 Logstore状态列表 状态 含义 处理方式 ok 状态正常 无需处理。 process_block 日志解析阻塞 检查日志产生速度是否过高,若一直出现,按需调整配置启动参数修改CPU使用上限或网络发送并发限制。 parse_fail 日志解析失败 检查日志格式与日志采集配置是否一致。 send_block 当前发送出现阻塞 检查日志产生速度是否过高以及网络状态是否正常,若一直出现,按需调整配置启动参数修改CPU使用上限或网络发送并发限制。 sender_invalid 日志数据发送异常 检查网络状态,若网络正常,参考诊断采集错误解决。 logfile命令 命令格式 /etc/init.d/ilogtaild status logfile [--format={line|json}] index project-name logstore-name fileFullPath 说明 logfile命令指定以line或json形式输出指定日志文件的采集状态。 如果不配置--format=参数,则默认选择--format=line,按照line形式输出回显信息。 若无该logfile或该logfile在当前查询窗口期没有日志采集活动,则line形式输出为空,json下为null。 --format参数需位于logfile之后。 filefullpath必须是全路径名。 示例 /etc/init.d/ilogtaild status logfile 1 sls-zc-test release-test-same /disk2/test/normal/access.log time_begin_readable : 17-08-29 11:16:11 time_end_readable : 17-08-29 11:26:11 time_begin : 1503976571 time_end : 1503977171 project : sls-zc-test logstore : release-test-same status : ok config : ##1.0##sls-zc-test$same file_path : /disk2/test/normal/access.log file_dev : 64800 file_inode : 22544456 file_size_bytes : 17154060 file_offset_bytes : 17154060 read_bytes : 65033430 parse_success_lines : 230615 parse_fail_lines : 0 last_read_time : 1503977170 read_count : 667 avg_delay_bytes : 0 /etc/init.d/ilogtaild status logfile --format=json 1 sls-zc-test release-test-same /disk2/test/normal/access.log { "avg_delay_bytes" : 0, "config" : "##1.0##sls-zc-test$same", "file_dev" : 64800, "file_inode" : 22544456, "file_path" : "/disk2/test/normal/access.log", "file_size_bytes" : 17154060, "last_read_time" : 1503977170, "logstore" : "release-test-same", "parse_fail_lines" : 0, "parse_success_lines" : 230615, "project" : "sls-zc-test", "read_bytes" : 65033430, "read_count" : 667, "read_offset_bytes" : 17154060, "status" : "ok", "time_begin" : 1503976571, "time_begin_readable" : "17-08-29 11:16:11", "time_end" : 1503977171, "time_end_readable" : "17-08-29 11:26:11" } 输出信息描述 关键字 含义 单位 status 该日志文件当前窗口期的采集状态,参见logstore命令的status。 无 time_begin_readable 可读的开始时间。 无 time_end_readable 可读的截止时间。 无 time_begin 统计开始时间。 Unix时间戳,秒 time_end 统计结束时间。 Unix时间戳,秒 project Project名。 无 logstore Logstore名。 无 file_path 该日志文件路径。 无 file_dev 该日志文件的device id。 无 file_inode 该日志文件的inode。 无 file_size_bytes 窗口内最近一次扫描到的该文件大小。 字节 read_offset_bytes 当前该文件解析偏移量。 字节 config 采集配置名(由##1.0## + project + $ + config组成的全局唯一配置名)。 无 read_bytes 窗口内读取日志数。 字节 parse_success_lines 窗口内日志解析成功的行数。 行 parse_fail_lines 窗口内日志解析失败的行数。 行 last_read_time 窗口内最近的读取时间。 Unix时间戳,秒 read_count 窗口内日志读取次数。 次数 avg_delay_bytes 窗口内平均每次读取时当前偏移量与文件大小差值的平均值。 字节 history命令 命令格式 /etc/init.d/ilogtaild status history beginIndex endIndex project-name logstore-name [fileFullPath] 说明 history命令用来查询Logstore或日志文件一段时间内的采集状态。 beginIndex、endIndex分别为代码查询窗口索引的起始值和终止值,需确保beginIndex <= endIndex。 若参数中不输入fileFullPath,则代码查询Logstore的采集信息;否则查询日志文件的采集信息。 示例 /etc/init.d/ilogtaild status history 1 3 sls-zc-test release-test-same /disk2/test/normal/access.log begin_time status read parse_success parse_fail last_read_time read_count avg_delay device inode file_size read_offset 17-08-29 11:26:11 ok 62.12MB 231000 0 17-08-29 11:36:11 671 0B 64800 22544459 18.22MB 18.22MB 17-08-29 11:16:11 ok 62.02MB 230615 0 17-08-29 11:26:10 667 0B 64800 22544456 16.36MB 16.36MB 17-08-29 11:06:11 ok 62.12MB 231000 0 17-08-29 11:16:11 687 0B 64800 22544452 14.46MB 14.46MB $/etc/init.d/ilogtaild status history 2 5 sls-zc-test release-test-same begin_time status read parse_success parse_fail last_read_time read_count avg_delay send_queue network_error quota_error discard_error send_success send_block send_valid max_unsend min_unsend max_send_success 17-08-29 11:16:11 ok 62.02MB 230615 0 17-08-29 11:26:10 667 0B 0 0 0 0 300 false true 70-01-01 08:00:00 70-01-01 08:00:00 17-08-29 11:26:08 17-08-29 11:06:11 ok 62.12MB 231000 0 17-08-29 11:16:11 687 0B 0 0 0 0 303 false true 70-01-01 08:00:00 70-01-01 08:00:00 17-08-29 11:16:10 17-08-29 10:56:11 ok 62.02MB 230615 0 17-08-29 11:06:10 687 0B 0 0 0 0 302 false true 70-01-01 08:00:00 70-01-01 08:00:00 17-08-29 11:06:08 17-08-29 10:46:11 ok 62.12MB 231000 0 17-08-29 10:56:11 692 0B 0 0 0 0 302 false true 70-01-01 08:00:00 70-01-01 08:00:00 17-08-29 10:56:10 输出信息描述 该命令以列表形式输出Logstore或日志文件的历史采集信息,每个窗口期一行。 输出字段含义请参见logstore和logfile命令。 命令返回值 正常返回值 所有命令输入有效情况下返回值为0(包括无法查询到Logstore或日志文件),例如: /etc/init.d/ilogtaild status logfile --format=json 1 error-project error-logstore /no/this/file null echo $? 0 /etc/init.d/ilogtaild status all ok echo $? 0 异常返回值 返回值非0时,说明发生异常,请参考以下信息。 返回值 类型 输出 问题排查 10 无效命令或缺少参数 invalid param, use -h for help. 输入-h查看帮助。 1 查询超过1-60的时间窗口 invalid query interval 输出-h查看帮助。 1 无法查询到指定时间窗口 query fail, error: $(error),具体参见errno释义 可能原因是logtail启动时间小于查询时间跨度,其他情况请提交工单处理。 1 查询窗口时间不匹配 no match time interval, please check logtail status 检查Logtail是否在运行,其他情况请提交工单处理。 1 查询窗口内没有数据 invalid profile, maybe logtail restart 检查Logtail是否在运行,其他情况请提交工单处理。 示例 /etc/init.d/ilogtaild status nothiscmd invalid param, use -h for help. echo $? 10 /etc/init.d/ilogtaild status/all 99 invalid query interval echo $? 1 功能使用场景示例 通过Logtail健康度查询可以获取Logtail当前整体状态;通过采集进度查询可以获取采集过程中的相关指标信息。用户可根据获取的这些信息实现自定义的日志采集监控。 监控Logtail运行状态 通过all命令实现Logtail运行状态监控。 实现方式:每隔一分钟定期查询Logtail当前状态,若连续5分钟状态处于process_block、send_block、send_error则触发报警。 具体报警持续时间以及监控的状态范围可根据具体场景中日志采集重要程度调整。 监控日志采集进度 通过logstore命令实现具体日志库采集进度监控。 实现方式:定期每隔10分钟调用logstore命令获取该logstore的状态信息,若avg_delay_bytes超过1MB(1024*1024)或status不为ok则触发报警。 具体avg_delay_bytes报警阈值可根据日志采集流量调整。 判断日志文件是否采集完毕 通过logfile命令判断日志文件是否采集完毕。 实现方式:日志文件已经停止写入后,定期每隔10分钟调用logfile命令获取该文件的状态信息,若该文件read_offset_bytes与file_size_bytes一致,则该日志文件已经采集完毕。 日志采集问题排查 若发现某台服务器日志采集进度延迟,可用history命令查询该服务器上相关的采集信息。 send_block_flag为true,则说明日志采集进度延迟block在网络部分。 若send_network_quota_count大于0时,需要对Logstore的Shard进行分裂。 若send_network_error_count大于0时,需要检查网络连通性。 若无相关network error,则需要调整Logtail的发送并发以及流量限制。 发送部分相关参数正常但avg_delay_bytes较高。 可根据read_bytes计算出日志平均解析速度,判断日志产生流量是否异常。 可适当调整logtail的资源使用限制。 parse_fail_lines大于0。 检查日志采集解析配置是否能够匹配所有日志。

保持可爱mmm 2020-03-26 23:03:23 0 浏览量 回答数 0

回答

日志服务(Log Service,简称 LOG)是针对日志类数据的一站式服务。您无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能。在Knative中结合日志服务,能有效提升对Serverless应用的运维能力。 前提条件 您已经开通日志服务,请参见使用日志服务进行Kubernetes日志采集。 您已经部署Knative Service服务,请参见部署 Serving Hello World 应用。 操作步骤 为Helloworld接入日志采集。 请参见通过DaemonSet-控制台方式采集Kubernetes标准输出。 登录日志服务管理控制台。 在Project列表区域,单击创建Project创建名称为hellword的项目。详细操作请参见操作Logstore。 在helloworld项目页面的右上角,单击接入数据,弹出接入数据页面。 选择Docker标准输出,进入Docker标准输出配置页面。 指定采集模式 在选择日志空间配置中,确认日志空间信息并单击下一步。 设置创建机器组。 若您已经安装Logtail日志组件,请点击使用现有机器组。 您可以选择Kubernetes或者标准Docker采集进行日志采集。具体操作,请参见使用日志服务进行Kubernetes日志采集和采集标准Docker容器日志。 单击确认安装完毕。 设置机器组配置。 设置数据源设置。 插件配置这里我们针对helloworld-go Service,设置采集的环境变量为:"K_SERVICE": "helloworld-go"。并且通过 processors 分割日志信息,如这里"Keys": [ "time","level", "msg" ]。插件配置示例如下。 { "inputs": [ { "detail": { "IncludeEnv": { "K_SERVICE": "helloworld-go" }, "IncludeLabel": {}, "ExcludeLabel": {} }, "type": "service_docker_stdout" } ], "processors": [ { "detail": { "KeepSource": false, "NoMatchError": true, "Keys": [ "time", "level", "msg" ], "NoKeyError": true, "Regex": "(\d+-\d+-\d+\s+\d+:\d+:\d+)\s+(\w+)\s+(.*)", "SourceKey": "content" }, "type": "processor_regex" } ] } 数据源设置完成后,单击下一步。 在查询分析配置页面,开启全文索引,设置查询字段索引属性。 单击下一步进入结束页面。 执行以下命令,访问Hello World示例服务。 此时会产生日志信息。 $ curl -H "Host: helloworld-go.default.example.com" http://112.124.XX.XX Hello Knative! 在日志库的目标日志右侧悬浮鼠标至图标日志库图标上,选择日志库图标 > 查询分析,可以看到该logstore的日志信息。 设置查询分析。 请参见实时分析简介。 为了便于查看,您可以通过列设置显示所需要的列。下图中的示例设置了level、msg和time这三列。查询logstore 总结 通过上面的介绍,可以帮助您了解如何在Knative中使用日志服务收集Serverless应用容器日志。在Knative中采用日志服务收集、分析业务日志,满足了生产级别的Serverless应用运维的诉求。

1934890530796658 2020-03-31 20:12:33 0 浏览量 回答数 0

问题

云监控主机监控的插件 Release Notes

反向一觉 2019-12-01 21:24:13 1265 浏览量 回答数 0

问题

数据采集上传到云平台该选择购买哪种云平台?

博博李 2019-12-01 20:19:27 1116 浏览量 回答数 1

问题

利用 log-pilot + elasticsearch + kibana 搭建 kubernetes 日志解决方案

青蛙跳 2019-12-01 21:33:11 834 浏览量 回答数 0

回答

物联网云平台需具备以下功能。 (1)业务受理、开通、计费功能 要成为物联网业务的服务提供商,需要建立一套面向客户、传感器厂商、第三方行业应用提供商的运营服务体系,包括组织、流程、产品、支撑系统,其中支撑系统应具备业务受理、开通、计费等功能,能够提供物联网产品的快速开通服务。 (2)信息采集、存储、计算、展示功能 物联网云平台需要支持通过无线或有线网络采集传感网络节点上的物品感知信息,进行格式转换、保存和分析计算。相比互联网相对静态的数据,在物联网环境下,将更多地涉及基于时间和空间特征、动态的超大规模数据计算,并且不同行业的计算模型不同。这些应用所产生的海量数据对物联网运营平台的采集、存储、计算能力都提出了巨大的挑战。 (3)行业的灵活拓展应用模式 不同行业的业务规则和流程不同,其应用的功能和计算需求也有差别,例如在大气环保监控应用中,需要根据大气环境监测设备上采集到的降尘、一氧化碳、二氧化硫等数据,按一定的指标计算规则进行分析计算,得出分析结果,展现到监控中心计算机或监控人员手机上;而在电力抄表应用中,对于采集到的用户电表读数,将会用于计算当月用电量和电费,生成电费账单,进而支持收费销账。 因此物联网云平台不可能是一个封闭自运行的应用系统,需要具备第三方行业应用的集成能力即要能提供给第三方合作开发者灵活拓展的云端应用开发API接口,从而能够满足不同行业应用的差异化功能要求。 “答案来源于网络,供您参考”

牧明 2019-12-02 02:15:09 0 浏览量 回答数 0
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 2020阿里巴巴研发效能峰会 企业建站模板 云效成长地图 高端建站 阿里云双十一主会场 阿里云双十一新人会场 1024程序员加油包 阿里云双十一拼团会场 场景化解决方案 阿里云双十一直播大厅