消息服务的日志导出工具是什么?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

消息服务的日志导出工具是什么?

轩墨 2017-10-24 16:10:07 1840

提供日志导出功能,将保存在OSS的日志导出到阿里云日志服务进行查询、分析。

环境依赖


此工具适用于Python 2.6/2.7 版本,Windows平台和Linux平台均可使用。

使用帮助



1. 准备


如果你已经充分了解阿里云日志服务,并且已创建Project、LogStore以及相关索引,请跳过此步骤。

1.1 开通日志服务

  • 登陆阿里云官网,进入日志服务产品页;
  • 单击 [backcolor=transparent]立即开通 开通日志服务;




1.2 创建Project




1.3 创建LogStore

  • 单击Project右侧的 [backcolor=transparent]管理 进入管理页面;
  • 单击 [backcolor=transparent]创建 进入LogStore创建页面;
  • 单击 [backcolor=transparent]取消 关闭提示窗口,因为后面会使用工具导入日志,无需配置logtail;





1.4 创建索引


直接创建默认的索引即可支持大部分查询,如果需要进行更复杂的查询,请参考 文档设置其它索引。


2. 使用工具导出日志


此工具无需安装,下载工具包后,解压进入mnslog_export目录。
  • 命令
  1. [backcolor=transparent]python2[backcolor=transparent].[backcolor=transparent]7[backcolor=transparent] mnslog_export[backcolor=transparent].[backcolor=transparent]py [backcolor=transparent]--[backcolor=transparent]access_id[backcolor=transparent]=[backcolor=transparent]xxx [backcolor=transparent]--[backcolor=transparent]access_key[backcolor=transparent]=[backcolor=transparent]xxx [backcolor=transparent]--[backcolor=transparent]oss_host[backcolor=transparent]=[backcolor=transparent]xxx [backcolor=transparent]--[backcolor=transparent]log_bucket[backcolor=transparent]=[backcolor=transparent]xxx [backcolor=transparent]--[backcolor=transparent]sls_project[backcolor=transparent]=[backcolor=transparent]xxx [backcolor=transparent]--[backcolor=transparent]sls_logstore[backcolor=transparent]=[backcolor=transparent]xxx [backcolor=transparent]--[backcolor=transparent]sls_host[backcolor=transparent]=[backcolor=transparent]xxx [backcolor=transparent]--[backcolor=transparent]queue_name[backcolor=transparent]=[backcolor=transparent]xxx
  • 参数解析
参数名解析
access_id阿里云服务使用 AccessKeyID,登陆AccessKey管理页面查看
access_key阿里云服务使用 AccessKeySecret,登陆AccessKey管理页面查看
oss_hostOSS 接入地址,请在控制台 bucket 概览中获得这个参数, 比如杭州地区的地址是:oss-cn-hangzhou.aliyuncs.com
log_bucket保存MNS日志的 bucket 名称,请在MNS控制台的日志管理页面查看
start_time导日志的起始时间,比如 201503270102, 表示从2015年3月27号1点02分的日志开始
end_time导日志的截至时间,不包含该时间,比如201603270302, 表示到2016年3月27号3点02分截止
sls_hostsls的接入地址,请从日志服务官网获取,比如杭州地区的地址是: cn-hangzhou.sls.aliyun.com
sls_project指定日志导入的 sls project 名称,即第 1.2 步中创建的 Project 名称
sls_logstore指定日志导入 的sls logsotre 名称,即第 1.3 步中创建的logstore名称
queue_name指定需要导入日志的队列名称,queue_name 和 topic_name 只能选择一个
topic_name指定需要导入日志的主题名称,queue_name 和 topic_name 只能选择一个
  • 示例


  • 注意事项

    1. [backcolor=transparent]日志服务只支持导入 7天内的日志,如果start_time太早,工具写日志服务提示失败。

    2. [backcolor=transparent]运行完mnslog_export.py成功上传了日志到sls之后,强烈建议等待60s之后再进入sls控制台进行查询检索,否则可能会出现新上传的数据无法检索显示!


3. 查询日志


将日志从 OSS 导入日志服务1分钟后,即可在日志服务的控制台进行查询。
  • 单击 LogStore 右侧的的 [backcolor=transparent]查询 进入日志查询页面;
  • 选择合适的时间范围,单击 [backcolor=transparent]搜索 将展示时间范围内所有日志;
  • 单击某个MessageId,即可搜索包含该MessageId的所有日志;






下载



[backcolor=transparent]准备


  • 此工具需安装protobuf和simplejson,详情参考链接

  • windows环境安装详细指导

第一阶段:安装python以及pip工具
  1. 进入python官网下载(https://www.python.org/downloads/) 2.7版本python安装包,下载完之后进行安装(例如安装到”D:\Python27”目录)。
  2. 鼠标右键我的电脑 -> 属性 -> 点击高级系统设置 -> 点击环境变量 -> 点击PATH -> 在最后面加上我们的Python安装路径 -> 点击确定。
  3. 进入pip官网(https://pypi.python.org/pypi/pip#downloads) 下载pip-8.1.2.tar.gz文件,下载完毕之后解压缩。
  4. 进入windows命令行cmd(windows7及以上版本可以使用更加人性化的Windows PowerShell ISE)界面,进入到pip的解压所目录,运行[backcolor=transparent]python setup[backcolor=transparent].[backcolor=transparent]py install
鼠标右键我的电脑 -> 属性 -> 点击高级系统设置 -> 点击环境变量 -> 点击PATH -> 在最后面加上我们的Python的Scripts目录(本例中为”D:\Python27\Scripts”) -> 点击确定。
第二阶段:使用pip安装必须protobuf和simplejson组件;

  1. 安装protobuf[backcolor=transparent]pip install protobuf

安装requests
  1. [backcolor=transparent]pip install requests

安装simplejson
  1. [backcolor=transparent]pip install simplejson

如果上述命令报超时,连接不上等错误,请进行如下尝试:
a. 进入当前用户的HOME路径 (C:\Users\$username)创建.pip文件夹以及pip.conf文件
b. 打开pip.conf文件输入如下内容:
  1. [backcolor=transparent][[backcolor=transparent]global[backcolor=transparent]]
  2. [backcolor=transparent]index[backcolor=transparent]-[backcolor=transparent]url [backcolor=transparent]=[backcolor=transparent] http[backcolor=transparent]:[backcolor=transparent]//pypi.v2ex.com/simple

c. 配置完上述之后,重新运行第二阶段中的安装步骤,建议在命令后带上—default-timeout 100选项。

[backcolor=transparent]Version 1.0.0

  • 更新日期: 2016-04-20 下载
  • 功能更新支持将队列/主题的操作日志从OSS导出到阿里云日志服务进行分析查询;


特别注意


[backcolor=transparent]运行完mnslog_export.py成功上传了日志到sls之后,强烈建议等待60s之后再进入sls控制台进行查询检索,否则可能会出现新上传的数据无法检索显示!
消息中间件 监控 Linux 开发工具 对象存储 索引 Python Windows
分享到
取消 提交回答
全部回答(0)
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

推荐文章
相似问题
推荐课程