批量导入历史文件到日志服务-阿里云开发者社区

开发者社区> 云雷> 正文

批量导入历史文件到日志服务

简介:
+关注继续查看

批量导数据的场景

日志服务主要接收实时写入日志,通过在机器上安装logtail,在控制台配置logtail配置,就能够实时收集到新产生的日志。但是对于一下场景

  • 新接入SLS的用户,希望把老的数据导入SLS。
  • 用户误操作造成的数据没有收集,需要补数据。
  • 日志不是实时产生,但需要批量导入,比如mysql binlog。

对于以上场景,用户需要使用日志服务的批量导数据工具才能够把数据写入日志服务。

导数据操作步骤

以下以导入/var/log/nginx/error_log.1到日志服务的nginx_log这个logstore为例,介绍导入历史数据的操作流程:

  1. 下载导数据工具 地址1 到你需要导数据的机器上.
  2. 在控制台为logstore(nginx_log)配置logtail配置,如果已经有了logtail配置,请忽略该步骤。logtail配置只需要正则式和时间格式能够匹配文件内容,不要求路径和文件名匹配。
  3. 把logtail配置应用到机器组上,机器组列表要包含导数据的机器ip、
  4. 在机器上执行
./import_log  --dir=/var/log/nginx/ --file=error_log.1 --begin_time=1443567661 --end_time=1448838061 \
--sls_region=cn-yunlei --project=ali-slsyunlei-scmg --logstore=nginx_error_log --topic=  \
--use_system_time=false  --quota_mb_per_min=500 --quota_qps=200   --dry_run=false

命令参数介绍

  • 文件相关参数

    • 目录名 --dir
    • 文件名 --file
    • 起始时间表示从哪个时间点开始导入数据 --begin_time
    • 结束时间表示导入数据截至到哪个时间点 --end_time
  • 日志服务参数,分别表示导入到哪个sls_region下的哪个project的logstore中,topic是什么

    • sls_region
    • project
    • logstore
    • topic
  • 系统参数

    • quota_qps 每分钟发送次数
    • quota_mb_per_min 每分钟数据量Mb
    • use_system_time=true 使用系统时间
    • dry_run=true 调试,把日志打印到终端
  • Region地址

    + cn-hangzhou  
    + cn-qingdao 
    + cn-beijing 
    + cn-shenzhen  
    

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
容器日志采集利器Log-Pilot
容器时代越来越多的传统应用将会逐渐容器化,而日志又是应用的一个关键环节,那么在应用容器化过程中,如何方便快捷高效地来自动发现和采集应用的日志,如何与日志存储系统协同来高效存储和搜索应用日志,本文将主要跟大家分享下如何通过Log-Pilot来采集容器的标准输出日志和容器内文件日志。
13504 0
怎么设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程
7367 0
从 Git 提交历史中「恢复」文件修改时间
几个月之前,我贪图部署方便,把博客的部署方式,从本地编译推送更新变成了借助 Github 和 Travis-CI 自动部署。 用了几个月一直相安无事,直到几天前我小小修改了一下主题,展示了文章的更新日期。 本地调试的时候一切正常,直到我把变更推到 Github,触发了自动部署。下图就是出乎意料的
5424 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
8219 0
如何通过Log-Pilot来采集Kubernetes Pod日志
本文主要跟大家分享下如何通过Log-Pilot来配置采集Kubernetes集群中Pod的日志。
5836 0
+关注
云雷
日志计算驱动业务增长 让天下没有难分析的日志
103
文章
2
问答
来源圈子
更多
阿里云存储基于飞天盘古2.0分布式存储系统,产品包括对象存储OSS、块存储Block Storage、共享文件存储NAS、表格存储、日志存储与分析、归档存储及混合云存储等,充分满足用户数据存储和迁移上云需求,连续三年跻身全球云存储魔力象限四强。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载