调用API接口下载腾讯CDN访问日志

简介:

公司使用腾讯cdn为网站静态内容加速,由于业务需求,需要每天下载昨天的日志(因为腾讯方面给出回复,访问日志会有2个小时或以上时间的延迟,所以不建议下载当天日志,所以每天统计前一天的日志以做分析)。因为cdn是由运维来管理,但是这个需求是业务的,如果每天都由运维进行下载,再通过邮件或其他工具发送,可能就显得麻烦。所幸腾讯CDN提供了API接口,因此采用shell脚本调用API进行下载的方式,定期下载日志,这样只要业务人员运行这个脚本就能自行下载日志,解放了运维的工作。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
#!/bin/bash
#########################################################
#This script is to download yesterday's log \
#files in Telent CDN
#writed on 2016-08-11 
#########################################################
Timestamp=` date  +%s`
Nonce=$RANDOM
LastDay=` date  -d  "yesterday"  +%Y%m%d`
Domain=xxxxxxxxxxxxxxxxx       #此处为你需要下载日志的域名
ID=xxxxxxxxxxxxxxxxx           #此处为你在腾讯cdn上的secretId
key=xxxxxxxxxxxxxxxxx          #此处为你在腾讯cdn上的secretKey,可以在腾讯cdn后台生成
SURL= "GETcdn.api.qcloud.com/v2/index.php?Action=GenerateLogList&Nonce=${Nonce}&SecretId=${ID}&Timestamp=${Timestamp}&hostId=xxxxxx"   #hostId为你的域名的id,可通过腾
                           #讯提供的php脚本查看,当然也可以使shell或python\
sigure=` echo  -n $SURL | openssl sha1 -binary -hmac  "${key}"  | base64| sed  's/=/%3D/g;s/+/%2B/g;s/\//%2F/g' `
HTTP_SURL=` echo  -n $SURL |  sed  s #^GET#HTTPS://#`
Cur_URL=` echo  "${HTTP_SURL}&Signature=${sigure}" `
Log_URL=`curl -s -l --url $Cur_URL| sed   's/},{/\n/g' | grep  "$LastDay" | awk  -F '"'  '{print $14}' | sed  -e  's#\\\/#\/#g' `
#echo $Log_URL
cd  $HOME
if  [ -d . /cdnlogs/ $LastDay ] 
then 
      cd  . /cdnlogs/ $LastDay 
else 
      mkdir  -p . /cdnlogs/ $LastDay &&  cd  . /cdnlogs/ $LastDay
fi
if  [ -f $LastDay-$Domain.gz ]
then
      echo  "The file was exist now."
      exit  127
else
    
         wget -q -O $LastDay-$Domain.gz  $Log_URL >> /dev/null  2>&1
         
         if  [ $? - eq  0 ]
              then 
                    echo  -e   "\033[32mDownload log file successful.\033[0m"
              else 
                    echo  -e  "\033[31mDownload log file failed.\033[0m"
         fi
fi

 资料参考:

 https://www.qcloud.com/doc/api/231/3950

补充:在SURL中的接口参数是区分大小写的,因为在调试的时候hostId写成了hostid,大概调试了快一个小时都是错误4000,invalid parameter,这点需要注意。

https://github.com/QcloudApi/qcloudapi-sdk-php 如果会php的话,这里有现成的,可惜我不会,唉~



本文转自 jerry1111111 51CTO博客,原文链接:http://blog.51cto.com/jerry12356/1836944,如需转载请自行联系原作者

相关文章
|
26天前
|
SQL 安全 API
api接口是什么意思,api接口该如何防护呢?
api接口是什么意思,api接口该如何防护呢?
|
10天前
|
数据采集 数据挖掘 API
主流电商平台数据采集API接口|【Python爬虫+数据分析】采集电商平台数据信息采集
随着电商平台的兴起,越来越多的人开始在网上购物。而对于电商平台来说,商品信息、价格、评论等数据是非常重要的。因此,抓取电商平台的商品信息、价格、评论等数据成为了一项非常有价值的工作。本文将介绍如何使用Python编写爬虫程序,抓取电商平台的商品信息、价格、评论等数据。 当然,如果是电商企业,跨境电商企业,ERP系统搭建,我们经常需要采集的平台多,数据量大,要求数据稳定供应,有并发需求,那就需要通过接入电商API数据采集接口,封装好的数据采集接口更方便稳定高效数据采集。
|
1天前
|
缓存 中间件 API
|
1天前
|
数据采集 JavaScript API
第三方系统访问微搭低代码的后端API
第三方系统访问微搭低代码的后端API
|
1天前
|
数据采集 监控 安全
各种业务场景调用API代理的API接口教程
API代理的API接口在各种业务场景中具有广泛的应用,本文将介绍哪些业务场景可以使用API代理的API接口,并提供详细的调用教程和代码演示,同时,我们还将讨论在不同场景下使用API代理的API接口所带来的好处。
|
2天前
|
API 开发者 Python
亚马逊API接口推荐:亚马逊商品详情数据接口和商品列表数据接口
亚马逊API接口推荐:亚马逊商品详情数据接口和商品列表数据接口
10 0
|
2天前
|
API PHP 开发者
大麦网 API 接口商品详情信息 API
为了让更多用户了解到大麦网的商品详情,并能够方便地获取相关信息,大麦网推出了商品详情 API 接口。本文将介绍大麦网商品详情 API 接口的作用、使用方法和注意事项,帮助广大开发者更加方便地接入大麦网的产品。
|
3天前
|
API 开发工具 数据安全/隐私保护
API接口的对接流程和注意事项
随着互联网技术的发展和应用的普及,API接口已经成为不同系统、不同应用之间进行交互和数据交换的重要方式。API接口使得不同的系统能够互相调用对方的功能,提高了系统的灵活性和扩展性。但是,在进行API接口对接的过程中,需要注意一些流程和事项,以确保对接的顺利进行和系统的稳定运行。
|
4天前
|
监控 供应链 API
为多渠道销售集成商品API接口的正式步骤指南
摘要: 在当今的零售环境中,企业通过多渠道销售策略来扩大市场覆盖范围并提高客户接触率。商品API接口的集成是实现这一目标的关键技术手段之一。本文旨在提供一套系统的步骤指南,帮助企业高效地为其多渠道销售体系集成商品API接口。
|
4天前
|
数据挖掘 API 数据处理
获取商品详情信息API接口:1688开放平台功能解析
首先,要获取商品详情信息,开发者需要向1688开放平台申请相应的权限,并遵循其调用规则。在调用商品详情信息API接口时,需要传入相应的请求参数,如商品ID、调用时间戳、密钥等。这些参数对于确保接口的正常运行至关重要。

热门文章

最新文章

相关产品

  • 云迁移中心