喜欢钻研新的语言,动手实践自己想要学会的知识。
暂时未有相关通用技术能力~
阿里云技能认证
详细说明浅谈 在调用阿里云 CDN openAPI,经常会出现各种各样的问题排查起来没有好的思路不好分析,今天说下基本的排查思路。 分析 不管调什么 CDN openAPI,无论是控制台还是 SDK 或者用户的脚本,出现问题都可以按照如下思路排查。
浅谈 用过经过 CDN 加速后有两段解析过程 1)localDNS 通过本地缓存或者递归查找的过程。2)CDN NS 授权服务器走 CDN 调度返回的一个结果。 第一种,可以通过常用的 dig +trace 看完整的域名递归过程第二种,可以通过一些解析调度的网络来分析比如 ipip.net; 案例分析 案例 客户端在河北电信出口,但是解析到了江苏镇江电信。
浅谈 本章节主要讲解上传视频到点播 VOD 存储时,控制台上显示的状态异常问题排查。 案例分析 案例 用户调用 createuploadvideoauth 获取上传凭证成功后,开始上传点播存储,发现大量的视频都是上传中的状态 排查 1)先了解下用户点播上传凭证上传的流程 先通过 CreateUploadVideo 接口获取一个有效的上传地址。
背景 视频截帧功能是针对用户存储在 OSS 的视频,根据视频关键帧进行截图的一个功能。 截图的主要参数 参数 描述 取值范围 t 截图时间 单位ms,[0,视频时长] w 截图宽度,如果指定为0则自动计算 像素值:[0,视频宽度] h 截图高度,如果指定为0则自动计算,如果w和h.
浅谈 ScheduleX 简称分布式任务调度,简单的可以理解为就是一个分布式的计划任务,多台机器安装了 ScheduleX 的客户端后,用户可以在 控制台进行统计的任务调度和分配处理。 schedulerx-console 是 SchedulerX 的控制台,用于创建、管理定时任务。
浅谈: OSS 的事件通知本质上是调用客户的 mns 产品,在 OSS 操作成功后,根据对应的事件类型触发 mns 回调,涉及到两个产品 OSS、mns ,排查时也要分开排查不能混为一谈。 使用遇到问题 案例: 控制台上配置事件通知报错,configurationcountlimitexception 排查: 出现这种问题异常后说明默认的,mns 产品的事件通知已经达到上限(默认是 10),如果想要提升数量请提交工单联系 mns 产品责任人提升,非 OSS 故障。
应用发布流程 发布应用发布出现错误的,请优先看下你自己的应用发布单,看下是卡在哪一步导致的失败,点开发布单能看到每一步执行的信息,其中最关键的就是执行部署、SLB 上线这两个环节。其中最容易出现错误就是,启动应用中的这几个步骤点开每一步都能看到详细的过程,定位错误。
第一步:创建空的 RAM 子账号 testaliyun 第二步:创建角色 xueba 第三步:创建一个访问 OSS 策略,xuebajun 策略请改成您自己的,我这个策略的效果就是,能够上传、下载、list 分片、中断分片上传,其他策略请参考我的 RAM 合集文章 { "Vers.
浅谈 staragent 是什么?部署在 ECS 上的一个组件,两个主要功能: 数据功能,上报 ECS 上的系统日志 命令功能,接收控制台的下发指令,上报心跳状态,记录执行任务过程等功能。 主要目录结构 主要的目录都统计出来,不重要的目录这里就不过介绍。
浅谈 今天带来的是 OSS brower js SDK 的安装过程和使用的 demo 测试用例。 环境准备 OSS brower js SDK 是基于 node js 框架上的服务端程序,服务端启动以后,提供客户端的访问地址。
浅谈 最近遇到很多人使用阿里云点播 web 播放器,通过 STS 令牌的方式去播放 MTS 转码完成后的资源出现问题,”路见不平一声吼,写个过程先献丑“,只是做了最基础的功能,看官有需要请到阿里云点播官网看下需要的功能自己补充。
环境准备 使用 Java 1.8 及以上版本。 查看版本执行命令java -version查看Java版本。 下载SDK 直接通过 GitHub 下载 安装SDK,在Maven项目中加入依赖项(推荐方式) com.aliyun.oss aliyun-sdk-oss 2.8.3 初始化的参数设置 弱网的环境下最好将超时时间设置长一些,增加重试次数,避免上传失败。
https 排查预热 oss 公有云目前已经全面覆盖了 https 协议,支持 http1.1 http2 ,对通用的 TLS1.0 TLS 1.1 TLS 1.2,下面简单说下遇到报错的几个场景。 openssl openssl s_client -connect taobao.
浅谈 本章节结合一些实际遇到的案例讲一下各种工具使用。 使用场景 ossbrower,图形版的操作工具,有控制台的基本功能,可以理解是 ossutil 工具的图形版,适用于一些非技术人员来操作 oss 。
浅谈 很多 oss 使用者在使用 Python SDK 时出现很多问题,不确定是否影响使用,有的安装失败环境有问题,今天说下遇到的几个案例 官方安装 pip install oss2 版本最好是 2.7.5 或以上 oss2 依赖 如果要开启 crc64 循环冗余校验,需要先将 crcmod 安装好。
浅谈 OSS 回源功能,也称镜像回源,可以类比 Nginx 的 PCRE 满足一定条件下触发的 rewrite 功能,但是 OSS 的功能更加丰富。大致分为了两种主要功能,一种是 404 回源,另外是重定向回源。
对象存储 OSS 上传、下载发生 "便秘" 再复杂的网络架构和环境中经常遇到各种各样的网络超时问题,OSS 作为很多企业用户的源站经常会遇到下 GET 、PUT 慢的情况,问题就像便秘一样纠缠,作为存储,很多客户端把矛头指向了 OSS ,鉴于情况众多,我们今天具体分析一下都有哪些种便秘堵塞了你的生活。 确认基础信息 ping 工具,目的测试到对端的 IP 链路是否有丢包,RTT(Roun
Q1:springboot里面配置嵌入tomcat的话,比如配置https,将springboot的应用放到EDAS,EDAS使用的是springboot嵌入的tomcat吗? A:是的,EDAS 应用访问前端有个 nginx 代理,需要改动 nginx 的配置,但是 https 暂时还没有完全支持,只是支持了 https 的健康检查。
案例:应用发布失败 jvm crash 1) 先看下发布失败应用对应的变更记录发现发布应用失败是因为卡在了健康检查失败。健康检查的 URL 必须是返回 200 的才可以,通过报错可以知道后端的 tomcat 返回了 502。
案例:出现更换 MTS key 后转码失败 KEY 有两种类型,一个是 BASE64 另外一个是 KMS,如果选择 KMS 需要购买 KMS 的管理服务。如果是 BASE64 的方式自己设定一个 128bit 的 KEY 然后 BASE64 传给 server 端即可。
api_api.10.kgks0pubjv34258odhzqlfwul | 2018-10-18T09:21:43.684256314Z 2018-10-18 17:21:43,311 INFO [com.
案例:传入的截图时间无效,无论传多少值,都只截取视频的第一帧 分析: 如果选则是关键帧截图,需要看好关键帧的间隔设置,。可以参考下官网的 java 代码,测试是过是可以生成多张的。 package com.
使用阿里云播放器 目前随便手机型号的增加,和大量短视频的接入,VOD 点播播放器会遇到各种奇葩问题,今天从几个非常多的案例入手讲下坑点。 案例分析:ios 3.4.7 播放器 crash 出现问题,先看下视频编码,发现客户源文件是 vcodec 是 h264 ,acodec 是 amr ,可以使用 ffprobe 命令分析视频的编码。
基础分析 在使用媒体处理(MTS) 产品的工作流转码时,我们先补充基础认知。一句话概括,工作流就是一套模版在特定条件自动触发对视频进行处理的流程,那我们先要知道类型的视频文件支持工作流。 视频:3gp, asf, avi, dat, dv, flv, f4v, gif, m2t, m3u8, m4v, mj2, mjpeg, mkv, mov, mp4, mpe, mpg, mpeg, mts, ogg, qt, rm, rmvb, swf, vob, wmv, webm。
开启任务长时间进度为 0 如果同步历史数据那么 OSS 要先扫描全部迁移的 bucket 文件才能开始迁移,list 时间会比较长,完成 list 后才会进行开始迁移。看下源文件数量是不是过多,一般过百万数量的大文件比较吃带宽。 如果开启了几个小时后还是没有变化,可以工单升级到阿里云。
场景 通过多个语言版本 OSS SDK 测试,在使用 CDN 结合 OSS 用法时,客户端使用 CDN 域名计算 signature,发起 HEAD 请求,OSS 收到后返回 403 ; 分析: 出现这个问题不区分什么 SDK 都会出现,问题原因是由于客户端发起的 HEAD 请求在通过 CDN 回原到 OSS 时,CDN 回原是用的 GET 请求,而 OSS 收到时就用 GET 请求方式去计算签名,得到的结果肯定和客户端计算不一致,可以升级到阿里云 CDN 处理。
客户端的循环冗余校验和服务端不一致,可以上传成功 排查 出现类似问题,需要先收集信息,经常发生在 Java sdk 上传的过程中。 requestID 出现 checksum 不一致的情况一定会伴随有 requestID 信息。
经常遇到有跨域的问题,老生长谈,却又屡禁不止,谈到跨域我们就了解下它是什么?(以下数据均为模拟数据,屏蔽了真实用户数据)
案例:访问 403 deny 分析: 类这种有明显报错的很好判断,明显是 endpoint 指定错误。 bucket 和 endpoint 不匹配 bucket UID 和实际的 Accesskey 对应的 UID 不一致
DNS 解析不稳定导致 curl 延迟 分析: 通过上述信息基本可以判断是 DNS 问题,本次 curl 的时间都不稳定,加上 DNS 解析时间后,发现是卡在了 DNS 解析上,经过沟通发现阿里云的 DNS 223.5.5.5 在广东的节点已经撤销,建议使用运营商的 DNS 或者 114 的 DNS。
背景 针对 OSS case 的基础排查,以及如果查看图片基础原始参数进行故障定位 必要信息 处理图片的需求请描述清楚 图片处理的原图链接 图片处理后的链接 查看图片原基础参数 示例:http://zhangyb.
OSSBrower "no space left on" 分析: 有明显报错信息的先 Google 一下,看看是操作系统错误还是 OSSBrower 抛出,经过鉴定错误是 Linux 系统底层返回,说明当时系统的 OSSBrower 所在的目录磁盘满了,开源的错误到处可以看到,自行解决即可。
基础排查 一、 上传 OSS 出现慢的场景,OSS 会返回一个 requestID 属性,请保留这个 requestID 这是 OSS 所有信息的查询入口,升级阿里云时可以快速定位问题,如果上传超时的话时没有这个属性的。
ossimport NullPointException 空指针的目前存在于低版本的 ossimport 工具中,官网的新版本已经修复,下载新版本后重启任务进程即可解决。 get target meta faild 是正常报错,ossimport 会自动重试,重试如果还是失败,最后会变成 failed success 任务,可以用 sh console.sh stat 看到,错误原因一般因为上传到 OSS 文件失败,无法拉去 meta 信息进行校验导致,可以不用关心。
被自己的 OSS 策略限制 访问 OSS 返回 403 ,出口 IP 被自己定义的策略 deny ,将出口 IP 加白后问题解决。 {"Version": "1","Statement": [{"Effect": "Allow","Action": ["oss:*"],"Resource": [".
CDN + OSS 模式,OSS 地址被暴露后如何处理 用户可以将 OSS 设置为私有,在阿里云 CDN 上设置私有回原,然后在 CDN 上针对不想让人访问的 OSS 资源 prefix 做正则匹配,拒绝请求。或者在 CDN 上设置鉴权,拒绝没有授权的访问。
经过 url encode 编码访问失败 编码前 : http://oss-cn-hangzhou.aliyuncs.com/fun-punch-hls/ji-test/c133249354654050a66ec4341e61c23f?Expires=1540451197&OSSAccessKey.
EntityTooLarge 出现这种问题基本是客户端的 post 代码中限制的请求的 body 大小,排查这种问题最好是通过抓包,或者构造 post 源码上看下。当你的 bucket 不是 public-read-write 时,需要客户端的 post 代码中提供 post policy ,这这属性中,有关于 content-length-range 的设置,不注意的话这个地方基础设置都是 10M,建议检查下这个地方。
OSS livechannel 推流过程 生成推流 URL设置推流状态 录制 M3u8 缺失 默认录制成品的 m3u8 所以只有最后 3 片,遵循的是 hls 协议的默认规则,是正常想象,可以通过调用 PostVodPlaylist 接口将指定时间范围内的 ts 文件汇聚到一个 m3u8 索引内来解决; tips EndTime 必须大于 StartTime,且时间跨度不能大于 1 天。
场景:云监控 OSS 出现 "数据不足" 先看下 OSS 控制台的监控的 http code 、以及 QPS 分析,如果 OSS 请求量比较小,而 OSS 对应的时间点有没有请求就会出现数据不足的情况,这种问题最好设置合理的监控数据上报时间。