OSS 图片处理

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
.cn 域名,1个 12个月
简介: 背景 针对 OSS case 的基础排查,以及如果查看图片基础原始参数进行故障定位 必要信息 处理图片的需求请描述清楚 图片处理的原图链接 图片处理后的链接 查看图片原基础参数 示例:http://zhangyb.

背景

针对 OSS case 的基础排查,以及如果查看图片基础原始参数进行故障定位

必要信息

  • 处理图片的需求请描述清楚
  • 图片处理的原图链接
  • 图片处理后的链接

查看图片原基础参数

示例:http://image-demo.oss-cn-hangzhou.aliyuncs.com/f.jpg?x-oss-process=image/info

2

遇到问题时,如果有明显的参数超过显示等问题,可以先看下原始参数中的信息,是否有超标,类似如下原始参数中的宽、高、像素、等等,(我们已知的 OSS 单边长度不能超过 4X4096 ,乘积不能低于 4096X4096 )

案例: OSS 带视频截帧参数镜像回源返回 404

【问题排查】
1、先要了解,OSS 竟然回源可以带参数,也可以忽略参数。如果带参数回源,原站要能支持,可以直接固定原站测试即可

2、 OSS 镜像回源还不支持视频截的方式回源。

案例: Picture exceed the maximum allowable rotation range

分析:

出现这种问题基本都是原图的单边长度超过了 4096 的限制。或者四边乘机超过了 406X4096 ,可以用 OSS 的 ?x-oss-process=image/info 参数获取图片的信息判断是否超过限制。

1

我们在看下图片的原参数的宽高,可知道已经超过了我们的单边限制 4096X4,所以出现不能旋转的异常,对于这种问题,我们先要想自适应关闭,然后在用 resize 处理图片。(http://demo/1.jpg?x-oss-process=image/auto-orient,0/resize,m_lfit,h_2000,w_2000,limit_1/sharpen,100/

案例:OSS图片尺寸超限

分析:

先按要求看下基本的报错信息和原始 URL 参数。

3

结论:

根据报错信息判断是图片超过显示,我们请求一下图片的原始信息看下是否超过限制。通过 info 信息可以看到用户原始图片的 height 超过限制

案例:开启了 OSS 违规检测,图片被判定违规,但是外部还能访问到?

OSS 没有封禁功能,这个服务是内容识别来做的。属于安全产品。
用户调用内容识别后,发现是违规图片只是被冻结,不在控制台上显示,但不会被删除,正常的保存在 bucket 中。如果要不被别人访问,用户需要手动点击违规并删除,或者批量删除。
详细的文档说明:https://help.aliyun.com/document_detail/28423.html?spm=5176.11065259.1996646101.searchclickresult.1de73273NHoYrM

案例:通过 OSS 获取主色调和图片不符

分析:

首先测试一下获取图片主色调的参数,查看原图的主色调
http://static01.versa-ai.com/video/preview/497dae10-2bb6-4559-8d01-351728a51b29.jpg?x-oss-process=image/average-hue

主色调计算不是按照屏幕颜色占比来计算的,是按照图片中心的主颜色来定的色调,计算逻辑如下:

  • 计算整个图片的色调的平均值 (avg_hue)
  • 遍历每个像素,计算该像素的色调值与 avg_hue 的色差(即将二者相减后取绝对值),如果该色差大于一个阈值(本文中取 30),则将该像素加入到“醒目像素”的列表
  • 计算整个“醒目像素列表”的颜色均值,得到的结果即为该图片的主色调

案例:oss文字水印, 一个文字水印 是否可以分两行显示文字,如果不可以,是否可以一个图片 添加多个文字水印

案例:图片水印合成出现黑线

1

分析:

首先这个黑印不是因为 OSS 造成的,水印的方式是将两张图片重回,如果水印两张图是不通 RGB 图片,覆盖后色差产生的黑线是正常现象不管用任何图片处理都会存在。

结论:

可以通过透明度参数 t_[1-100] 来调整透明度将边框去掉,t 的值不固定按实际效果调整大小。

https://demo/magicpicture/pic/server/blank.jpg?x-oss-process=image/watermark,image_bWFnaWNwaWN0dXJlL3N0YXJQdXp6bGUvcGljX2hlYXJ0XzEucG5nP3gtb3NzLXByb2Nlc3M9aW1hZ2UvcmVzaXplLG1fZml4ZWQsd18xMDgwLGhfMTA4MCxsaW1pdF8w,g_nw,x_0,y_0,t_10

案例:通过 CDN 回原 OSS 图片处理不生小。

分析:

遇到 CDN 回原到 OSS 图片不生小的问题,不管用的是什么效果,请直接固定 OSS 的域名进行测试。利用下面的 URL 进行基础分析。

http://demo/MomClass/ChuXin/3_2_336_462.jpg@30-30bl

  • img-cn-region.aliyuncs.com 是老版本的 OSS 域名,图片处理的分隔符和图片处理语法和新版的 oss 域名都不一样。
  • oss-cn-region.aliyuncs.com 这类域名是 2017 年使用的新域名,不兼容 img 域名的图片处理语法和分隔符 "@" ,需要自己在 OSS 控制台上手动执行同步,将 img 域名图片处理同步到 OSS 。

结论:

上述的老域名的高斯处理效果,如果搬迁到 oss 的域名后,需要按照新的方式来处理,如下

http://demo/MomClass/ChuXin/3_2_336_462.jpg?x-oss-process=image/blur,r_3,s_30

案例:为何图片经过OSS缩略之后尺寸变大了?

参考:https://yq.aliyun.com/articles/74634?spm=5176.10695662.1996646101.searchclickresult.672545f3KE153V

案例:图片处理提示已损坏

1

出现以下集中情况可以参考如下处理过程

  • 用户的源文件在本地可以正常打开,但是上传到到 OSS 就无法进行图片处理,总是反馈 图片损坏 damage
  • 用户的源文件上传前可以正常显示,上传后无法显示

分析:

  • 以上情况出现后,先获取原始的 OSS URL 地址,然后使用 ?x-oss-process=image/info 先查看下原图信息,如果图片是好的是可以查看出源图片的属性信息的,如果查不到,直接报错, 说用用户原图就是损坏的。
  • 为什么下载到本地可以显示?因为本地的图片查看工具是对图片做了补偿修复的。而 OSS 不对对损坏的图片进行处理,所以在浏览器上无法显示。
  • 可以用开源的 imagemagic 工具来验证这个问题。
    随便进行什么转换,下面是一个 resize 的测试用例,结果发现出现了 error 说明图片是损坏的。

convert -resize 1024x768 1123331261_15353307414801n.jpg

案例:图片处理参数如何加入到 signature

https://oss-de.roe.com.cn/47169215bed7496db34031e6ef1a02d8.jpg?OSSAccessKeyId=LTAIJn79E&Expires=1533650025&Signature=4zIqqhMzE97A2iks7QmYH6I%3D&x-oss-process=image/resize,w_100/quality,q_80

图片处理的参数要放到 signature 一起计算,否则会出现 403 的问题。

案例:存储在 OSS 图片旋转了 90 度

这是直接访问 OSS 的效果

1

这通过 CDN 访问的效果

2

分析:

  • 直接访问 OSS 正常,说明 OSS 存储是没问题的。
  • 但是通过 CDN 访问在浏览器中就出现旋转,无非就是和浏览器的处理有关,通过图片处理参数 info 查看原图参数带有 rotation 90 ,旋转参数,cs 代码可以针对这种参数过滤调不做旋转。否则会旋转 90 度。

案例:OSS 能否识别请求的自定义 query 参数动态缩放

请求范本

http://i.1909.com/img01/M00/*.jpg?w=xxx

w=xxx 就是客户端传的动态参数,目前还无法适配这种业务需求。

案例:BadRequest

1

分析:

先利用 imagemagic 的 convert 命令看下原图的格式,如果不在图片处理支持的范围是出会出现这种情况的。通过convert 发现原图是 svg ,所以返回是预期的。

案例:InvalidArgument

1

分析:

遇到这种参数错误的先看下原图的请求参数
20180899269957.jpg@0w_2e_1l_1an.src 
类似这种请求参数的,都是历史 img-cn-xx 域名支持的格式。转换成新的 oss-cn-xxx 域名后是不支持 img 域名的请求方式的。而且老域名是不支持 https 访问的。

案例:图片缩略后颜色变亮了

1

2

分析:

  • 先分析下原图的编码,可以用开源工具获取,如果原图是 RGB 的话,压缩是不会变色的,如果原图是 CMYK 的话,压缩后会产生偏色。
  • 目前对 CMYK 的兼容还在支持中,图片色彩空间被挤压产生的色彩变化。

案例:经过 CDN 后图片处理没有效果

https://bianqian.com/2018/11/01/5225a43d630442c9bbeb6684094544d5.jpg?x-oss-process=image/resize,m_lfit,h_50,w_50/format,png

分析:

  • 直接看下 CDN 是否开启的去问号的功能,如果开启了忽略 ? 功能就会出现这种问题。

案例:Target bucket does not reside in the same data center as source bucket.

Target bucket does not reside in the same data center as source bucket.

  • post 转储时的 bucket 和 header 中的 host 地址不一致,转储要求源 bucket 和目标 bucket 同一个 region ,否则返回 400 。

案例:调用 OSS 处理超过最大旋转范围

<Message>
Picture exceed the maximum allowable rotation range.
</Message>
  • 使用 imagemagic 工具先看下原图是否自带了 auto-orient 自适应旋转的属性。
  • 或者可以测试下 http://image-demo.oss-cn-hangzhou.aliyuncs.com/f.jpg?x-oss-process=image/auto-orient,0/foramt,jpg 加个 auto-orient,0 参数 如果可以正常处理就说明原图是支持了这个自适应旋转的。
  • 带了自适应旋转的参数后,要求图片的宽高不能超过 4096。

案例:

手机端访问 CDN URL ,携带了图片处理,发现访问 CDN 变成空白图片,刷新后又能再次出来,浏览器可以正常显示;

image

排查:

既然浏览器都可以访问,只有手机端不行,问题已经可以判断出 OSS 是正常的,不然浏览器肯定不会显示正常。

  • 1)出现问题后,先剥离 CDN 直接访问 OSS 看下图片是否能否访问,如果 OSS 访问都出现异常,不可能 CDN 会正常,那为什么 CDN 刷新一下就可以显示了呢? 因为 CDN 有缓存,一般这种情况,用户很可能开启了 ”参数过滤“ 功能,将 ? 后边的参数都忽略掉了,这样 CDN 就会命中客户所有的请求。表面上看就是访问 CDN 正常,访问 OSS 异常。

第 1 步排查完后,基本可以定位是哪里的问题,如果 OSS 一直都能访问,而 CDN 访问异常,说明 CDN 节点网络导致加载失败,或者 CDN 缓存了错误内容,如果是 OSS 始终显示不出来,证明图片本身就存在问题了,再向下排查:

  • 2)浏览器可以访问了,说明图片本身没有坏,也没有冻结,唯一可能就是图片本身的编码不被手机浏览器支持。通过 ffmpeg 可以看到用户的原图是 webp 格式的。
Input #0, png_pipe, from 'http://oss-cn-shanghai.aliyuncs.com/201811/198c7cf3ac6a4d259ae810e205e2b4bf.jpg?/x-oss-process=style/fm_webp_720p':
  Duration: N/A, bitrate: N/A
    Stream #0:0: Video: weep, rgb24(pc), 1080x1920 [SAR 5906:5906 DAR 9:16], 25 tbr, 25 tbn, 25 tbc
   2.58 M-V: -0.000 fd=   0 aq=    0KB vq=    0KB sq=    0B f=0/0

结论,经过上述排查知道了,图片的格式是 webp ,特点是 ios 默认不支持,android 支持,因为 webp 是 chrome 推出的一个新的图片编码方式。ios 需要自己编译 webp 的支持库才可以。最后参考
https://blog.csdn.net/wsyx768/article/details/78986918

案例:

存储在 OSS 的图片打不开,原图和经过图片处理后的图片都打不开。

image

排查:

还是先用 imagemagick 这个开源工具看下图片的编码沟通能否正确被解析出来。

[root@edas02 aliyun-oss-php-sdk]# wget https://zhangyb.mobi/test/123.jpg
--2018-11-22 10:55:16--  https://zhangyb.mobi/test/123.jpg
正在解析主机 zhangyb.mobi (zhangyb.mobi)...
已发出 HTTP 请求,正在等待回应... 200 OK
长度:4141232 (3.9M) [image/jpeg]
正在保存至: “123.jpg”

100%[========================================================================================>] 4,141,232   12.5MB/s 用时 0.3s   

2018-11-22 10:55:16 (12.5 MB/s) - 已保存 “123.jpg” [4141232/4141232])

[root@edas02 aliyun-oss-php-sdk]# identify 123.jpg 
identify: Not a JPEG file: starts with 0x00 0x00 `123.jpg' @ error/jpeg.c/JPEGErrorHandler/316.
[root@edas02 aliyun-oss-php-sdk]# 

通过 identity 命令可以确认图片本身的编码构成出现问题,并非是存储到 OSS 出现的问题,类似问题都可以用这个工具先来分析下。

案例:

图片处理完后背景色多了一个分割线

image

排查:

  • 1)图片并没有所谓的分割线,只是图片 RGB 处理后的色彩构成问题。
  • 2)原图是 RGB 的真彩色 ImageHeight": {"value": "2560" "ImageWidth": {"value": "1440" ,像素被你 裁剪到 m_fill,h_1920,w_1080 ,RGB 的像素点位被压缩,发生变化很正常。
  • 3) 可以将绝对质量提高到 100 , quality,Q_100 ,目前只有这个方法。

案例:

客户图片上传到 OSS 访问报错;

image

排查:

  • 先看图片下载到本地后是否可以打开,如果打不开则证明是图片本身的问题,和 OSS 图片处理没关系;
  • 实际访问下测试看看是否有报错,如果看到有明显的 requestID 报错,可以拿 requestID 反馈阿里云查询日志;
  • 看下原图是否超过了一些限制,限制如下;
找到问题了,的图片length 超过了我们的 30000 限制;
图片格式只能是:jpg、png、bmp、gif、webp、tiff。
文件大小不能超过 20MB。
使用图片旋转时图片的宽或者高不能超过 4096。
原图单边大小不能超过30,000。
宽高乘机不能超过 4096 * 4096
相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
相关文章
|
6月前
|
存储 监控 API
oss教程
oss教程
267 1
|
6月前
|
前端开发 JavaScript API
oss大文件上传
oss大文件上传
450 6
|
4月前
|
存储 API 开发工具
阿里云OSS
【7月更文挑战第19天】阿里云OSS
188 1
|
对象存储 数据安全/隐私保护 数据处理
对象存储OSS如何进行图片处理?
阿里云对象存储服务提供图片处理功能,您可以将常用的图片处理操作保存成样式。一个复杂的操作利用样式功能后,使用一个很短的URL链接就能实现相同的效果。下面我们来介绍一下如何使用图片样式功能。 首先登录阿里云对象存储控制台,选择目标存储空间。
5054 0
|
6月前
|
存储 安全 对象存储
oss
oss
185 0
|
存储 安全 Java
阿里云OSS的运用
阿里云OSS的运用
|
存储 域名解析 缓存
使用 OSS 图片处理服务|学习笔记
快速学习使用 OSS 图片处理服务
1244 0
|
Web App开发 存储 文件存储
关于OSS
阿里云对象存储服务Object Storage Service,简称OSS,是阿里云对外提供的云存储服务。它可以通过本简单的REST接口,在任何时间、任何地点、任何互联网设备上进行上传和下载数据。 需求 : 项目中有做到图片和文档的下载功能,即点击图片的下载链接直接触发浏览器下载,而不是浏览器打开图片,预览大图。
关于OSS
|
存储 缓存 对象存储
OSS 图片处理
背景 针对 OSS case 的基础排查,以及如果查看图片基础原始参数进行故障定位 必要信息 处理图片的需求请描述清楚 图片处理的原图链接 图片处理后的链接 查看图片原基础参数 示例:http://zhangyb.
OSS 图片处理
|
存储 编解码 对象存储
OSS-视频截帧
用户对存储在 OSS 的视频文件进行视频截图处理,抽取视频中某个个时间点或者某个视频帧作为截图参考
OSS-视频截帧