异构计算助力客户春节webp图片编码

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 背景与挑战 技博客 GigaOM 曾报道:YouTube 的视频略缩图采用 WebP 格式后,网页加载速度提升了 10%;谷歌的 Chrome 网上应用商店采用 WebP 格式图片后,每天可以节省几 TB 的带宽,页面平均加载时间大约减少 1/3;Google+ 移动应用采用 WebP 图片格式后,每天节省了 50TB 数据存储空间。

背景与挑战

科技博客 GigaOM 曾报道:YouTube 的视频略缩图采用 WebP 格式后,网页加载速度提升了 10%;谷歌的 Chrome 网上应用商店采用 WebP 格式图片后,每天可以节省几 TB 的带宽,页面平均加载时间大约减少 1/3;Google+ 移动应用采用 WebP 图片格式后,每天节省了 50TB 数据存储空间。但Webp最大的缺点在于压缩算法计算复杂度是JPEG的10倍以上,我们迫切需要一套高性能加速方案来降低业务成本。

项目

今年春节期间大客户为了支持其抢红包业务向阿里云提出了webp转码需求。根据以往经验总共需要准备数几十台32核64线程的物理机。阿里云为提升用户体验降低自身成本,使用FaaS(FPGA as a Service) F1实例加速webp编码。其中FaaS团队提供了FPGA平台支持,OSS团队提供了算法的支持。得益于高性能的FPGA平台,我们使用5台单卡FPGA云服务器扛下了日常40%的webp编码流量。

效果

本次性能测试所使用样本为512x512的图片,所有测试都在阿里云FaaS F1实例上测试。根据业务方的要求,我们对其中部分数据值做了一些混淆。

1)延时

在使用了FPGA加速webp编码之后,延迟降为原来的1/10。

image.png | center | 475x307

2)吞吐量

每个单卡的F1实例(8vcpu,1 * ARRIA 10)可以获得大约32核64线程物理机的~2倍吞吐量,跟某业内专业加速webp编码公司对比(在用同样F1实例)。我们发现某司的FPGA加速webp编码对CPU依赖非常多,但利用率又只有50-60%,这非常让人费解。

image.png | center | 752x374

3)图片质量

下图是在不同quality下,对比软件(蓝线)、OSS(红线)、某司(绿线)的编码后psnr曲线。PSNR使用ImageMagick的convert工具计算,数值越大越好。OSS提供的硬件加速算法,在图像质量方面几乎跟软件几乎完全重合,某司提供的webp编码加速器存在不小的差距(差距在0.1~0.5db之间)。

image.png | center | 752x334

4)压缩率

同样使用图片空间的测试架,quality设置也一样,数值为相对JPEG原图的压缩率,数值越小越好。经过测试我们发现软件、OSS、某司的压缩率几乎完全重合,但依旧保持原有梯队,软件>OSS>某司。

image.png | center | 752x467

根据上面测试结果,目前阿里云OSS的加速方案在webp压缩场景所有指标都超过了某司,除了压缩率小幅领先之外,其他两个指标都有非常明显的优势。

未来

1)预计性能优化完成之后E2E还可以提升50%的性能。压缩率上,未来采用m6等级的编码,其压缩率比当前压缩率更高。
2)单个FPGA板卡的成本远小于服务器,所以降低业务成本的关键在于提高FPGA的密度。未来webp加速器将使用F3实例,单个芯片的FPGA性能提升了超过2倍,单台服务器的FPGA芯片密度也提升了一倍。

相关文章
|
5月前
|
前端开发 JavaScript 双11
双十一互动图片和文字的处理方案
双十一互动图片和文字的处理方案
|
9月前
|
视频直播 芯片 异构计算
山东布谷科技直播系统源码热点分析:不同芯片实现高质量编码与渲染视频的GPU加速功能
总而言之,对于直播系统源码来说,GPU加速功能是提升实时图像质量和观看体验的重要手段,是不可或缺的重要功能技术之一。
山东布谷科技直播系统源码热点分析:不同芯片实现高质量编码与渲染视频的GPU加速功能
|
搜索推荐 UED
短视频开发app,哪些功能可以加速平台盈利?
短视频开发app,哪些功能可以加速平台盈利?
|
18天前
|
编解码 算法 芯片
专访深维科技樊平:FPGA+CPU,生态助攻图片转码加速
摘要:本期《成长在阿里云》采访了中国FPGA芯片算法专家、深维科技创始人兼首席执行官樊平,聊聊FPGA芯片背后的技术特点与行业应用。
专访深维科技樊平:FPGA+CPU,生态助攻图片转码加速
|
存储 传感器 数据可视化
数字水利模型展示云流化方案有什么优势?
云流化技术是如何助力数字水利的呢?使用是否麻烦呢?要想解决这些疑问,我们首先要明确下什么是云流化技术?其实简单来说有点像远程桌面,但是云流化技术原理和远程桌面有所区别,可以支持大型、重型各类三维程序的直接云端服务器中使用。对用户来说无需花费学习成本,和以前打开网页或者APP的操作完全一样,简单方便。
197 0
数字水利模型展示云流化方案有什么优势?
短视频制作后怎么推广?选择短视频推广平台?
短视频制作后怎么推广?选择短视频推广平台?
183 0
|
编解码 缓存 算法
Ali266首次商用落地,助力优酷码率最高节省40%
已知的业界首个H.266/VVC标准的编码器商用落地项目
891 0
Ali266首次商用落地,助力优酷码率最高节省40%
|
存储 移动开发 API
得图云 - 新兴的B2D图片云服务商,支持全景和3D等展示
最近我们了解到一家新兴的B2D图片云服务提供商得图云 。为web端与移动端开发者提供图片存储服务,同时以SaaS方式提供创新的图片应用服务。我们从得图云工作人员了解到,他们与非常多的企业公司有合作,主要是帮助客户解决展示问题,核心的技术是图片的展示方面,他们在多个项目的过程中发现了云端服务的重要性,所以把自己擅长的东西,以SaaS服务的方式提供给其他人。同时他们还发布了一个面向广大用户群的摄影网站得图网,这个产品就是用到了得图云底层的技术支持!
483 0
得图云 - 新兴的B2D图片云服务商,支持全景和3D等展示
|
存储 编解码 算法
新一代图片编解码技术在淘宝的应用及落地
本文回顾淘宝图片发展的历史,阐述了新一代图像编解码格式AVIF在淘宝业务场景中的应用及落地方案,节省流量,为用户提供更好的看图体验。
新一代图片编解码技术在淘宝的应用及落地
|
机器学习/深度学习 人工智能 算法
阿里云PAI平台模型压缩技术落地淘宝直播双十一应用:一猜到底
随着移动端应用的兴起,模型压缩作为深度学习模型实现轻量化部署的有效手段,备受关注。机器学习也从理论研究阶段,有了明显的工程化、应用落地的趋势,那么模型压缩在淘宝直播游戏场景下,是如何发挥重要作用的呢,让我们一起揭开神秘的实践面纱。
1176 0
阿里云PAI平台模型压缩技术落地淘宝直播双十一应用:一猜到底