技术实践第一期|友盟+开发者平台Node.js重构之路

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
对象存储 OSS,恶意文件检测 1000次 1年
简介: 因原有SDK版本升级配置文件较复杂,需要在java端通过多个文件查询整合得到前端界面勾选内容数据,且升级SDK均需要手动拉取oss文件到服务端本地缓存,导致维护成本较高,且时间悠久无相关产品及开发文档说明,因此在本次业务升级中重构改应用。

一、问题背景


该项目提供友盟+SDK下载、相关辅助工具、集成demo等相关功能。

因原有SDK版本升级配置文件较复杂,需要在java端通过多个文件查询整合得到前端界面勾选内容数据,且升级SDK均需要手动拉取oss文件到服务端本地缓存,导致维护成本较高,且时间悠久无相关产品及开发文档说明,因此在本次业务升级中重构改应用。

1.jpg

二、改造目标


  • 新版体验: SDK_开发者中心-友盟+
  • 满足升级功能迭代包括新增多端整合功能等,以及视觉全新体验。
  • java端迁移到node,直连oss简化配置文件,节约”人工智能“的升级维护成本。
  • 下载由后端转到oss直连下载, 大大提高下载效率。
  • SDK端各原文件统一格式为zip,文件存储与服务端分离,提高后续维护性。
  • 使用SSR服务端渲染,提高SEO优化。


三、下载方案

2.jpg

1. 原下载方案

由页面勾选,到后端进行文件的拷贝获取(原始文件已在后端缓存),创建对应目录,进行merge后压缩为最终zip文件,压缩完成后端直接流式返回zip。下载速度缓慢。且缓存的原始文件需每次手动拉取。

缺点:后端下载速度较慢。服务端存储过多过大文件的合理性。

2. 新下载方案

将原始文件在编译部署时从OSS拉取到服务端,且保持缓存文件路径层级与OSS一致。根据页面勾选,先查询OSS是否有缓存,若无缓存则在后端进行各个SDK压缩包的原始文件复制,复制到生成对应的各层级文件夹中,在各文件夹内解压、merge、整合后形成最终文件夹,将最终文件夹压缩为zip后上传到OSS,得到OSS分享链接直接下载。


四、技术选型对比


1. 缓存原始文件方式对比

原始SDK存储在OSS且统一zip格式,全部原始文件压缩包大约1.5G。根据页面操作拉取整合各SDK到一个文件中。

  • 不推荐!直连OSS拉取对应SDK。

OSS提供将读取文件夹及内容api,可将该文件夹内递归全部文件为二维列表,若要实现需把需要的原始各个zip解压在读取内容,解压后原始文件比zip格式大了约3倍,明显降低整体速度。

  • 推荐!每次应用部署时,在app.js中拉取OSS原始文件到服务端缓存,当缓存完成后则在缓存复制,当无缓存时则oss拉取兜底。


2. 文件夹压缩/解压zip工具对比

因原始文件中有软链接,在merge中需要注意!

2.1、 zlib 模块

  • 优势:
  1. 可对数据进行压缩和解压处理,减小数据体积,加快传输速度。
  2. 对文件进行压缩/解压。
  • 缺点:不可压缩/解压缩文件夹。


// 如HTTP请求头部设置 Accept-Encoding: gzip,deflate // 压缩/解压缩文件 let lib = require('zlib') let gzip = zlib.createGzip() let rs = fs.createReadStream('./a.js') let ws = fs.createWriteStream('./a.js.gz') rs.pipe(gzip).pipe(ws)


2.2、 node-stream-zip

  • 优势:zip文件压缩/解压库,使用方便,可操作文件/文件夹。
  • 缺点:不识别解压后文件中的软链接,导致软链接打不开错误。

// 解压zip文件 const StreamZip = require('node-stream-zip'); const zip = new StreamZip.async({ file: './common.zip' }); await zip.extract(null, './'); await zip.close();


2.3、 compressing

  • 优点:可同步/异步压缩或解压文件/文件夹,相关文档简单清晰。
  • 缺点:不识别解压后文件中的软链接,导致软链接打不开错误。


2.4、 adm-zip

  • 优势:
  1. 将 zip 文件直接解压缩到磁盘或内存缓冲区中。
  2. 压缩文件并将它们以 .zip 格式或压缩缓冲区存储到磁盘。
  3. 从现有 .zip 更新/添加新文件/删除文件的内容。
  • 缺点:只能针对当前zip包进行操作整理,或者将文件逐一复制出来。但实际业务需求根据页面勾选将多个SDK压缩包解压生成新的对应目录层级后整合为一个压缩包。


2.5、 archive

  • 缺点:较长时间未更新,且解压后内部文件有软链会重复生成真实文件。


五、关于SSR服务端渲染

为更好优化SEO,项目改造采用react ssr服务端渲染,框架结构 Node + Um-Egg + React + AndD + yk-cli。

适用于偏静态的页面展示应用。


5.1 SSR过程实现

3.jpg


5.2 initProps与state注意点

  • 页面首屏渲染只会渲染Component.initProps数据。
  • 在state定义的数据首屏不会渲染,而在前端组件中渲染。


5.3 SSR优势

  • 有利于SEO

浏览器爬虫不会等待页面异步数据全部加载完成后再去抓取页面信息。而服务端渲染返回到前端页面是获取全部首屏数据并生成html,即访问路由时获取。

  • 有利于首屏渲染

通过路由请求node中html全部内容,减少加载js文件过程耗时,提高用户访问页面时间。


5.4 SSR缺点

  • 服务端压力增大

原本是客户端渲染,现改为node层处理生成html,当并发量较大时占用服务端资源也更大。

  • 维护成本相对变大

如上文5.2.中介绍,

要格外注意首屏数据处理以及项目引用第三方库处理数据情况!


【文章作者:友盟+技术团队】


⭐️开发者中心重构将友盟SDK统一输出,包含APP端、网页端、小程序/小游戏、H5各端,以及相关SDK下载和自动集成方式


重构前后下载效率提升数倍,使得用户体验感迅速提升。同时友盟+也会更加重视相关文档的输出,从功能描述到技术实现以及用户体验等等维度,更好地帮助用户快速准确地解决问题。



相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
30天前
|
存储 JavaScript 前端开发
使用JavaScript构建动态交互式网页:从基础到实践
【10月更文挑战第12天】使用JavaScript构建动态交互式网页:从基础到实践
69 1
|
1月前
|
JavaScript 前端开发 中间件
探索后端技术:Node.js与Express框架的完美融合
【10月更文挑战第7天】 在当今数字化时代,Web应用已成为日常生活不可或缺的一部分。本文将深入探讨后端技术的两大重要角色——Node.js和Express框架,分析它们如何通过其独特的特性和优势,为现代Web开发提供强大支持。我们将从Node.js的非阻塞I/O和事件驱动机制,到Express框架的简洁路由和中间件特性,全面解析它们的工作原理及应用场景。此外,本文还将分享一些实际开发中的小技巧,帮助你更有效地利用这些技术构建高效、可扩展的Web应用。无论你是刚入门的新手,还是经验丰富的开发者,相信这篇文章都能为你带来新的启发和思考。
|
1月前
|
JavaScript 前端开发 API
探索后端技术:Node.js的优势和实际应用
【10月更文挑战第6天】 在当今数字化时代,后端开发是任何成功软件应用的关键组成部分。本文将深入探讨一种流行的后端技术——Node.js,通过分析其核心优势和实际应用案例,揭示其在现代软件开发中的重要性和潜力。
119 2
|
1月前
|
JavaScript 前端开发 安全
TypeScript的优势与实践:提升JavaScript开发效率
【10月更文挑战第8天】TypeScript的优势与实践:提升JavaScript开发效率
|
1月前
|
JavaScript 前端开发 开发者
理解JavaScript中的原型链:基础与实践
【10月更文挑战第8天】理解JavaScript中的原型链:基础与实践
|
10天前
|
移动开发 前端开发 JavaScript
前端实训,刚入门,我用原生技术(H5、C3、JS、JQ)手写【网易游戏】页面特效
于辰在大学期间带领团队参考网易游戏官网的部分游戏页面,开发了一系列前端实训作品。项目包括首页、2021校园招聘页面和明日之后游戏页面,涉及多种特效实现,如动态图片切换和人物聚合效果。作品源码已上传至CSDN,视频效果可在CSDN预览。
17 0
前端实训,刚入门,我用原生技术(H5、C3、JS、JQ)手写【网易游戏】页面特效
|
11天前
|
JavaScript 前端开发 中间件
JS服务端技术—Node.js知识点
本文介绍了Node.js中的几个重要模块,包括NPM、Buffer、fs模块、path模块、express模块、http模块以及mysql模块。每部分不仅提供了基础概念,还推荐了相关博文供深入学习。特别强调了express模块的使用,包括响应相关函数、中间件、Router和请求体数据解析等内容。文章还讨论了静态资源无法访问的问题及其解决方案,并总结了一些通用设置。适合Node.js初学者参考学习。
28 1
|
26天前
|
前端开发 JavaScript 安全
JavaScript前端开发技术
JavaScript(简称JS)是一种广泛使用的脚本语言,特别在前端开发领域,它几乎成为了网页开发的标配。从简单的表单验证到复杂的单页应用(SPA),JavaScript都扮演着不可或缺的角色。
20 3
|
30天前
|
前端开发 JavaScript
深入理解JavaScript中的事件循环(Event Loop):从原理到实践
【10月更文挑战第12天】 深入理解JavaScript中的事件循环(Event Loop):从原理到实践
34 1
|
9天前
|
Web App开发 JavaScript 前端开发
构建高效后端服务:Node.js与Express框架的实践
【10月更文挑战第33天】在数字化时代的浪潮中,后端服务的效率和可靠性成为企业竞争的关键。本文将深入探讨如何利用Node.js和Express框架构建高效且易于维护的后端服务。通过实践案例和代码示例,我们将揭示这一组合如何简化开发流程、优化性能,并提升用户体验。无论你是初学者还是有经验的开发者,这篇文章都将为你提供宝贵的见解和实用技巧。