eBay:编写第一个 Node.js 应用的经验

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 在大多数情况下,eBay基于Java的技术运转着。我们整个工作流程的中心围绕着Java和JVM。考虑到网络访问的规模以及像ebay.com这样类型的网站所需要的稳定性,采用成熟的技术是一个显而易见的选择。但我们一直对新技术持开放态度,Node.js摘得候选人名单中最受关注技术已经有相当长的一段时间了。这篇文章对我们如何开发eBay的第一个Node.js应用的几个方面做了重点阐述。

在大多数情况下,eBay基于Java的技术运转着。我们整个工作流程的中心围绕着Java和JVM。考虑到网络访问的规模以及像ebay.com这样类型的网站所需要的稳定性,采用成熟的技术是一个显而易见的选择。但我们一直对新技术持开放态度,Node.js摘得候选人名单中最受关注技术已经有相当长的一段时间了。这篇文章对我们如何开发eBay的第一个Node.js应用的几个方面做了重点阐述。


伸缩性

这开始于一些eBay工程师(Steven,VenkatSenthil)想把“eBay Hackathon”编程大赛的获奖作品"Talk"用于生产环境。当时我们发现java不适合项目要求(没要冒犯的意思),于是开始研究Node.js。现在我们完全使用Node.js开发并投入运行。


这个项目有两个核心要求。第一是尽可能的实时性,也就是维护活动连接。第二是组织各种eBay服务的信息显示在页面,即处理有I/O限制的操作。开始时用Java搭建基础,但比预想的资源要多,伸缩性很有问题。这些障碍令我们从草稿里做了新中间编配器(orchestrator),并发现Node.js似乎是更好的选择。


观念

eBay由Java开发,Java是高效的强类型语言,那时很难说服人们用JavaScript做后端,有类型安全、错误处理、延展性等问题。而且,JavaScript(世界上最被误解的语言)本身也给争论添油加醋。为了解决问题,我们做一个内部备忘,请工程师们提意见,问题,疑虑和一切与Node.js相关的。


几天后,我们有了详尽的工作列表。如预料中,主要的问题集中在堆栈可靠性和处理之前Java实现的功能的效率。我们回答每个问题,提供实际例子的细节。同时这些例子让大家开眼界,并发现一些以前没考虑到的问题。最后,大家都理解了Node.js的核心价值,明白了其美妙之处。


经过同行们的测试,我们明白,可以开搞了。


启动

我们从一张白纸开始。想先构建一个足够小的Node.js底板然后扩展,而不是引入一个专用的框架。最先的四个Node模块express,cluster,requestasync。数据储存采用MongoDB,易用而且eBay已经有内部建设。基本设置好,我们的服务可以在开发沙盒中运行了,接受请求,处理一些eBay的API,存储数据。


为了端对端测试,我们配置了一些前端服务器指向Node.js服务,看起来一切良好,可以继续下一步。我们列出了所有用户用例,明确REST节点,设计数据模型和模式,确定最佳的Node模块以使用,并开始实现各节点。接下来的几周,我们低着头,coding和coding。


部署

当应用开发到一个稳定点时,就是时候开始从开发状态转向阶段测试环境了。这时我们开始查看有关部署的Node.js技术栈。我们部署的目标很明确:自动化部署,一次构建,处处运行。这是Java的部署方式,我们也希望Node.js部署也尽可能的无缝而简单。


我们可以使用我们已有的基于云的部署环境。我们所要做的就是编写一个shell脚本并让其在我们的Hudson 持续集成服务器(CI)上运行。一旦新的代码被提交到master分支上,Hudson CI就开始自动部署。使用这个脚本,服务器就可以构建并打包Node.js应用并将其部署到云上。云端提供了简单的接口来选择运行环境(QA、阶段测试、预发布),然后我们就可以在有关的机器上运行了。


现在我们有了自己的Node.js Web服务运行在许多稳定环境中。整个部署步骤比我们想象的要更快、更简单。


监控

在eBay,我们有专门的日志API与Java线程和JVM集成在一起。一个好的基于这些日志数据的监控面板可以很好的随时反应可能出现的问题。我们与中央日志系统进行对接,为Node.js也创建了类似的监控系统。我们很幸运,我们有现成的日志API。我们开发了一个日志模块并实现了三种不同的日志API:


源码级日志 - 这个等级包括错误/异常,数据库队列,HTTP请求,元数据交易等等。

机器级日志 - 这个等级包括CPU/内存和其他操作系统的运行状况。机器级日志运行于集群模块层中,我们扩展了npm cluster module并创建了eBay定制版。


负载均衡器级日志 - 所有的使用Node.js的机器都工作于一个负载均衡器之后,它负责向机器周期性地发送信息并保证一切运转良好。一旦有一台机器宕掉,负载均衡器就会紧急启用备用机器,并向运维和工程小组发出警告。


我们确保其生成的日志文件格式与Java版本的日志相一致,这样就可以生成与原来相同的大家熟悉的面板和报告了。


一个有关日志的主要难题在于Node.js event loop的异步特性。这将导致各项业务的顺序完全混杂在一起。下面这个例子可以让你更好的了解这个问题:Node通过异步调用启动了一次URL处理并访问数据库。这个过程将在数据库访问完成之前和下一次请求一并进行。这在诸如Node.js一类的事件驱动引擎中非常普遍,各种日志关于URL处理的日志混杂在一起,报告工具会生成混乱的输出。我们同时必须给出这个问题的短期和长期解决方案。


结论

完成了以上这些工作,我们可以让Hackathon项目运行起来了。这是eBay第一个以Node.js作为后端的应用。我们已经在内部员工之间进行了测试,有关其性能的反馈都相当不错。未来将更加精彩!


我们要为我们内部的Node.js专家Cylus Penkar喝彩,他一直在为这个项目进行引导并作出了贡献。有了这次Node.js后端的成功,eBay的技术团队正在使用Node.js打造一个完善的前端技术栈。这将包括我们现在大部分资源,这些功能包括本地化、资源管理(JS/CSS/images)以及项目跟踪。对于前端工程师来说,梦想实现了。我们可以自豪的说: “JavaScript is EVERYWHERE.”


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
26天前
|
监控 JavaScript 算法
如何使用内存监控工具来定位和解决Node.js应用中的性能问题?
总之,利用内存监控工具结合代码分析和业务理解,能够逐步定位和解决 Node.js 应用中的性能问题,提高应用的运行效率和稳定性。需要耐心和细致地进行排查和优化,不断提升应用的性能表现。
176 77
|
28天前
|
存储 缓存 JavaScript
如何优化Node.js应用的内存使用以提高性能?
通过以上多种方法的综合运用,可以有效地优化 Node.js 应用的内存使用,提高性能,提升用户体验。同时,不断关注内存管理的最新技术和最佳实践,持续改进应用的性能表现。
117 62
|
24天前
|
存储 缓存 监控
如何使用内存监控工具来优化 Node.js 应用的性能
需要注意的是,不同的内存监控工具可能具有不同的功能和特点,在使用时需要根据具体工具的要求和操作指南进行正确使用和分析。
66 31
|
25天前
|
JavaScript 前端开发 API
深入理解Node.js事件循环及其在后端开发中的应用
本文旨在揭示Node.js的核心特性之一——事件循环,并探讨其对后端开发实践的深远影响。通过剖析事件循环的工作原理和关键组件,我们不仅能够更好地理解Node.js的非阻塞I/O模型,还能学会如何优化我们的后端应用以提高性能和响应能力。文章将结合实例分析事件循环在处理大量并发请求时的优势,以及如何避免常见的编程陷阱,从而为读者提供从理论到实践的全面指导。
|
24天前
|
JavaScript
如何使用内存快照分析工具来分析Node.js应用的内存问题?
需要注意的是,不同的内存快照分析工具可能具有不同的功能和操作方式,在使用时需要根据具体工具的说明和特点进行灵活运用。
39 3
|
28天前
|
JavaScript 前端开发 安全
JavaScript与TypeScript的对比,分析了两者的特性及在实际项目中的应用选择
本文深入探讨了JavaScript与TypeScript的对比,分析了两者的特性及在实际项目中的应用选择。JavaScript以其灵活性和广泛的生态支持著称,而TypeScript通过引入静态类型系统,提高了代码的可靠性和可维护性,特别适合大型项目。文章还讨论了结合使用两种语言的优势,以及如何根据项目需求和技术背景做出最佳选择。
48 4
|
28天前
|
机器学习/深度学习 人工智能 JavaScript
JavaScript和TypeScript的未来发展趋势及其在Web开发中的应用前景
本文探讨了JavaScript和TypeScript的未来发展趋势及其在Web开发中的应用前景。JavaScript将注重性能优化、跨平台开发、AI融合及WebAssembly整合;TypeScript则强调与框架整合、强类型检查、前端工程化及WebAssembly的深度结合。两者结合发展,特别是在Vue 3.0中完全采用TypeScript编写,预示着未来的Web开发将更加高效、可靠。
42 4
|
1月前
|
缓存 JavaScript 前端开发
JavaScript 与 DOM 交互的基础及进阶技巧,涵盖 DOM 获取、修改、创建、删除元素的方法,事件处理,性能优化及与其他前端技术的结合,助你构建动态交互的网页应用
本文深入讲解了 JavaScript 与 DOM 交互的基础及进阶技巧,涵盖 DOM 获取、修改、创建、删除元素的方法,事件处理,性能优化及与其他前端技术的结合,助你构建动态交互的网页应用。
42 5
|
26天前
|
前端开发 JavaScript 关系型数据库
基于 Vue2.0 + Nest.js 全栈开发的后台应用
Vue2 Admin 是一个基于 Vue2 和 Ant Design Pro 开发的前端项目,配合 Nest.js 构建的后端,提供了一个完整的全栈后台应用解决方案。该项目支持动态国际化、用户权限管理、操作日志记录等功能,适合全栈开发者学习参考。线上预览地址:https://vue2.baiwumm.com/,用户名:Admin,密码:abc123456。
|
28天前
|
设计模式 前端开发 JavaScript
JavaScript设计模式及其在实战中的应用,涵盖单例、工厂、观察者、装饰器和策略模式
本文深入探讨了JavaScript设计模式及其在实战中的应用,涵盖单例、工厂、观察者、装饰器和策略模式,结合电商网站案例,展示了设计模式如何提升代码的可维护性、扩展性和可读性,强调了其在前端开发中的重要性。
29 2