eBay:编写第一个 Node.js 应用的经验

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 在大多数情况下,eBay基于Java的技术运转着。我们整个工作流程的中心围绕着Java和JVM。考虑到网络访问的规模以及像ebay.com这样类型的网站所需要的稳定性,采用成熟的技术是一个显而易见的选择。但我们一直对新技术持开放态度,Node.js摘得候选人名单中最受关注技术已经有相当长的一段时间了。这篇文章对我们如何开发eBay的第一个Node.js应用的几个方面做了重点阐述。

在大多数情况下,eBay基于Java的技术运转着。我们整个工作流程的中心围绕着Java和JVM。考虑到网络访问的规模以及像ebay.com这样类型的网站所需要的稳定性,采用成熟的技术是一个显而易见的选择。但我们一直对新技术持开放态度,Node.js摘得候选人名单中最受关注技术已经有相当长的一段时间了。这篇文章对我们如何开发eBay的第一个Node.js应用的几个方面做了重点阐述。


伸缩性

这开始于一些eBay工程师(Steven,VenkatSenthil)想把“eBay Hackathon”编程大赛的获奖作品"Talk"用于生产环境。当时我们发现java不适合项目要求(没要冒犯的意思),于是开始研究Node.js。现在我们完全使用Node.js开发并投入运行。


这个项目有两个核心要求。第一是尽可能的实时性,也就是维护活动连接。第二是组织各种eBay服务的信息显示在页面,即处理有I/O限制的操作。开始时用Java搭建基础,但比预想的资源要多,伸缩性很有问题。这些障碍令我们从草稿里做了新中间编配器(orchestrator),并发现Node.js似乎是更好的选择。


观念

eBay由Java开发,Java是高效的强类型语言,那时很难说服人们用JavaScript做后端,有类型安全、错误处理、延展性等问题。而且,JavaScript(世界上最被误解的语言)本身也给争论添油加醋。为了解决问题,我们做一个内部备忘,请工程师们提意见,问题,疑虑和一切与Node.js相关的。


几天后,我们有了详尽的工作列表。如预料中,主要的问题集中在堆栈可靠性和处理之前Java实现的功能的效率。我们回答每个问题,提供实际例子的细节。同时这些例子让大家开眼界,并发现一些以前没考虑到的问题。最后,大家都理解了Node.js的核心价值,明白了其美妙之处。


经过同行们的测试,我们明白,可以开搞了。


启动

我们从一张白纸开始。想先构建一个足够小的Node.js底板然后扩展,而不是引入一个专用的框架。最先的四个Node模块express,cluster,requestasync。数据储存采用MongoDB,易用而且eBay已经有内部建设。基本设置好,我们的服务可以在开发沙盒中运行了,接受请求,处理一些eBay的API,存储数据。


为了端对端测试,我们配置了一些前端服务器指向Node.js服务,看起来一切良好,可以继续下一步。我们列出了所有用户用例,明确REST节点,设计数据模型和模式,确定最佳的Node模块以使用,并开始实现各节点。接下来的几周,我们低着头,coding和coding。


部署

当应用开发到一个稳定点时,就是时候开始从开发状态转向阶段测试环境了。这时我们开始查看有关部署的Node.js技术栈。我们部署的目标很明确:自动化部署,一次构建,处处运行。这是Java的部署方式,我们也希望Node.js部署也尽可能的无缝而简单。


我们可以使用我们已有的基于云的部署环境。我们所要做的就是编写一个shell脚本并让其在我们的Hudson 持续集成服务器(CI)上运行。一旦新的代码被提交到master分支上,Hudson CI就开始自动部署。使用这个脚本,服务器就可以构建并打包Node.js应用并将其部署到云上。云端提供了简单的接口来选择运行环境(QA、阶段测试、预发布),然后我们就可以在有关的机器上运行了。


现在我们有了自己的Node.js Web服务运行在许多稳定环境中。整个部署步骤比我们想象的要更快、更简单。


监控

在eBay,我们有专门的日志API与Java线程和JVM集成在一起。一个好的基于这些日志数据的监控面板可以很好的随时反应可能出现的问题。我们与中央日志系统进行对接,为Node.js也创建了类似的监控系统。我们很幸运,我们有现成的日志API。我们开发了一个日志模块并实现了三种不同的日志API:


源码级日志 - 这个等级包括错误/异常,数据库队列,HTTP请求,元数据交易等等。

机器级日志 - 这个等级包括CPU/内存和其他操作系统的运行状况。机器级日志运行于集群模块层中,我们扩展了npm cluster module并创建了eBay定制版。


负载均衡器级日志 - 所有的使用Node.js的机器都工作于一个负载均衡器之后,它负责向机器周期性地发送信息并保证一切运转良好。一旦有一台机器宕掉,负载均衡器就会紧急启用备用机器,并向运维和工程小组发出警告。


我们确保其生成的日志文件格式与Java版本的日志相一致,这样就可以生成与原来相同的大家熟悉的面板和报告了。


一个有关日志的主要难题在于Node.js event loop的异步特性。这将导致各项业务的顺序完全混杂在一起。下面这个例子可以让你更好的了解这个问题:Node通过异步调用启动了一次URL处理并访问数据库。这个过程将在数据库访问完成之前和下一次请求一并进行。这在诸如Node.js一类的事件驱动引擎中非常普遍,各种日志关于URL处理的日志混杂在一起,报告工具会生成混乱的输出。我们同时必须给出这个问题的短期和长期解决方案。


结论

完成了以上这些工作,我们可以让Hackathon项目运行起来了。这是eBay第一个以Node.js作为后端的应用。我们已经在内部员工之间进行了测试,有关其性能的反馈都相当不错。未来将更加精彩!


我们要为我们内部的Node.js专家Cylus Penkar喝彩,他一直在为这个项目进行引导并作出了贡献。有了这次Node.js后端的成功,eBay的技术团队正在使用Node.js打造一个完善的前端技术栈。这将包括我们现在大部分资源,这些功能包括本地化、资源管理(JS/CSS/images)以及项目跟踪。对于前端工程师来说,梦想实现了。我们可以自豪的说: “JavaScript is EVERYWHERE.”


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
1月前
|
前端开发 机器人 API
前端大模型入门(一):用 js+langchain 构建基于 LLM 的应用
本文介绍了大语言模型(LLM)的HTTP API流式调用机制及其在前端的实现方法。通过流式调用,服务器可以逐步发送生成的文本内容,前端则实时处理并展示这些数据块,从而提升用户体验和实时性。文章详细讲解了如何使用`fetch`发起流式请求、处理响应流数据、逐步更新界面、处理中断和错误,以及优化用户交互。流式调用特别适用于聊天机器人、搜索建议等应用场景,能够显著减少用户的等待时间,增强交互性。
237 2
|
1月前
|
JavaScript 前端开发 API
探索后端技术:Node.js的优势和实际应用
【10月更文挑战第6天】 在当今数字化时代,后端开发是任何成功软件应用的关键组成部分。本文将深入探讨一种流行的后端技术——Node.js,通过分析其核心优势和实际应用案例,揭示其在现代软件开发中的重要性和潜力。
121 2
|
17天前
|
数据可视化 JavaScript 前端开发
数据可视化进阶:D3.js在复杂数据可视化中的应用
【10月更文挑战第26天】数据可视化是将数据以图形、图表等形式呈现的过程,帮助我们理解数据和揭示趋势。D3.js(Data-Driven Documents)是一个基于JavaScript的库,使用HTML、SVG和CSS创建动态、交互式的数据可视化。它通过数据驱动文档的方式,将数据与DOM元素关联,提供高度的灵活性和定制性,适用于复杂数据的可视化任务。 示例代码展示了如何使用D3.js创建一个简单的柱状图,展示了其基本用法。D3.js的链式调用和回调函数机制使代码简洁易懂,支持复杂的布局和交互逻辑。
49 3
|
1月前
|
机器学习/深度学习 自然语言处理 JavaScript
信息论、机器学习的核心概念:熵、KL散度、JS散度和Renyi散度的深度解析及应用
在信息论、机器学习和统计学领域中,KL散度(Kullback-Leibler散度)是量化概率分布差异的关键概念。本文深入探讨了KL散度及其相关概念,包括Jensen-Shannon散度和Renyi散度。KL散度用于衡量两个概率分布之间的差异,而Jensen-Shannon散度则提供了一种对称的度量方式。Renyi散度通过可调参数α,提供了更灵活的散度度量。这些概念不仅在理论研究中至关重要,在实际应用中也广泛用于数据压缩、变分自编码器、强化学习等领域。通过分析电子商务中的数据漂移实例,展示了这些散度指标在捕捉数据分布变化方面的独特优势,为企业提供了数据驱动的决策支持。
61 2
信息论、机器学习的核心概念:熵、KL散度、JS散度和Renyi散度的深度解析及应用
|
21天前
|
JavaScript 前端开发 开发者
探索JavaScript原型链:深入理解与实战应用
【10月更文挑战第21天】探索JavaScript原型链:深入理解与实战应用
27 1
|
1月前
|
JavaScript 前端开发 API
Vue.js:打造高效前端应用的最佳选择
【10月更文挑战第9天】Vue.js:打造高效前端应用的最佳选择
18 2
|
1月前
|
设计模式 JavaScript 前端开发
探索JavaScript中的闭包:从基础概念到实际应用
在本文中,我们将深入探讨JavaScript中的一个重要概念——闭包。闭包是一种强大的编程工具,它允许函数记住并访问其所在作用域的变量,即使该函数在其作用域之外被调用。通过详细解析闭包的定义、创建方法以及实际应用场景,本文旨在帮助读者不仅理解闭包的理论概念,还能在实际开发中灵活运用这一技巧。
|
1月前
|
缓存 JavaScript 前端开发
深入了解JavaScript的闭包:概念与应用
【10月更文挑战第8天】深入了解JavaScript的闭包:概念与应用
|
14天前
|
前端开发 JavaScript
JavaScript新纪元:ES6+特性深度解析与实战应用
【10月更文挑战第29天】本文深入解析ES6+的核心特性,包括箭头函数、模板字符串、解构赋值、Promise、模块化和类等,结合实战应用,展示如何利用这些新特性编写更加高效和优雅的代码。
32 0
|
29天前
|
运维 JavaScript Linux
容器内的Nodejs应用如何获取宿主机的基础信息-系统、内存、cpu、启动时间,以及一个df -h的坑
本文介绍了如何在Docker容器内的Node.js应用中获取宿主机的基础信息,包括系统信息、内存使用情况、磁盘空间和启动时间等。核心思路是将宿主机的根目录挂载到容器,但需注意权限和安全问题。文章还提到了使用`df -P`替代`df -h`以获得一致性输出,避免解析错误。