孚盟选用Lindorm升级自建Elasticsearch,护航跨境电商出海

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
云原生多模数据库 Lindorm,多引擎 多规格 0-4节点
简介: 三大主要场景用户体验大幅提升,核心场景查询时延减少80%。

客户介绍

image.png

孚盟软件(上海孚盟软件有限公司)成立于2006年,是国内知名的外贸SaaS服务提供商,也是专业的外贸行业解决方案提供商,目前已在近50个城市设立本地服务机构。孚盟软件主要为国际贸易和跨境电商企业提供智能营销获客、外贸CRM、外贸ERP、外贸业务流程管理以及供应链管理等全流程软件产品。


孚盟软件获得“AAA级企业信用评定”,是“上海专精特新”企业、“上海市生产性服务业先进示范企业”和“闵行区科技小巨人企业”,多次获得“最具创新SaaS提供商”、“企业外贸管理软件信赖产品奖”、“中国制造业最佳外贸软件供应商奖”等荣誉。孚盟支持了500+家上市公司,6万+中小企业用户,每天100万+的外贸从业人员以孚盟产品作为工作平台展开一天的商务活动。

业务痛点

孚盟公司为用户提供独有的外贸获客解决方案、外贸全流程解决方案以及集团化解决方案,可支持外贸不同行业、不同发展阶段企业管理诉求,帮助外贸企业实现营销、销售、管理全周期运营需求,助力其高效运营与持续增长。然而,随着业务规模的快速增长,孚盟原本自建Elasticsearch集群的方案逐渐暴露出弊端:


1、查询性能瓶颈明显,影响用户体验与平台竞争力

查询的速度关系着用户体验,尤其是在业务最核心的聚合查询场景下响应时间过长,无法支撑良好的用户体验。孚盟需要提升系统查询性能,从而提升与同类平台的竞争力。


2、索引管理复杂,使用与维护成本高

由于业务存储了历史所有的数据,为提升查询效率,业务需根据时间手动划分索引,在查询时还需自行判断时间范围与索引的匹配关系,增加了使用复杂度,同时也提高了维护的成本。


3、数据规模大,业务持续增长

孚盟软件支持了500+家上市公司,6万+中小企业用户,每天100万+的外贸从业人员以孚盟产品作为工作平台展开一天的商务活动。孚盟不仅要永存保留庞大的历史数据量,还面临着与日俱增的新增数据,亟需寻找更具性价比的数据存储方案。


4、扩容慢,资源利用率低

Elasticsearch的内核不支持存算分离,扩充计算节点需要进行数据搬迁,在数据量大的情况下需要若干小时甚至天级别来完成数据均衡,业务因此需要配置冗余的资源,以备不时之需。

基于Lindorm的方案优势

经过多个产品间的验证对比和充分的测试后,孚盟公司最终决定采用阿里云瑶池旗下的云原生多模数据库Lindorm作为新的业务搜索库解决方案。

三大主要场景用户体验大幅提升,核心场景查询时延减少80%

// 业务难题

  • 多个聚合查询场景效率低下,平均耗时超过5秒,影响用户体验,孚盟期望将主要场景的响应时间控制在400ms以内。
  • 海量数据聚合后产生4000万条结果,对其进行深度翻页(如第500页)时,聚合与翻页查询的总耗时达到10-15秒。

// 优化效果

Lindorm通过多项深入内核优化(如时序裁剪、自适应merge、多级缓存等)提升检索性能。基于孚盟的核心场景进行性能测试,Lindorm相比原本的自建Elasticsearch方案,性能大幅提升,并超过了当前同类型的SaaS服务平台:

image.png

图1:三大主要场景的查询延迟对比

// 场景解析

场景1:基于25亿数据,查询命中4000万数据后进行分组聚合

  • 自建ES的查询延迟高达5秒,而Lindorm通过高效的内核优化,将延迟降低至500ms,远超目标性能(1.5秒)。Lindorm在这一场景中展现了处理大规模数据聚合时的卓越能力,显著提升了聚合效率。


场景2:Top 20 聚合+深度翻页至第500页

  • 这是孚盟最核心的场景之一,涉及亿级别数据聚合后翻页查询操作。Lindorm通过内核进行了聚合及翻页的多项改进,将延迟从10秒降低到2秒,优于同类型平台性能(3秒),满足了核心业务需求。


场景3:Top 10000 聚合

  • 自建ES的查询延迟超过15秒,而Lindorm将其优化至4秒,性能提升显著。


除了核心场景,客户还在Lindorm集群上测试了在业务中实际会用到的636个用例,为了直观对比Lindorm和客户自建ES在的性能表现,将测试数据整理为柱状对比图,横坐标表示不同的测试用例,纵坐标表示查询延迟(单位:毫秒)。其中,橙色柱代表阿里云Lindorm的查询延迟,蓝色柱代表客户自建线上Elasticsearch(ES)的查询延迟。从图表中可以清晰看到,几乎在所有测试用例中(99%),Lindorm的查询延迟均大幅优于客户自建的ES:

image.png

图2:Lindorm(橙色)与自建Elasticsearch(蓝色)的查询延迟对比

Lindorm自动根据时间分索引,查询时自动裁剪,无需客户自行维护索引路由

// 业务难题

为提升查询效率,业务需根据时间手动划分索引,在查询时还需自行判断时间范围与对应索引的匹配关系,增加了使用复杂度的同时也提高了维护成本。

// 优化效果

Lindorm搜索引擎支持时间自动分区功能,业务只需在创建索引时,通过简单的SQL语句定义时间分区策略,Lindorm即可自动完成后续的索引管理。通过预定义的时间分区策略,Lindorm能够自动按时间范围划分索引,并智能路由查询请求,完成扫描分区的自动裁剪,彻底解决了在自建集群中需要业务手动管理索引的运维复杂问题。

image.png

图3:Lindorm的自动索引和智能路由查询


除了帮业务免除时间分区索引的构建成本,Lindorm还提供全生命周期的分区管理:自动滚动分区

  • 当前分区达到时间间隔上限时,Lindorm会自动创建新分区,并确保数据无缝写入,无需人工触发。
  • 若写入未来数据,系统会动态扩展分区,避免数据丢失。


TTL自动清理

  • 根据预设的TTL参数(如90天),Lindorm会定期清理过期分区,释放存储资源。
  • 清理任务由Lindorm内核统一调度,无需客户编写脚本或依赖第三方工具。


灵活配置更新

  • 客户可随时调整分区策略(如修改间隔或TTL),系统支持在线更新,不影响业务连续性。

压缩率提升一倍,助力客户低成本存储长期数据

// 业务难题

  • 当前单表存储30亿条记录,单集群数据存储总量已达6TB,数据需要永久保留,存储成本难以控制。
  • 随着业务的快速增长,每月新增5000万行,未来数据将持续膨胀,需要寻找更具性价比的数据存储方案。

// 优化效果

Lindorm使用深度优化的ZSTD压缩算法,相比开源ES默认的LZ4压缩算法,存储空间可以降至原先的50%,从而有效降低存储成本。Lindorm相比原本的自建Elasticsearch方案,压缩率提升一倍,从而有效降低存储空间占用:‘

image.png

图4:同一数据集下的空间占用对比

存算分离,快速扩缩容,轻松应对业务高峰

// 业务难题

  • Elasticsearch的内核不支持存算分离,扩充计算节点需要进行数据搬迁,在数据量大的情况下需要若干小时甚至天级别来完成数据均衡。
  • 扩容效率低导致系统难以快速应对业务高峰,为提升系统的抗风险能力,当前资源配置存在冗余,CPU使用率长期低于50%,存在资源浪费。

// 优化效果

Lindorm侧原生存算分离,迁移Partition无需搬迁数据,秒级完成服务与流量迁移,实现快速扩缩容。在业务高峰期时,使用Lindorm的搜索方案可以迅速增加计算节点并提供服务,确保系统性能。下图展示了Lindorm在TB级数据量的扩容表现,全程只需十几分钟:

image.png

图5:Lindorm在TB级别数据量的扩容监控示意


此外,存算分离的设计还让Lindorm提升了系统的抗风险能力,即使某个计算节点出现故障,其他节点也可以迅速接管其分管的分片,避免单点故障导致的服务中断;计算资源的配置也更加灵活,计算存储的配置可以解耦,避免不必要的资源浪费。

客户价值

阿里云多模数据库Lindorm的多维检索能力很好地支撑了跨境电商企业出海的业务发展,提供高性能、低成本的服务,大幅降低业务检索延迟和存储空间,助力跨境电商业务更稳,更快,更高效的发展。

——阿里云解决方案架构师 周申旸


Lindorm在开源兼容Elasticsearch的基础上,不仅给客户带来了以下业务效果提升,并且提供了成熟的增量数据迁移方案,将业务改造成本降到最低:

  1. 三大主要场景用户体验大幅提升,核心场景查询时延减少80%。
  2. Lindorm自动根据时间分索引,无需客户自行维护索引路由,大幅提升开发效率。
  3. 压缩率提升一倍,助力客户低成本存储长期数据。
  4. Lindorm支持存算分离,业务高峰来临时可以做的快速扩缩容,不再需要提前配置冗余资源。


image.png

图6:云原生多模数据库Lindorm


未来,孚盟客户还将基于Lindorm的多模一体能力,为更多业务低成本挖掘数据价值,助力出海业务高效增长。

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
26天前
|
人工智能 JSON 自然语言处理
让数据查询又快又准,瓴羊Dataphin MCP保姆级教程来啦!
在AI Agent快速发展的背景下,优质数据资产成为提升AI生产力的核心。瓴羊Dataphin通过MCP(Model Context Protocol)服务助力企业高效挖掘数据价值。MCP采用SSE协议,提供listDataServiceAPI与invokeDataServiceAPI两种工具,简化数据集成与调用流程。例如,结合大模型可快速构建“智能查询助手”,实现自然语言查询数据功能。未来,Dataphin将持续迭代工具集,支持更多数据研发与治理场景。
|
26天前
|
SQL 人工智能 关系型数据库
尝鲜体验 | 通义灵码近期新增了哪些功能?用户快速上手指南来了!
通义灵码近期新增了哪些功能?用户快速上手指南来了!
|
24天前
|
关系型数据库 MySQL 分布式数据库
Super MySQL|揭秘PolarDB全异步执行架构,高并发场景性能利器
阿里云瑶池旗下的云原生数据库PolarDB MySQL版设计了基于协程的全异步执行架构,实现鉴权、事务提交、锁等待等核心逻辑的异步化执行,这是业界首个真正意义上实现全异步执行架构的MySQL数据库产品,显著提升了PolarDB MySQL的高并发处理能力,其中通用写入性能提升超过70%,长尾延迟降低60%以上。
|
1月前
|
自然语言处理 数据管理 数据库
告别切屏|阿里云DMS MCP+通义灵码30分钟搞定电商秒杀开发
DMS MCP+通义灵码的梦幻组合,标志着研发流程从“工具堆砌”向“智能闭环”的跃迁。通过统一数据管理、自然语言交互与自动化代码生成,开发者可专注于业务创新,而无需被琐碎的数据库操作所束缚。
告别切屏|阿里云DMS MCP+通义灵码30分钟搞定电商秒杀开发
|
19天前
|
人工智能 安全 Cloud Native
Nacos 3.0 架构全景解读,AI 时代服务注册中心的演进
Nacos 3.0 正式发布,定位升级为“一个易于构建 AI Agent 应用的动态服务发现、配置管理和 AI 智能体管理平台”。架构上强化了安全性,引入零信任机制,并支持 MCP 服务管理、AI Registry 等新特性,助力 AI 应用高效开发与运行。
|
3月前
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
|
8月前
|
人工智能 监控 机器人
阿里云开发者社区博文规范及指引
阿里云开发者社区博文规范及指引
2127 16
阿里云开发者社区博文规范及指引
|
12天前
|
编解码 物联网 开发者
FLUX.1 Kontext 的全生态教程来啦!AIGC专区在线试玩!
Flux.1 Kontext [dev] 开源模型大家都用上了吗?小编汇总了3个使用教程,打包送上!
601 1