孚盟选用Lindorm升级自建Elasticsearch,护航跨境电商出海

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云原生多模数据库 Lindorm,多引擎 多规格 0-4节点
简介: 三大主要场景用户体验大幅提升,核心场景查询时延减少80%。

客户介绍

image.png

孚盟软件(上海孚盟软件有限公司)成立于2006年,是国内知名的外贸SaaS服务提供商,也是专业的外贸行业解决方案提供商,目前已在近50个城市设立本地服务机构。孚盟软件主要为国际贸易和跨境电商企业提供智能营销获客、外贸CRM、外贸ERP、外贸业务流程管理以及供应链管理等全流程软件产品。


孚盟软件获得“AAA级企业信用评定”,是“上海专精特新”企业、“上海市生产性服务业先进示范企业”和“闵行区科技小巨人企业”,多次获得“最具创新SaaS提供商”、“企业外贸管理软件信赖产品奖”、“中国制造业最佳外贸软件供应商奖”等荣誉。孚盟支持了500+家上市公司,6万+中小企业用户,每天100万+的外贸从业人员以孚盟产品作为工作平台展开一天的商务活动。

业务痛点

孚盟公司为用户提供独有的外贸获客解决方案、外贸全流程解决方案以及集团化解决方案,可支持外贸不同行业、不同发展阶段企业管理诉求,帮助外贸企业实现营销、销售、管理全周期运营需求,助力其高效运营与持续增长。然而,随着业务规模的快速增长,孚盟原本自建Elasticsearch集群的方案逐渐暴露出弊端:


1、查询性能瓶颈明显,影响用户体验与平台竞争力

查询的速度关系着用户体验,尤其是在业务最核心的聚合查询场景下响应时间过长,无法支撑良好的用户体验。孚盟需要提升系统查询性能,从而提升与同类平台的竞争力。


2、索引管理复杂,使用与维护成本高

由于业务存储了历史所有的数据,为提升查询效率,业务需根据时间手动划分索引,在查询时还需自行判断时间范围与索引的匹配关系,增加了使用复杂度,同时也提高了维护的成本。


3、数据规模大,业务持续增长

孚盟软件支持了500+家上市公司,6万+中小企业用户,每天100万+的外贸从业人员以孚盟产品作为工作平台展开一天的商务活动。孚盟不仅要永存保留庞大的历史数据量,还面临着与日俱增的新增数据,亟需寻找更具性价比的数据存储方案。


4、扩容慢,资源利用率低

Elasticsearch的内核不支持存算分离,扩充计算节点需要进行数据搬迁,在数据量大的情况下需要若干小时甚至天级别来完成数据均衡,业务因此需要配置冗余的资源,以备不时之需。

基于Lindorm的方案优势

经过多个产品间的验证对比和充分的测试后,孚盟公司最终决定采用阿里云瑶池旗下的云原生多模数据库Lindorm作为新的业务搜索库解决方案。

三大主要场景用户体验大幅提升,核心场景查询时延减少80%

// 业务难题

  • 多个聚合查询场景效率低下,平均耗时超过5秒,影响用户体验,孚盟期望将主要场景的响应时间控制在400ms以内。
  • 海量数据聚合后产生4000万条结果,对其进行深度翻页(如第500页)时,聚合与翻页查询的总耗时达到10-15秒。

// 优化效果

Lindorm通过多项深入内核优化(如时序裁剪、自适应merge、多级缓存等)提升检索性能。基于孚盟的核心场景进行性能测试,Lindorm相比原本的自建Elasticsearch方案,性能大幅提升,并超过了当前同类型的SaaS服务平台:

image.png

图1:三大主要场景的查询延迟对比

// 场景解析

场景1:基于25亿数据,查询命中4000万数据后进行分组聚合

  • 自建ES的查询延迟高达5秒,而Lindorm通过高效的内核优化,将延迟降低至500ms,远超目标性能(1.5秒)。Lindorm在这一场景中展现了处理大规模数据聚合时的卓越能力,显著提升了聚合效率。


场景2:Top 20 聚合+深度翻页至第500页

  • 这是孚盟最核心的场景之一,涉及亿级别数据聚合后翻页查询操作。Lindorm通过内核进行了聚合及翻页的多项改进,将延迟从10秒降低到2秒,优于同类型平台性能(3秒),满足了核心业务需求。


场景3:Top 10000 聚合

  • 自建ES的查询延迟超过15秒,而Lindorm将其优化至4秒,性能提升显著。


除了核心场景,客户还在Lindorm集群上测试了在业务中实际会用到的636个用例,为了直观对比Lindorm和客户自建ES在的性能表现,将测试数据整理为柱状对比图,横坐标表示不同的测试用例,纵坐标表示查询延迟(单位:毫秒)。其中,橙色柱代表阿里云Lindorm的查询延迟,蓝色柱代表客户自建线上Elasticsearch(ES)的查询延迟。从图表中可以清晰看到,几乎在所有测试用例中(99%),Lindorm的查询延迟均大幅优于客户自建的ES:

image.png

图2:Lindorm(橙色)与自建Elasticsearch(蓝色)的查询延迟对比

Lindorm自动根据时间分索引,查询时自动裁剪,无需客户自行维护索引路由

// 业务难题

为提升查询效率,业务需根据时间手动划分索引,在查询时还需自行判断时间范围与对应索引的匹配关系,增加了使用复杂度的同时也提高了维护成本。

// 优化效果

Lindorm搜索引擎支持时间自动分区功能,业务只需在创建索引时,通过简单的SQL语句定义时间分区策略,Lindorm即可自动完成后续的索引管理。通过预定义的时间分区策略,Lindorm能够自动按时间范围划分索引,并智能路由查询请求,完成扫描分区的自动裁剪,彻底解决了在自建集群中需要业务手动管理索引的运维复杂问题。

image.png

图3:Lindorm的自动索引和智能路由查询


除了帮业务免除时间分区索引的构建成本,Lindorm还提供全生命周期的分区管理:自动滚动分区

  • 当前分区达到时间间隔上限时,Lindorm会自动创建新分区,并确保数据无缝写入,无需人工触发。
  • 若写入未来数据,系统会动态扩展分区,避免数据丢失。


TTL自动清理

  • 根据预设的TTL参数(如90天),Lindorm会定期清理过期分区,释放存储资源。
  • 清理任务由Lindorm内核统一调度,无需客户编写脚本或依赖第三方工具。


灵活配置更新

  • 客户可随时调整分区策略(如修改间隔或TTL),系统支持在线更新,不影响业务连续性。

压缩率提升一倍,助力客户低成本存储长期数据

// 业务难题

  • 当前单表存储30亿条记录,单集群数据存储总量已达6TB,数据需要永久保留,存储成本难以控制。
  • 随着业务的快速增长,每月新增5000万行,未来数据将持续膨胀,需要寻找更具性价比的数据存储方案。

// 优化效果

Lindorm使用深度优化的ZSTD压缩算法,相比开源ES默认的LZ4压缩算法,存储空间可以降至原先的50%,从而有效降低存储成本。Lindorm相比原本的自建Elasticsearch方案,压缩率提升一倍,从而有效降低存储空间占用:‘

image.png

图4:同一数据集下的空间占用对比

存算分离,快速扩缩容,轻松应对业务高峰

// 业务难题

  • Elasticsearch的内核不支持存算分离,扩充计算节点需要进行数据搬迁,在数据量大的情况下需要若干小时甚至天级别来完成数据均衡。
  • 扩容效率低导致系统难以快速应对业务高峰,为提升系统的抗风险能力,当前资源配置存在冗余,CPU使用率长期低于50%,存在资源浪费。

// 优化效果

Lindorm侧原生存算分离,迁移Partition无需搬迁数据,秒级完成服务与流量迁移,实现快速扩缩容。在业务高峰期时,使用Lindorm的搜索方案可以迅速增加计算节点并提供服务,确保系统性能。下图展示了Lindorm在TB级数据量的扩容表现,全程只需十几分钟:

image.png

图5:Lindorm在TB级别数据量的扩容监控示意


此外,存算分离的设计还让Lindorm提升了系统的抗风险能力,即使某个计算节点出现故障,其他节点也可以迅速接管其分管的分片,避免单点故障导致的服务中断;计算资源的配置也更加灵活,计算存储的配置可以解耦,避免不必要的资源浪费。

客户价值

阿里云多模数据库Lindorm的多维检索能力很好地支撑了跨境电商企业出海的业务发展,提供高性能、低成本的服务,大幅降低业务检索延迟和存储空间,助力跨境电商业务更稳,更快,更高效的发展。

——阿里云解决方案架构师 周申旸


Lindorm在开源兼容Elasticsearch的基础上,不仅给客户带来了以下业务效果提升,并且提供了成熟的增量数据迁移方案,将业务改造成本降到最低:

  1. 三大主要场景用户体验大幅提升,核心场景查询时延减少80%。
  2. Lindorm自动根据时间分索引,无需客户自行维护索引路由,大幅提升开发效率。
  3. 压缩率提升一倍,助力客户低成本存储长期数据。
  4. Lindorm支持存算分离,业务高峰来临时可以做的快速扩缩容,不再需要提前配置冗余资源。


image.png

图6:云原生多模数据库Lindorm


未来,孚盟客户还将基于Lindorm的多模一体能力,为更多业务低成本挖掘数据价值,助力出海业务高效增长。

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
打赏
0
2
2
0
162
分享
相关文章
深度复盘MCP安全风暴:一个工单如何演变成数据库“特洛伊木马”危机?
近期,安全公司 General Analysis 披露的MCP安全漏洞在技术圈引发了巨大震动。这个"特洛伊木马"式的安全漏洞暴露了一个现实:AI时代,传统的数据库访问方式已经无法满足安全需求。阿里云数据管理DMS新推出的DMS MCP Server,正是为AI时代的数据库安全访问而生,它不仅完美解决了传统MCP的安全隐患,更为企业提供了一个安全、智能、高效的数据访问新范式。
264 5
告别切屏|阿里云DMS MCP+通义灵码30分钟搞定电商秒杀开发
DMS MCP+通义灵码的梦幻组合,标志着研发流程从“工具堆砌”向“智能闭环”的跃迁。通过统一数据管理、自然语言交互与自动化代码生成,开发者可专注于业务创新,而无需被琐碎的数据库操作所束缚。
告别切屏|阿里云DMS MCP+通义灵码30分钟搞定电商秒杀开发
4年10亿美金,Neon用Serverless PG证明:AI需要的不是“大”,而是“隐形”
AnalyticDB PostgreSQL 版基于Neon架构隆重推出满足 AI 时代应用开发需求的Serverless版本,并且在这之上搭载了结构化分析、向量检索、BM25全文检索和图检索,通过一套引擎满足 AI 应用丰富的数据诉求,支持MCP和OpenAI协议,为企业全面拥抱 AI 配备了数据存储、分析和应用的 “关键” 能力,帮助企业火箭式启动跑赢时代。
拒绝等待!阿里云瑶池数据库 x Qwen3,构建增强式RAG
阿里云瑶池 Dify on DMS + AnalyticDB 现已支持通义千问 Qwen3 全系列模型的私域部署,并提供独占模型服务,实现高效安全的 GraphRAG 业务应用及大模型应用开发解决方案。
瑶池数据库开放日:全新发布Data+AI能力家族,赋能企业全栈智能实践
近日,阿里云瑶池数据库生态工具产品重磅升级,推出“Data+AI能力家族”,并举办了为期3天的全栈智能实践开放日活动。发布会上首次公开了 “Data Agent for Analytics、Data Agent for Meta、DAS Agent”等瑶池数据库Data Agent系列能力,以工具智能化 × 智能化工具的双引擎重构数据与AI的协同边界,揭秘AI时代数据价值释放的全新路径。
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等