客户介绍
孚盟软件(上海孚盟软件有限公司)成立于2006年,是国内知名的外贸SaaS服务提供商,也是专业的外贸行业解决方案提供商,目前已在近50个城市设立本地服务机构。孚盟软件主要为国际贸易和跨境电商企业提供智能营销获客、外贸CRM、外贸ERP、外贸业务流程管理以及供应链管理等全流程软件产品。
孚盟软件获得“AAA级企业信用评定”,是“上海专精特新”企业、“上海市生产性服务业先进示范企业”和“闵行区科技小巨人企业”,多次获得“最具创新SaaS提供商”、“企业外贸管理软件信赖产品奖”、“中国制造业最佳外贸软件供应商奖”等荣誉。孚盟支持了500+家上市公司,6万+中小企业用户,每天100万+的外贸从业人员以孚盟产品作为工作平台展开一天的商务活动。
业务痛点
孚盟公司为用户提供独有的外贸获客解决方案、外贸全流程解决方案以及集团化解决方案,可支持外贸不同行业、不同发展阶段企业管理诉求,帮助外贸企业实现营销、销售、管理全周期运营需求,助力其高效运营与持续增长。然而,随着业务规模的快速增长,孚盟原本自建Elasticsearch集群的方案逐渐暴露出弊端:
1、查询性能瓶颈明显,影响用户体验与平台竞争力
查询的速度关系着用户体验,尤其是在业务最核心的聚合查询场景下响应时间过长,无法支撑良好的用户体验。孚盟需要提升系统查询性能,从而提升与同类平台的竞争力。
2、索引管理复杂,使用与维护成本高
由于业务存储了历史所有的数据,为提升查询效率,业务需根据时间手动划分索引,在查询时还需自行判断时间范围与索引的匹配关系,增加了使用复杂度,同时也提高了维护的成本。
3、数据规模大,业务持续增长
孚盟软件支持了500+家上市公司,6万+中小企业用户,每天100万+的外贸从业人员以孚盟产品作为工作平台展开一天的商务活动。孚盟不仅要永存保留庞大的历史数据量,还面临着与日俱增的新增数据,亟需寻找更具性价比的数据存储方案。
4、扩容慢,资源利用率低
Elasticsearch的内核不支持存算分离,扩充计算节点需要进行数据搬迁,在数据量大的情况下需要若干小时甚至天级别来完成数据均衡,业务因此需要配置冗余的资源,以备不时之需。
基于Lindorm的方案优势
经过多个产品间的验证对比和充分的测试后,孚盟公司最终决定采用阿里云瑶池旗下的云原生多模数据库Lindorm作为新的业务搜索库解决方案。
三大主要场景用户体验大幅提升,核心场景查询时延减少80%
// 业务难题
- 多个聚合查询场景效率低下,平均耗时超过5秒,影响用户体验,孚盟期望将主要场景的响应时间控制在400ms以内。
- 海量数据聚合后产生4000万条结果,对其进行深度翻页(如第500页)时,聚合与翻页查询的总耗时达到10-15秒。
// 优化效果
Lindorm通过多项深入内核优化(如时序裁剪、自适应merge、多级缓存等)提升检索性能。基于孚盟的核心场景进行性能测试,Lindorm相比原本的自建Elasticsearch方案,性能大幅提升,并超过了当前同类型的SaaS服务平台:
图1:三大主要场景的查询延迟对比
// 场景解析
场景1:基于25亿数据,查询命中4000万数据后进行分组聚合
- 自建ES的查询延迟高达5秒,而Lindorm通过高效的内核优化,将延迟降低至500ms,远超目标性能(1.5秒)。Lindorm在这一场景中展现了处理大规模数据聚合时的卓越能力,显著提升了聚合效率。
场景2:Top 20 聚合+深度翻页至第500页
- 这是孚盟最核心的场景之一,涉及亿级别数据聚合后翻页查询操作。Lindorm通过内核进行了聚合及翻页的多项改进,将延迟从10秒降低到2秒,优于同类型平台性能(3秒),满足了核心业务需求。
场景3:Top 10000 聚合
- 自建ES的查询延迟超过15秒,而Lindorm将其优化至4秒,性能提升显著。
除了核心场景,客户还在Lindorm集群上测试了在业务中实际会用到的636个用例,为了直观对比Lindorm和客户自建ES在的性能表现,将测试数据整理为柱状对比图,横坐标表示不同的测试用例,纵坐标表示查询延迟(单位:毫秒)。其中,橙色柱代表阿里云Lindorm的查询延迟,蓝色柱代表客户自建线上Elasticsearch(ES)的查询延迟。从图表中可以清晰看到,几乎在所有测试用例中(99%),Lindorm的查询延迟均大幅优于客户自建的ES:
图2:Lindorm(橙色)与自建Elasticsearch(蓝色)的查询延迟对比
Lindorm自动根据时间分索引,查询时自动裁剪,无需客户自行维护索引路由
// 业务难题
为提升查询效率,业务需根据时间手动划分索引,在查询时还需自行判断时间范围与对应索引的匹配关系,增加了使用复杂度的同时也提高了维护成本。
// 优化效果
Lindorm搜索引擎支持时间自动分区功能,业务只需在创建索引时,通过简单的SQL语句定义时间分区策略,Lindorm即可自动完成后续的索引管理。通过预定义的时间分区策略,Lindorm能够自动按时间范围划分索引,并智能路由查询请求,完成扫描分区的自动裁剪,彻底解决了在自建集群中需要业务手动管理索引的运维复杂问题。
图3:Lindorm的自动索引和智能路由查询
除了帮业务免除时间分区索引的构建成本,Lindorm还提供全生命周期的分区管理:自动滚动分区
- 当前分区达到时间间隔上限时,Lindorm会自动创建新分区,并确保数据无缝写入,无需人工触发。
- 若写入未来数据,系统会动态扩展分区,避免数据丢失。
TTL自动清理
- 根据预设的TTL参数(如90天),Lindorm会定期清理过期分区,释放存储资源。
- 清理任务由Lindorm内核统一调度,无需客户编写脚本或依赖第三方工具。
灵活配置更新
- 客户可随时调整分区策略(如修改间隔或TTL),系统支持在线更新,不影响业务连续性。
压缩率提升一倍,助力客户低成本存储长期数据
// 业务难题
- 当前单表存储30亿条记录,单集群数据存储总量已达6TB,数据需要永久保留,存储成本难以控制。
- 随着业务的快速增长,每月新增5000万行,未来数据将持续膨胀,需要寻找更具性价比的数据存储方案。
// 优化效果
Lindorm使用深度优化的ZSTD压缩算法,相比开源ES默认的LZ4压缩算法,存储空间可以降至原先的50%,从而有效降低存储成本。Lindorm相比原本的自建Elasticsearch方案,压缩率提升一倍,从而有效降低存储空间占用:‘
图4:同一数据集下的空间占用对比
存算分离,快速扩缩容,轻松应对业务高峰
// 业务难题
- Elasticsearch的内核不支持存算分离,扩充计算节点需要进行数据搬迁,在数据量大的情况下需要若干小时甚至天级别来完成数据均衡。
- 扩容效率低导致系统难以快速应对业务高峰,为提升系统的抗风险能力,当前资源配置存在冗余,CPU使用率长期低于50%,存在资源浪费。
// 优化效果
Lindorm侧原生存算分离,迁移Partition无需搬迁数据,秒级完成服务与流量迁移,实现快速扩缩容。在业务高峰期时,使用Lindorm的搜索方案可以迅速增加计算节点并提供服务,确保系统性能。下图展示了Lindorm在TB级数据量的扩容表现,全程只需十几分钟:
图5:Lindorm在TB级别数据量的扩容监控示意
此外,存算分离的设计还让Lindorm提升了系统的抗风险能力,即使某个计算节点出现故障,其他节点也可以迅速接管其分管的分片,避免单点故障导致的服务中断;计算资源的配置也更加灵活,计算存储的配置可以解耦,避免不必要的资源浪费。
客户价值
阿里云多模数据库Lindorm的多维检索能力很好地支撑了跨境电商企业出海的业务发展,提供高性能、低成本的服务,大幅降低业务检索延迟和存储空间,助力跨境电商业务更稳,更快,更高效的发展。
——阿里云解决方案架构师 周申旸
Lindorm在开源兼容Elasticsearch的基础上,不仅给客户带来了以下业务效果提升,并且提供了成熟的增量数据迁移方案,将业务改造成本降到最低:
- 三大主要场景用户体验大幅提升,核心场景查询时延减少80%。
- Lindorm自动根据时间分索引,无需客户自行维护索引路由,大幅提升开发效率。
- 压缩率提升一倍,助力客户低成本存储长期数据。
- Lindorm支持存算分离,业务高峰来临时可以做的快速扩缩容,不再需要提前配置冗余资源。
图6:云原生多模数据库Lindorm
未来,孚盟客户还将基于Lindorm的多模一体能力,为更多业务低成本挖掘数据价值,助力出海业务高效增长。