空格App亿元A轮融资背后:云上多场景技术架构实践与经验

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 空格APP上线仅仅60天就获得1亿A轮融资,同时依靠阿里云只用了两个礼拜就实现了APP上线。空格技术合伙人刘博本次分享主要介绍了阿里云在空格内的应用经验包括服务端整体架构的搭建和搜索、推荐和数据平台业务场景下的实践探索。

直播视频:



(点击图片观看)


幻灯片下载地址: https://oss.aliyuncs.com/yqfiles/382bc642fc0b621a9368138a74d8fd36.pdf


3月16日云栖社区在线实时分享顺利结束,本次由空格APP技术合伙人刘博分享了空格利用阿里云服务在搜索、推荐和数据挖掘业务场景下的探索实践。本次视频直播的整理文章、视频整理完毕,如下内容。


阿里云在空格

 


图一 空格服务端整体架构

 

在空格初始创业阶段,人员十分缺乏,但依靠着阿里云,空格两周便实现APP上线。空格服务端整体架构包括在线和离线两大部分。在线服务端的前端包括用户服务端集群、商家服务端集群和IM PUSH集群;在线服务端的后端由搜索/推荐引擎集群组成;架构底层的存储采用传统的MySQL数据库。离线服务端由日志搜集系统、离线计算平台、实时流计算平台、监控系统以及数据BI中心组成。



图二 阿里云产品使用范围

 

空格整体架构上广泛采用了阿里云产品。在网络层采用了阿里云云盾和负载均衡,利用云盾有效拦截了DDoS等网络攻击,采用负载均衡进行流量智能分配。服务器集群由ECS服务器搭建而成。数据库方面最开始使用的是单机版的RDS,随着数据量的增长,需要进行扩容,通过采用DRDS进行分库分表,很简单地解决了数据库扩展问题。同时采用CDN来存储图片和静态的网页,起到网络加速的效果。在搜索方面采用OpenSearch,快速地搭建搜索引擎,避免了流量激增的情况下运维成本大幅度增加情况,仅需在索引配置上对相应参数进行调高或者调低便可实现扩容。服务端离线部分采用阿里云日志服务,实现在线日志实时收集并同步到离线计算平台,打通了离线到在线再回流到在线的过程。离线计算平台主要采用ODPS,可满足大规模的计算需求。其监控系统采用阿里云云监控产品,对服务器、数据库的关键指标实时监控报警。数据BI中心底层框架搭建采用的是DPC/DTS数据同步服务。


搜索场景



图三 搜索业务框架

 

上图是空格的搜索业务架构。最上层是对搜索有需求的服务端,包括用户服务端、商家服务端、CRM管理系统以及IM/PUSH服务端在内;应用层(业务层)是该业务架构的关键,业务存储方式分为分布式缓存和分布式表格存储;应用场景层包括关键词搜索场景、类目搜索场景、IM消息搜索场景等二十多个搜索场景;底层采用阿里云的开放搜索OpenSearch为支撑,同时OpenSearch无缝衔接云数据库RDSODPS,做到数据互通。



图四 两种技术方案比较

 

阿里云技术方案与普通工程技术方案相比,业务层仍保持一致,但在SearchNode节点上有很大的不同,如果是自建节点,不仅需要考虑到分布式架构和业务间的隔离,还需要考虑离线的大文件与搜索引擎的衔接,同时还需要企业自行开发全量DumpBuild流程,以及建立起索引全量的实时调度,这一切将直接导致运营成本和技术复杂度的增加。更为关键一点,服务索引的在线实时需要更新做到秒级以内,自建搜索引擎实现难度系数很大。但如果采用云技术方案,一切变得很简单。阿里云的OpenSearch将服务器的扩容、全量更新、实时更新、切换调度全部屏蔽掉了,使用者只需简单的配置即可建立新的索引,底层采用RDSODPS可实现内部之间数据互通,做到无缝链接。



图五 阿里云OpenSearch服务优势

 

搜索方面采用阿里云OpenSearch服务,是因为其优势很多。在线方面:具有简单的API接入方式,通过HTTP+Json的服务接口与在线服务对接;内部支持复杂语法和排序规则;同时还有丰富的辅助功能,如查询分析(同义词,停用词,模糊匹配)、下拉提示等。离线方面优势体现在:通过简单配置即可创建索引,无需写代码;字段增删,修改操纵简单;并且与RDSODPS无缝衔接,自动管理DUMP数据;可灵活配置索引构建任务。实时更新方面RDSODPS数据源支持实时索引更新,无需构建实时更新系统。运维方面:无需自建分布式集群;无需管理数据备份及冗余;无需考虑扩容。

 

推荐场景


 


图六 推荐场景特点

目前空格推荐业务场景具有以下要求:

  1. 千人千面,根据用户信息和历史行为进行个性化推荐;
  2. 大数据,可进行离线和实时计算,并且数据量远超传统的数据库可处理范畴;
  3. 分布式,可实现分布式服务、分布式计算;
  4. 弹性扩展,能快速扩容服务能力,应对业务发展;
  5. 迭代迅速,业务迭代速度极快,两周左右更新一个版本。


图七 推荐服务整体架构

 

针对上述需求,空格结合阿里云服务构建了如上图所示的整体推荐服务架构。数据集成方面,采用阿里云日志服务、采云间和数据传输,将数据传输到离线的ODPS;结合ODPS对数据进行大规模预处理和加工,之后通过自建模型训练进行机器学习,将训练的结果推送到OpenSearch,实现在线检索服务。

 

数据平台


 


图八 数据平台架构

 

上面这张幻灯片是空格的数据平台的整体架构,该架构底层通过采用阿里云的ODPSRDS、日志服务、云监控、采云间一系列服务组合做支撑,搭建了底层的离线计算框架和实时计算框架;中间层的产生的数据主要是系统数据、应用数据、业务数据;应用层针对不同需求产生与之相对应的是运营数据、渠道数据、用户数据、监控数据;这些数据通过API输入给服务层的数据门户、算法Ranking/QROpen API系统。



图九 手机门户案例

 

上图是空格的门户系统实例,底层数据准备,采用ODPS+采云间计算流程,再到RDS数据同步,实现数据开发和同步;前端展示,基于Bootstrap + Echarts单元框架,开发自适应手机门户页面,PC和手机都可以自如访问;同时对接到钉钉[微应用],便于使用访问,进一步提高了观察数据的效率。

 

为什么选择阿里云?

 

总结来看,阿里云服务于自行构建系统相对比,具有相当大的优势。首先数据集成方面:自建系统需自行搭建各类数据服务,打通各类数据管道;而阿里云服务中数据库、分布式存储、在线缓存应有尽有、各服务间数据互通,稳定性可靠性有保障。计算处理方面:自建系统需要自行搭建计算平台,资源缺乏弹性;而阿里云服务仅需开通ODPS,资源弹性、无需担心平台运维,计算框架丰富;引擎方面:自建系统搭建成本高,索引构建复杂,新业务迭代迟缓;阿里云服务开通OpenSearch,自行配置即可完成,开发成本极低。运维方面:自建系统运维复杂,搜索节点历来是故障重灾区;阿里云服务运维简单,无需专职运维团队,安全及稳定性高。成本方面:自建系统搭建耗时、运维成本高;阿里云服务开通服务简单,几乎无运维成本。效率方面:自建系统拖累团队精力、业务迭代缓慢;使用阿里云服务后团队可专注于业务迭代。



图十 阿里云服务优势

 

阿里云服务极大降低企业系统自建时间和人力成本,使得系统集成高效简单,并且为企业提供健全的配套基础服务,其完整的基础服务保证了系统及数据间互通,高稳定性的保障解放了运维人员的压力,同时阿里云提供了高效的技术支持,短时间内解决企业遇到的难题,促进企业的快速发展。

 

QA环节:

 

1、空格APP上线后,如何应对用户快速增长和处理流量高并发情况?

答:高并发的问题大家都会遇到,应该从几个方面去应对。数据库应对高并发方面,采用阿里云读写分离服务,将数据库水平扩容,缓解读写压力。同时服务端大部分节点采用缓存的方式来缓解后端数据库的压力,这里用到了阿里云的分布式服务MemCache服务,有效对流量进行缓存。搜索领域遇到高并发、高流量情况时,利用OpenSearch进行扩容,在流量激增时,将流量预值调高即可。

 

2、空格中搜索入口很多,不同类目下又有新的搜索分类,如此之多的搜索类型是如何实现的?

答:空格搜索的场景非常多,包括关键词的搜索、类目的搜索以及后台订单的搜索,多种搜索场景都是集成在阿里云的OpenSearch中,新建一个新的搜索场景成本很低,在不考虑复杂算法情况下,新建一个搜索场景仅需在OpenSearch中开通一个搜索的配置,同时和后端的数据进行无缝链接即可实现新搜索应用。

 

3、其他的APP如果做LBS定位时,阿里云相应的产品是否支持?

答:目前的移动APP都对LBS服务有需求,如附近的搜索、商圈的搜索。阿里云的OpenSearch的内置语法已经支持按距离排序、过滤,并且可以实现复杂的按商圈过滤,比如说在商场范围内,可以实现基于多边形的区域过滤,无须用户自行开发。

 

4、从技术人员到创业之中的感想?

答:从阿里这个大的平台走向创业道路,变化非常大。首先创业是一波人对一个共同梦想执着追求。作为技术人员来讲,之前在阿里,每个人的分工比较细,专注某一个方向;创业后,需要重新对自己进行定位,短期内需要变成一个全能的工程师,需要到处补位,既要懂前端、后端,还需要会维护服务器。在整个创业过程中,身体很累,但精神上充满激情。

 

5、能分享下阿里云提供技术支持解决问题的经验吗?

答:举一个具体的例子:当时在做搜索的时候,关键词搜索和类目搜索都已经上线,新加一个订单搜索功能,在开发过程中,数据库到索引构建一直失败,我们自己也没发现什么问题。在周日,通过工单服务求助于阿里云客服,仅仅几分钟后便得到回复,经过几轮交流很快解决了问题,保证了系统的按时上线。

 

6、对创业初期的公司有什么建议,需要一开始就使用阿里云这类完善的架构吗?

答:对初创团队,需要尽早的使用云服务,首先云服务可以在短期内加快研发迭代的效率,以搜索为例,采用OpenSearch之后,代码量减少了90%以上,基本的代码都集中在业务层面,离线层面无需自己进行开发。

 

7、IM PUSH模块采用是第三方的吗?

答:之前有一段时间是采用第三方的IM PUSH系统,随着业务量、用户量增加,现在使用的是完全自建的IM PUSH系统。


关于分享者:


刘博,原阿里妈妈搜索营销引擎技术架构师,现为空格APP(杭州美哒网络)技术合伙人,空格核心系统技术部负责人,负责搜索、推荐、数据平台、IM等基础业务。


空格是一家针对个人服务者的创业平台。在空格中,消费者可以买到手工美食、手工定制、家政、画画、陪玩、咨询等各类使用服务。同时空格作为面向个人服务的创业平台,有一技之长的用户可以随时将自己的技能和时间变成服务进行出售。空格上线仅仅60天就获得了1个亿的A轮融资,平台服务人次超过10万,最近还得到了中央电视台《焦点访谈》的关注。


相关系列文章:

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
打赏
0
0
0
1
83279
分享
相关文章
融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践
本文探讨了如何通过技术手段混合使用AMD与NVIDIA GPU集群以支持PyTorch分布式训练。面对CUDA与ROCm框架互操作性不足的问题,文章提出利用UCC和UCX等统一通信框架实现高效数据传输,并在异构Kubernetes集群中部署任务。通过解决轻度与强度异构环境下的挑战,如计算能力不平衡、内存容量差异及通信性能优化,文章展示了如何无需重构代码即可充分利用异构硬件资源。尽管存在RDMA验证不足、通信性能次优等局限性,但该方案为最大化GPU资源利用率、降低供应商锁定提供了可行路径。源代码已公开,供读者参考实践。
42 3
融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践
2025年国内工单系统推荐:技术架构、场景适配与行业实践
分析了智能化升级、大数据驱动、云原生架构及全渠道融合四大技术趋势,从功能适配性、易用性、集成能力、安全性和性价比五个维度指导企业选型,并推荐合力亿捷等三家系统的优劣对比,结合电商和制造行业的实际案例,帮助企业提升客户服务水平与竞争力。
77 11
2025年国内工单系统推荐:技术架构、场景适配与行业实践
基于阿里云的开源应用智能管理架构设计与工程实践
本文以Websoft9技术方案为例,探讨企业级应用管理的范式。通过解析开源应用管理面临的部署复杂性、运维低效性和知识碎片化三大挑战,提出基于阿里云的三层架构:智能应用管理门户、核心功能层和基础设施层。文章详细阐述了应用编排标准化(IaC实践)、智能运维体系构建及知识资产数字化的技术实现路径,并结合金融与制造行业的案例,展示解决方案的实际效果。最后提供开发者资源与工具链支持,助力企业高效管理应用。
96 1
支持百万人超大群聊的Web端IM架构设计与实践
本文将回顾实现一个支持百万人超大群聊的Web端IM架构时遇到的技术挑战和解决思路,内容包括:通信方案选型、消息存储、消息有序性、消息可靠性、未读数统计。希望能带给你启发。
36 0
支持百万人超大群聊的Web端IM架构设计与实践
【01】对APP进行语言包功能开发-APP自动识别地区ip后分配对应的语言功能复杂吗?-成熟app项目语言包功能定制开发-前端以uniapp-基于vue.js后端以laravel基于php为例项目实战-优雅草卓伊凡
【01】对APP进行语言包功能开发-APP自动识别地区ip后分配对应的语言功能复杂吗?-成熟app项目语言包功能定制开发-前端以uniapp-基于vue.js后端以laravel基于php为例项目实战-优雅草卓伊凡
124 72
【01】对APP进行语言包功能开发-APP自动识别地区ip后分配对应的语言功能复杂吗?-成熟app项目语言包功能定制开发-前端以uniapp-基于vue.js后端以laravel基于php为例项目实战-优雅草卓伊凡
【11】flutter进行了聊天页面的开发-增加了即时通讯聊天的整体页面和组件-切换-朋友-陌生人-vip开通详细页面-即时通讯sdk准备-直播sdk准备-即时通讯有无UI集成的区别介绍-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
【11】flutter进行了聊天页面的开发-增加了即时通讯聊天的整体页面和组件-切换-朋友-陌生人-vip开通详细页面-即时通讯sdk准备-直播sdk准备-即时通讯有无UI集成的区别介绍-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
193 90
【11】flutter进行了聊天页面的开发-增加了即时通讯聊天的整体页面和组件-切换-朋友-陌生人-vip开通详细页面-即时通讯sdk准备-直播sdk准备-即时通讯有无UI集成的区别介绍-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
|
11天前
|
如何在苹果内购开发中获取App Store Connect API密钥-共享密钥理解内购安全-优雅草卓伊凡
如何在苹果内购开发中获取App Store Connect API密钥-共享密钥理解内购安全-优雅草卓伊凡
75 15
如何在苹果内购开发中获取App Store Connect API密钥-共享密钥理解内购安全-优雅草卓伊凡
布谷一对一直播源码开发:阿里云视频语音通话社交交友App的必备功能
在当今移动社交领域,一对一视频和语音通话功能已成为用户期待的基础配置。从熟人社交到陌生人交友,从专业咨询到情感陪伴,实时音视频互动能力直接决定了社交App的用户留存和市场竞争力。山东布谷科技将深入探讨一对一直播源码开发高质量一对一视频和语音通话功能的关键要素和技术实现方案。
布谷一对一直播源码开发:阿里云视频语音通话社交交友App的必备功能
MNN-LLM App:在手机上离线运行大模型,阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
MNN-LLM App 是阿里巴巴基于 MNN-LLM 框架开发的 Android 应用,支持多模态交互、多种主流模型选择、离线运行及性能优化。
1962 20
MNN-LLM App:在手机上离线运行大模型,阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等