看阿里云如何用云上技术创新,帮助哈啰单车实现智能数据收治

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 客户通过把日志数据迁移到SLS,替代原有的kafka、ES、ClickHouse,累积节省成本达到30%,同时满足了稳定性、扩展性需求,以及对日志查询分析的需求。

更多存储标杆案例
欢迎点击下方链接查看

阿里云存储标杆案例样板间

公司介绍
哈啰出行是国内领先的专业移动出行平台,致力于为用户提供便捷、高效、普惠、安全的出行工具和服务。公司于2016年9月在上海成立。成立四年多来,秉持着“科技推动出行进化”的使命,凭借卓越的创新能力、差异化的发展战略和技术驱动下的优异运营能力,哈啰从激烈的市场竞争中脱颖而出。目前公司已经进化为包括两轮出行(哈啰单车、哈啰助力车、哈啰电动车、小哈换电)、四轮出行(哈啰顺风车、全依托于智能锁,赋能了在线的实时调度。单车数据、APP数据无缝打通,因而催生了数据的实时采集、分析、存储需求。业务场景介绍2网叫车、哈啰打车)等的综合化移动出行平台,APP累计注册用户超4亿。
截至2020年10月底,哈啰出行旗下哈啰单车已经进驻全国超460城,用户累计骑行240亿公里,累计减少碳排放量近280万吨;哈啰助力车已进入全国超400城,用户累计骑行近80亿公里,节约碳排放28万吨;哈啰顺风车已覆盖全国超300城,认证车主逾1800万名。

业务场景介绍
依托于智能锁,赋能了在线的实时调度。单车数据、APP数据无缝打通,因而催生了数据的实时采集、分析、存储需求。

每天增量数据TB级别,影响系统稳定性
客户原有架构是数据采集到kafka,然后应用日志写入ELK做查询,同时写入ClickHouse做分析。由于每天增量数据在TB级别,对ES稳定性压力比较大。当查询数据操作,会影响ES的写入延时。由于写入量大,查询基本处于不可用状态。因此,当天数据采用单副本,隔天再生成多副本。这种方式对数据的可靠性时很大的挑战。同时,自建Kafka、ES、ClickHouse成本较高,急需降低成本。

日志服务提供TB级别日志的实时采集、弹性扩容、实时查询
阿里云日志服务为客户提供了TB级别日志的实时采集、弹性扩容、实时查询的能力。

image.png

在数据采集方面,原来把数据采集到kafka,在分发到下游ES、ClickHouse。SLS原生支持Kafka协议。各个客户端只需把kafka的地址设置成SLS的kafka协议地址即实现了无缝迁移。

在弹性扩容方面,SLS采用Shard模型,当流量发生上涨时,在控制台动动手指分裂Shard即可实现写入带宽的扩容。也可以设置成自动分裂,当流量打到上限时,自动扩容出新的Shard。

在查询和分析方面,客户原来采用ES做查询,ClickHouse做分析。而由于流量比较大,ES查询基本不可用。SLS同时提供了查询和分析能力。在查询方面,支持关键字检索、数值范围查询、json字段的递归查询、多条件组合查询。在数据分析方面,支持以SQL92语法分析日志,秒级别即可分析数百亿条日志。SQL语法支持200+函数,以及支持join计算,可与OSS、MySQL数据源做关联分析。同时一些特有的函数例如同比环比函数、IP地理位置函数等等。

在可视化方面,SLS控制台作为阿里云排名Top 5的控制台,为可以提供所见即所得的查询分析体验。同时控制台还可以供客户做二次开发,嵌入到自己的后台运维系统中。

达到的效果
客户通过把日志数据迁移到SLS,替代原有的kafka、ES、ClickHouse,累积节省成本达到30%,同时满足了稳定性、扩展性需求,以及对日志查询分析的需求。

相关文章
|
22天前
|
关系型数据库 Apache 流计算
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南
本文介绍了如何将数据从 OceanBase 迁移到阿里云数据库 SelectDB 内核版 Apache Doris。提供 3 种数据同步方法 1. 使用 DataX,下载 DataX 并编写配置文件,通过 OceanBaseReader 和 DorisWriter 进行数据迁移。 2. 利用 Apache Doris 的 Catalog功 能,将 OceanBase 表映射到 Doris 并插入数据。 3. 通过Flink CDC,设置 OceanBase 环境,配置 Flink 连接器,实现实时数据同步。
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南
|
21天前
|
Cloud Native Serverless 开发者
阿里云助力开发者创新:探索云原生技术的新境界
阿里云开发者社区推动云原生技术发展,提供丰富产品(如容器服务、Serverless、微服务架构、服务网格)与学习平台,助力企业数字化转型。开发者在此探索实践,共享资源,参与技术活动,共同创新,共创云原生技术新篇章。一起加入,开启精彩旅程!
113 2
|
15天前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
2月前
|
机器学习/深度学习 存储 分布式计算
机器学习PAI常见问题之DLC的数据写入到另外一个阿里云主账号的OSS中如何解决
PAI(平台为智能,Platform for Artificial Intelligence)是阿里云提供的一个全面的人工智能开发平台,旨在为开发者提供机器学习、深度学习等人工智能技术的模型训练、优化和部署服务。以下是PAI平台使用中的一些常见问题及其答案汇总,帮助用户解决在使用过程中遇到的问题。
|
1天前
|
Cloud Native 安全 数据中心
|
15天前
|
运维 数据管理 数据库
数据管理DMS产品使用合集之在阿里云DMS中,想对数据精度进行校验,有什么方法
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
15天前
|
NoSQL 数据管理 MongoDB
数据管理DMS产品使用合集之如何通过阿里云的数据管理服务(DMS)导出MongoDB数据
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
19天前
|
人工智能 自然语言处理 供应链
阿里云联合伙伴发起“物流智能联盟”
物流行业内首个专注于大模型应用研究与实践的联盟“物流智能联盟”在杭州成立,旨在加速大模型在物流领域落地,用AI助力物流行业增效降本和业务创新。该联盟由阿里云、菜鸟、高德地图、中远海运、东航物流、圆通速递、申通快递、中通快递、德邦快递、G7易流、地上铁、浙江大学智能交通研究所等在2024数智物流峰会上共同成立。
|
27天前
|
NoSQL Cloud Native Redis
Redis核心开发者的新征程:阿里云与Valkey社区的技术融合与创新
阿里云瑶池数据库团队后续将持续参与Valkey社区,如过往在Redis社区一样耕耘,为开源社区作出持续贡献。
Redis核心开发者的新征程:阿里云与Valkey社区的技术融合与创新
|
28天前
|
自然语言处理 Cloud Native Serverless
通义灵码牵手阿里云函数计算 FC ,打造智能编码新体验
近日,通义灵码正式进驻函数计算 FC WebIDE,让使用函数计算产品的开发者在其熟悉的云端集成开发环境中,无需再次登录即可使用通义灵码的智能编程能力,实现开发效率与代码质量的双重提升。
95544 4