【云栖号案例 | 互联网】Ping++上云 打造百万级交易量的大数据平台

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,100CU*H 3个月
简介: 作为初创金融公司需要快速、高效、低成本的搭建大数据平台保证安全性、稳定性。上云后提高客单价、潜客获取对客户赋能,同时数据监控赋能内部管理。

云栖号案例库:【点击查看更多上云案例】
不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策!

公司简介

我们是上海简米网络科技有限公司,旗下的聚合支付品牌Ping++ 是国内领先的第三方支付解决方案SaaS服务商。我们的Ping++ 产品成立于2014年4月,2016年初获得由宽带资本领投的千万美元 B 轮融资。我们为零售、电商、O2O、教育、旅游、SaaS 服务等众多领域的商户提供定制化支付解决方案,累计帮助15000多家商户解决支付问题。

从安全可靠的聚合支付平台到简单无忧的聚合支付云服务,我们不仅极大地简化了企业与移动支付渠道和消费分期渠道的对接过程,还将日常交易管理、账务管理、大数据分析、多级商户、用户账户等功能集成到统一的管理平台。从支付接入、交易处理、业务分析到业务运营、大数据营销,我们以定制化全流程的解决方案来帮助企业应对在商业变现环节可能面临的诸多问题。

业务痛点

我们公司的Ping++产品通过搭建在云端的支付处理平台,为商户集中处理所需第三方支付渠道的交易请求,并提供统一的SDK接口供商户调用。当商户的用户发起交易时,就会调用这个SDK,此时这些数据记录会存储到数据库中,包括时间、金额、渠道等信息。当前日交易笔数为百万级,目前已经积累了海量交易数据。

如何在经过客户授权的情况下利用数据为客户赋能,并带来额外附加价值,从而提高客户黏性,我们亟需搭建可靠、稳定的大数据平台。在搭建大数据平台的过程中,存在以下挑战:

  • 一站式大数据平台,可以帮助降低数据创新与创业成本,需同时具有存储、计算、BI和机器学习等功能需求:

1.存储:利用数据仓库存储海量支付订单数据。
2.计算:批处理进行 ETL 数据清洗、统计汇总、数据分析。
3.BI:产出数据的监控指标,以图形化方式反映数据质量和趋势。
4.机器学习:各类场景下模型的训练及预测。

  • 我们作为一个创业公司,前期尽可能以最低的成本去实现业务创新。但是,自己搭建符合上述4种所有要求的大数据平台,需要投入大量硬件投资、时间成本和人力成本。作为互联网创业公司,唯快不破,需要跟时间赛跑,如何快速、高效、低成本的搭建大数据平台也是重要议题。
  • 安全是金融行业永远的话题,作为互联网支付服务提供商,我们非常重视大数据平台的安全性、稳定性和可靠性,并需要平台具有多角色多权限的账户体系。同时,我们使用严格的数据隐私保护机制,商户的数据只用于分析商户自己的生意。

解决方案

我们围绕积累下来海量的交易数据,主要基于阿里云数加平台进行以下业务场景创新:

  • BI营销业务系统。基于用户交易行为数据进行用户画像,在用户画像的基础上提供精准营销方案,在老客户激活、提高客单价、潜客获取、转化率提升等方面对客户赋能。
  • 内部监控。基于阿里云数加平台进行数据监控赋能内部管理,包括交易信息汇总、异常交易提醒、数据质量分析等。
  • 数据源:来源于支付业务系统,分别使用了阿里云RDS、DRDS以及MongoDB,DRDS和RDS主要用来存储用户交易信息,MongoDB主要用来存储商品维度信息。
  • 大数据平台:通过阿里云数加平台搭建,包含的组件及功能为:

1.大数据计算服务(MaxCompute ,原名 ODPS):用于数据仓库。目前有包括原始基础表、ETL 结果表、上层 ADM 应用数据集市表在内的共计 630+ 张数据表。
2.大数据开发套件(DataIDE):使用其中的 DAG 调度系统支撑每天例行化运行 140+ 个节点;利用提供的日志功能、报警机制、重跑补数据等多种工具进行运维工作;通过阿里云子账号和数加平台的权限体系实现了多角色多权限的账户体系。
3.Quick BI:用于指标的图表展示。目前有 10+ 张图表以监控数据质量和辅助决策。
4.机器学习:利用提供的算法库解决大数据量的图模型问题、机器学习分类问题、文本分词问题等。

相关产品

  • 大数据计算服务 · MaxCompute

MaxCompute(原ODPS)是一项大数据计算服务,它能提供快速、完全托管的PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据。
更多关于阿里云MaxCompute的介绍,参见MaxCompute产品详情页

  • DataWorks

DataWorks是一个提供了大数据OS能力、并以all in one box的方式提供专业高效、安全可靠的一站式大数据智能云研发平台。 同时能满足用户对数据治理、质量管理需求,赋予用户对外提供数据服务的能力。
更多关于阿里云DataWorks的介绍,参见DataWorks 产品详情页

  • Quick BI

Quick BI 专为云上用户量身打造的新一代智能BI服务平台。
更多关于Quick BI的介绍,参见Quick BI产品详情页

  • 机器学习PAI

阿里云机器学习平台PAI(Platform of Artificial Intelligence),为传统机器学习和深度学习提供了从数据处理、模型训练、服务部署到预测的一站式服务。
更多关于机器学习PAI的介绍,参见机器学习PAI 产品详情页

【云栖号在线课堂】每天都有产品技术专家分享!
在线课堂地址:https://yqh.aliyun.com/zhibo

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
5月前
|
关系型数据库 MySQL 大数据
大数据新视界--大数据大厂之MySQL 数据库课程设计:MySQL 数据库 SQL 语句调优的进阶策略与实际案例(2-2)
本文延续前篇,深入探讨 MySQL 数据库 SQL 语句调优进阶策略。包括优化索引使用,介绍多种索引类型及避免索引失效等;调整数据库参数,如缓冲池、连接数和日志参数;还有分区表、垂直拆分等其他优化方法。通过实际案例分析展示调优效果。回顾与数据库课程设计相关文章,强调全面认识 MySQL 数据库重要性。为读者提供综合调优指导,确保数据库高效运行。
|
6月前
|
运维 自然语言处理 算法
云栖实录 | 大模型在大数据智能运维的应用实践
云栖实录 | 大模型在大数据智能运维的应用实践
647 3
|
11月前
|
SQL 分布式计算 NoSQL
大数据-164 Apache Kylin Cube优化 案例1 定义衍生维度与对比 超详细
大数据-164 Apache Kylin Cube优化 案例1 定义衍生维度与对比 超详细
124 1
大数据-164 Apache Kylin Cube优化 案例1 定义衍生维度与对比 超详细
|
11月前
|
分布式计算 大数据 Linux
大数据体系知识学习(二):WordCount案例实现及错误总结
这篇文章介绍了如何使用PySpark进行WordCount操作,包括环境配置、代码实现、运行结果和遇到的错误。作者在运行过程中遇到了Py4JJavaError和JAVA_HOME未设置的问题,并通过导入findspark初始化和设置环境变量解决了这些问题。文章还讨论了groupByKey和reduceByKey的区别。
180 1
|
11月前
|
存储 大数据 分布式数据库
大数据-165 Apache Kylin Cube优化 案例 2 定义衍生维度及对比 & 聚合组 & RowKeys
大数据-165 Apache Kylin Cube优化 案例 2 定义衍生维度及对比 & 聚合组 & RowKeys
155 1
|
10月前
|
Linux 网络安全 Android开发
高级 ping 命令及技巧
Ping命令是一种常用的网络诊断工具,用于测试网络连接的可达性和延迟等信息
924 57
|
10月前
|
Linux iOS开发 网络架构
如何使用 Ping 命令监测网络丢包情况?
如何使用 Ping 命令监测网络丢包情况?
7006 48
|
9月前
|
Ubuntu Linux
Linux 各发行版安装 ping 命令指南
如何在不同 Linux 发行版(Ubuntu/Debian、CentOS/RHEL/Fedora、Arch Linux、openSUSE、Alpine Linux)上安装 `ping` 命令,详细列出各发行版的安装步骤和验证方法,帮助系统管理员和网络工程师快速排查网络问题。
983 20
|
10月前
|
Linux iOS开发 MacOS
如何设置 Ping 命令的超时时间?
如何设置 Ping 命令的超时时间?
1644 3
|
10月前
|
运维 监控 Linux
别再只会使用简单的 ping 命令了,Linux 中这些高级 ping 命令可以提高工作效率!
在 Linux 系统中,ping 命令不仅用于检测网络连通性和延迟,还拥有多种高级选项和技巧,如定制数据包大小、获取详细统计信息、持续 ping、指定源地址和多目标 ping。本文详细介绍这些高级命令及其在性能测试、故障排查和网络监控中的实际应用,帮助你提升网络管理效率。
792 3

热门文章

最新文章