产品3周迭代一次,启信宝驾驭8000万企业征信的平台架构

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 启信宝的企业数据范围广、维度多,覆盖8000万以上的企业, 19个产业链,95个细分行业,100个以上企业数据维度,企业覆盖率达98%以上。
11+大数据行业应用实践请见 https://yq.aliyun.com/activity/156 ,同时这里还有流计算、机器学习、性能调优等技术实践。 此外,通过 Maxcompute及其配套产品 ,低廉的大数据分析仅需几步,详情访问 https://www.aliyun.com/product/odps ;更多精彩内容参见 云栖社区大数据频道 https://yq.aliyun.com/big-data  。

启信宝的核心功能包括搜索引擎、企业链图、关系族谱、企业监控、企业舆情以及企业信用报告等。启信宝目前支持APP、网页以及微信三种不同版本,另外还提供API调用方式。客户主要面向个人客户和企业客户,目前个人用户数已达到800万以上,企业客户以金融行业为主。

启信宝的大数据平台挑战

启信宝作为一家以大数据为核心竞争力的公司,借助大数据为客户降低执业风险、经营风险、投资风险和借贷风险,为客户提供数据解决方案以进行精准营销、拓客展业,为客户借贷管理、投资理财提供决策依据。主要面临的挑战为:

1.高时效性。作为一家成立时间较短的企业,为了不断满足客户新的需求以及提升客户体验,并快速确立市场领先地位,产品的迭代需要非常快速,基本上三周以内会迭代一次,而且通过每一次的迭代在数据上、挖掘上都需要有一些可以打动客户的亮点,这就要求采用的大数据平台能够满足时效性的需要。

2.低成本。作为创业公司,不仅对时效性有很高要求,成本也是重要的考量因素,需要以采用的大数据平台能够支撑快速、高效、低成本的产品迭代。

3.数据处理量巨大、对数据变化的实时性要求高。目前,启信宝仅日志数据的数据量已达到TB级别,每天会对日志数据进行几十个任务的调度处理来进行日志分析。另外,舆情方面的数据实时性要求较高,需要实时处理及更新并能够实时进行内容多维查询和统计分析。

4.可扩展性。作为一家数据公司,需要大数据平台能够应对未来极有可能发生的的数据量的爆发式增长,架构可伸缩,弹性的满足需要,避免不必要的IT费用。另外,未来启信宝将会在大数据采集和挖掘上持续发力,在企业信用信息展示的前提下,同时注重挖掘企业背后的舆情信息及商业关系,这就需要大数据平台的功能可扩展,既可以满足数据采集处理、可视化报表展示、多维分析等基本需求,也可以满足预测分析、机器学习及人工智能等方面的高阶分析需求。

5.数据融合工作的复杂性。启信宝的数据来源非常丰富,因此需要跟周边各种数据源打通。举个例子,有些大数据项目真正进行开发算法、模型的时间会很短,大概一两天左右就可以完成,但这往往仅为“冰山一角”,实际上,由于数据兼容性问题,数据准备工作异常繁杂,可能会用到一周甚至更长的时间。难怪最近纽约时报惊呼:“数据科学家把高达 80%的时间用于数据准备而不是用来发现新的商业智能”。

启信宝的大数据平台方案

启信宝作为垂直企业信息搜索平台,立足于企业征信信息的披露,基于海量大数据,为泛金融、泛投资、泛法律和商务用户提供企业信息画像、风险管理、营销决策等可量化数据服务,以客户为中心,让数据说话,让商业更真实。启信宝基于阿里云数加平台进行数据的整理和分析。
  1. 主要数据来源:互联网采集的数据以及API调用的第三方的企业数据。
  2. 数据处理分析:应用数据采集到阿里云存储容器,通过数加平台进行二次加工处理,最终同步到阿里云存储容器中进行数据展现分析。
  3. 应用层:支撑企业图谱、企业监控、深度报告、搜索引擎等不同产品形态。

方案涉及的阿里云数加平台组件有:
  1. 大数据计算服务(MaxCompute)
  2. 大数据开发套件(DataIDE)
  3. 分析型数据库(AnalyticDB)

启信宝云平台选择思考

1. 阿里云数加和基础云服务平台的敏捷性很好的支撑了启信宝产品的快速迭代。启信宝的第一个版本微信版本于2015年5月初上线,到现如今启信宝已上线APP版、Web版,同时还支持API外接,业务也做了相应扩充,分别面向个人和企业客户,通过客户需求不断的推进和拓展,期间经历了大量的小版本迭代。目前,2C的业务,客户反馈较好、活跃度较高,反映在是使用时长等各方面;2B业务,结合行业应用场景以及启信宝自身数据,正在不断提供一些更好的行业解决方案。启信宝创始人金志浩说:“从2015年开始,启信宝伴随着阿里云一起高速发展,通过阿里云产品的使用,确实能帮我们节省很多时间,要不然我们全部自己搞定,时间周期太长,自建的话时效性根本跟不上。”

2. 使用阿里云数加,成本大大降低。“阿里云数加的整个数据处理流程非常完善;其次,我觉得这一块的成本会比较便宜,而且可以节省我们大量的人力,这也是很重要的一块;另外,售后技术服务周到快速也是我们选择阿里云数加的原因之一。”创始人金志浩谈到为什么选择阿里云数加时讲到。

3. 阿里云数加的按需付费模式以及产品功能完备性,使得启信宝对未来快速发展更具信心。阿里云完全满足启信宝未来数据吞吐量和可扩展性的需要,阿里云数加包含大数据基础服务、数据分析与展现、数据应用以及人工智能的大数据全链路产品,经过阿里内部锤炼和业务验证,可以支撑EB级数据海量处理。

4. 阿里云的大数据产品生态具有完备性和开放性两大特点,打破数据融合瓶颈,大大提升了产品开发效率。阿里云提供四通八达的数据传输交互服务,让数据不再成为孤岛,加速数据融合。
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
运维 监控 负载均衡
探索微服务架构下的服务治理:动态服务管理平台深度解析
探索微服务架构下的服务治理:动态服务管理平台深度解析
|
2月前
|
运维 监控 安全
探索微服务架构下的服务治理:动态服务管理平台的力量
探索微服务架构下的服务治理:动态服务管理平台的力量
|
2月前
|
运维 监控 负载均衡
动态服务管理平台:驱动微服务架构的高效引擎
动态服务管理平台:驱动微服务架构的高效引擎
31 0
|
23天前
|
NoSQL 关系型数据库 MySQL
《docker高级篇(大厂进阶):4.Docker网络》包括:是什么、常用基本命令、能干嘛、网络模式、docker平台架构图解
《docker高级篇(大厂进阶):4.Docker网络》包括:是什么、常用基本命令、能干嘛、网络模式、docker平台架构图解
150 56
《docker高级篇(大厂进阶):4.Docker网络》包括:是什么、常用基本命令、能干嘛、网络模式、docker平台架构图解
|
3月前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
212 1
|
2天前
|
监控 JavaScript 数据可视化
建筑施工一体化信息管理平台源码,支持微服务架构,采用Java、Spring Cloud、Vue等技术开发。
智慧工地云平台是专为建筑施工领域打造的一体化信息管理平台,利用大数据、云计算、物联网等技术,实现施工区域各系统数据汇总与可视化管理。平台涵盖人员、设备、物料、环境等关键因素的实时监控与数据分析,提供远程指挥、决策支持等功能,提升工作效率,促进产业信息化发展。系统由PC端、APP移动端及项目、监管、数据屏三大平台组成,支持微服务架构,采用Java、Spring Cloud、Vue等技术开发。
|
22天前
|
机器学习/深度学习 前端开发 算法
婚恋交友系统平台 相亲交友平台系统 婚恋交友系统APP 婚恋系统源码 婚恋交友平台开发流程 婚恋交友系统架构设计 婚恋交友系统前端/后端开发 婚恋交友系统匹配推荐算法优化
婚恋交友系统平台通过线上互动帮助单身男女找到合适伴侣,提供用户注册、个人资料填写、匹配推荐、实时聊天、社区互动等功能。开发流程包括需求分析、技术选型、系统架构设计、功能实现、测试优化和上线运维。匹配推荐算法优化是核心,通过用户行为数据分析和机器学习提高匹配准确性。
69 3
|
2月前
|
SQL 数据采集 分布式计算
【赵渝强老师】基于大数据组件的平台架构
本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层:数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中,大数据平台层为核心,负责数据的存储和计算,支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型,应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。
263 3
【赵渝强老师】基于大数据组件的平台架构
|
2月前
|
搜索推荐
|
2月前
|
监控 Nacos 数据安全/隐私保护
动态服务管理平台在微服务架构中的实践与探索
动态服务管理平台在微服务架构中的实践与探索
下一篇
开通oss服务