大数据征信进入洗牌期,区块链或成新一代征信系统底层架构

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 区块链技术助推新一代征信系统体系建设。

由于中国的消费金融需求旺盛但服务相对落后的行业特点,导致行业内数据滥用现象严重。

此前,人民银行征信中心副主任汪路在公开场合表示,在当前征信体系已经严重滞后于经济、金融发展需求的情况下,这些弊端应当受到高度重视并有效解决,以促进征信体系建设的顺利推进,降低经济和金融风险。

滥用数据现象体现了行业对个人征信市场的迫切需求,而随着百行征信的设立以及监管的重拳整治,野蛮生长了几年的大数据征信行业,进入洗牌期。

搭建个人征信体系需求迫切

“爬虫技术对个人隐私、数据滥用有推波助澜的作用。但这也从另一个角度体现了市场对于个人征信数据的一个需求。”北京大学金融智能研究中心研究员刘新海对第一财经记者表示。

目前,行业内滥用数据现象严重。刘新海认为数据滥用现象,主要可归纳为三类,一是采集数据过多,并未经过消费者本人同意;二是非法购买、数据倒卖;三是爬虫技术获取。

此前,消费金融领域一直是信息泄露的重灾区,倒卖数据现象比较严重。例如,用户在互金平台申请贷款时,需要填写电话号码、身份信息、银行卡等信息外,还要填写信用卡、车辆、公积金、甚至淘宝等网购平台的消费账单等,这些数据常常被数据供应商拿来倒卖。

在互金行业内,互金公司获取消费者的数据成本在运营成本中占比较高,造成了很多P2P等新兴借贷平台在购买数据防欺诈、降风险方面耗费了太多成本。 又由于市场数据分散,互金公司在购买数据时,往往批量购买,后由互金公司整合构成自己的一个征信数据来源。

“去年国家安全法以及两高的司法解释出台后,倒卖倒买个人数据现象得到了一定的缓解。”刘新海称。

《中华人民共和国网络安全法》作为我国网络领域的基础性法律,明确加强对个人信息保护,打击网络诈骗,重拳整治行业乱象。法律规定任何个人和组织不得窃取或者以其他非法方式获取个人信息,不得非法出售或者非法向他人提供个人信息,并规定了相应法律责任。

在爬虫技术方面,刘新海认为,爬虫技术之所以在互联网金融行业应用普遍,主要是源于P2P等互联网金融公司急需对借款人做信用评估,以防止欺诈行为。

“网络爬虫是互金平台获取借贷人信息数据的一种技术,但这种行为有时并不合规,例如现金贷行业出现一种‘同业爬虫’产品,可以直接将其他现金贷平台的放款额和风控数据爬出来,相当于其他的平台帮助你做了风控。”

刘新海表示,真正的风控技术需要投入人与时间,需要付出一定的代价买教训。从目前来看,很多公司都表示已加大投研力度,提升风控水平,但其实从行业、技术角度出发来看,互金行业的风控技术总体来说还比较落后,主要问题是消费金融服务需求太过迫切。

“只要公司做好营销,解决欺诈及获客问题,就可以挣钱,那么为什么还要花大量时间去做风控呢?这是行业矛盾的地方。根据互金行业的实际情况,过去一段时间,风控对于互金公司(特别是现金贷公司)的盈利能力而言并没有起到关键作用。”

用技术助推征信体系建设

征信体系与技术联系非常紧密,在大数据、人工智能技术迅猛发展的背景下,如何将用技术助推征信体系的建设,也是目前我国征信市场面对的一个挑战。

根据刘新海介绍,征信对我国而言本来就是“舶来品”,并且市场化公司参与多、发展渠道多。欧美发达国家是征信基础设施和金融体系循序渐进、同步发展,而我国则是经济发展倒逼征信体系发展,是跨越式发展。另一方面,单一的征信模式已无法满足消费经济活跃、需求旺盛的市场现状,因此需要通过其他的渠道来解决这个需求,所以一些市场化的互联网公司、大数据公司也想参与征信体系的基础设施建设。

相比移动支付,互联网时代的个人信用体系建设将给市场经济带来更深变革。对于互联网巨头而言,个人信用体系的建设可以成为一个新的经济形态的入口,在此背景下一些互联网公司纷纷推出信用分业务。巨头参与征信基础设施建设,如何在过程中保证公平正义、保护消费者隐私,是征信体系建设过程的一个重要的问题。

2月22日,央行下发了首张个人征信牌照,百行征信有限公司申请设立个人征信机构已获得许可,个人征信牌照有效期为3年。这一平台成立的主要目的,是把央行征信中心未能覆盖到的个人客户信用数据纳入,构建一个国家级的基础数据库,实现行业的信息共享,以有效降低风险成本。

此前,唯品金融副总经理汤磊对第一财经记者表示,目前整个行业发展过程中存在的突出问题,首先是信息的碎片化,出现“信息孤岛”,各家机构均把信息看成自己的核心资产,不愿拿出来共享或拿出来共享的信息数据失真,导致个人多头借贷、过度借贷、骗贷等行为不断出现;第二,随着大数据征信的概念炒得比较热,存在利用个人征信之名,过度采集或未经授权采集个人信息的情况。

百行征信的设立或许能够有效解决消费金融领域的数据孤岛问题,也能清理数据买卖的乱象。但业内对于“老八家”入股百行征信之后是否愿意共享数据存疑。那么,如何打造一个有效打破数据壁垒的信息共享平台?

“我认为互金协会的信用信息共享平台将成为百行征信未来主要的征信数据来源。百行征信最后也许不需要8家征信公司的数据,因为有的数据它们不想拿,也拿不出来。”一位接近央行人士此前对第一财经记者表示。

他指出,征信数据是有囊括标准的,在一定维度内的数据将被纳入征信数据。例如,个人的信贷历史,征信数据需要匹配到每个人,需要个人的标识信息,需要一个清晰的边界。但此前央行批复的“筹备成立”个人征信业务的8家机构,由于数据维度太广,并没有局限于传统的征信数据维度。因此,一旦按照征信数据标准收窄维度,会影响机构的金融生态体系。

从技术的角度来看,区块链技术或许可以解决机构间不信任的问题。中国信息通信研究院云计算与大数据研究所主任韩涵表示:“信用领域是区块链的应用场景之一,用区块链共享信息,一方面信息共享透明,机构之间可相互看到彼此都共享了哪些信息,比较放心;另一方面,通过区块链的技术来精准地记录你所共享的信用,把市场本身进行记账,同时设置不同的激励机制和运营模式,来实现信息的共享。”

另外,在防止数据泄漏方面,刘新海认为,区块链分布式、多约束的特点对于黑客来说挑战比较大。“身份信息用区块链存储是分布式的,系统的安全性会加强。同时,由于所有行为都在链上体现,对数据质量、真实性也有了保证。区块链技术可能是未来新一代征信系统的底层架构的一种选择。”但他同时指出,如何提高对海量征信数据的处理效率,也是区块链技术在实际应用中存在的一个问题。


原文发布时间为:2018-04-02

本文作者:36氪的朋友们

本文来源:36Kr,如需转载请联系原作者。


相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
存储 分布式计算 Hadoop
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架,核心包括MapReduce和HDFS,用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势,但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统,DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
145 2
|
22天前
|
分布式计算 大数据 数据处理
经典大数据处理框架与通用架构对比
【6月更文挑战第15天】本文介绍Apache Beam是谷歌开源的统一数据处理框架,提供可移植API,支持批处理和流处理。与其他架构相比,Lambda和Kappa分别专注于实时和流处理,而Beam在两者之间提供平衡,具备高实时性和数据一致性,但复杂性较高。选择架构应基于业务需求和场景。
34 3
经典大数据处理框架与通用架构对比
|
23天前
|
存储 分布式计算 大数据
数据仓库与数据湖在大数据架构中的角色与应用
在大数据时代,数据仓库和数据湖分别以结构化数据管理和原始数据存储见长,共同助力企业数据分析。数据仓库通过ETL处理支持OLAP查询,适用于历史分析、BI报表和预测分析;而数据湖则存储多样化的原始数据,便于数据探索和实验。随着技术发展,湖仓一体成为趋势,融合两者的优点,如Delta Lake和Hudi,实现数据全生命周期管理。企业应根据自身需求选择合适的数据架构,以释放数据潜力。【6月更文挑战第12天】
52 5
|
16天前
|
存储 数据采集 数据挖掘
“湖仓一体架构及其应用”写作框架,系统架构设计师
随着5G、大数据、人工智能、物联网等技术的不断成熟,各行各业的业务场景日益复杂,企业数据呈现出大规模、多样性的特点,特别是非结构化数据呈现出爆发式增长趋势。在这一背景下,企业数据管理不再局限于传统的结构化OLTP(On-Line Transaction Processing)数据交易过程,而是提出了多样化、异质性数据的实时处理要求。传统的数据湖(Data Lake)在事务一致性及实时处理方面有所欠缺,而数据仓库(Data Warehouse)也无法应对高并发、多数据类型的处理。因此,支持事务一致性、提供高并发实时处理及分析能力的湖仓一体(Lake House)架构应运而生。湖仓一体架构在成本、
|
4天前
|
存储 数据可视化 大数据
大数据平台架构设计与实施
【7月更文挑战第3天】本文探讨了大数据平台的关键技术,包括数据采集(如Kafka、Flume)、存储(HDFS、HBase、Cassandra)、处理(Hadoop、Spark)、分析挖掘及可视化工具。架构设计涉及数据收集、存储、处理、分析和应用层,强调各层次的协同与扩展性。实施步骤涵盖需求分析、技术选型、架构设计、系统部署、数据迁移、应用开发测试及上线运维,旨在为企业决策提供强有力的数据支持。
|
9天前
|
SQL 存储 运维
网易游戏如何基于阿里云瑶池数据库 SelectDB 内核 Apache Doris 构建全新湖仓一体架构
随着网易游戏品类及产品的快速发展,游戏数据分析场景面临着越来越多的挑战,为了保证系统性能和 SLA,要求引入新的组件来解决特定业务场景问题。为此,网易游戏引入 Apache Doris 构建了全新的湖仓一体架构。经过不断地扩张,目前已发展至十余集群、为内部上百个项目提供了稳定可靠的数据服务、日均查询量数百万次,整体查询性能得到 10-20 倍提升。
网易游戏如何基于阿里云瑶池数据库 SelectDB 内核 Apache Doris 构建全新湖仓一体架构
|
16天前
|
存储 供应链 安全
区块链技术防止交易被篡改的能力主要依赖于其独特的架构和机制
**区块链技术通过分布式存储、去中心化网络、哈希链接、共识机制及加密算法确保交易防篡改。每个区块含前块哈希,篡改将破坏链式结构;共识机制如PoW、PoS保证交易验证;智能合约增强安全性。多层防护保障数据完整性和安全性,支撑其在多个行业中的应用。**
|
6天前
|
监控 安全 Java
基于Java的区块链数字身份认证系统架构设计
基于Java的区块链数字身份认证系统架构设计
|
2月前
|
Cloud Native 物联网 持续交付
未来科技浪潮:区块链、物联网与虚拟现实的融合创新云原生技术:重塑IT架构的未来
【5月更文挑战第31天】在信息技术飞速发展的今天,新兴技术如区块链、物联网和虚拟现实等正成为推动社会进步的重要力量。本文将探讨这些技术的发展趋势及其在各领域的应用前景,揭示它们如何相互融合,共同塑造一个智能化、互联的未来世界。 【5月更文挑战第31天】本文深入探讨了云原生技术的兴起及其对传统IT架构的颠覆性影响。通过分析云原生的核心概念,如微服务、容器化、以及持续集成/持续部署(CI/CD),文章揭示了这些技术如何促进更高效、灵活和可扩展的软件开发实践。同时,本文还讨论了企业在采用云原生技术时面临的挑战与机遇,并展望了云原生技术在未来IT领域的发展趋势。
|
2月前
|
存储 运维 监控