IBM Platform Computing 如何帮助金融行业掘金大数据

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

IT技术的进步、互联网的发展,衍生和扩大了许多新应用,新需求。人们的生活轨迹,工作轨迹都融入到互联网中,与之产生了各种数据,有信息、有图片、有文档、有视频,在后来网上购物,网上金融等,每个人无形中通过互联网产生了大量的数据。那么当全球数十亿人产生的数据集合起来是一个什么概念?一个任何IT企业都不敢也不能处理的数据。

今天,IBM提出的大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)Veracity(真实性)。

同样来看金融行业,在没有IT设备之前就是通过大量的人力来管理数据,金融行业的特性就是要求对数据的安全和一致性有着绝对的高要求。而今天互联网的发展,最近更是出台可以视频办理金融业务。如此更是对IT系统有了更高的要求。

那么如何让金融已经拥有的IT系统更好的服务今天的大数据?以及让大数据反过来促进金融服务降低成本,提升效率。成为今天IT面临的问题。

金融行业面临两个用户部分,一个部分由业务/应用用户组成,他们试图让应用程序满足业务需求。如最基本的储蓄业务,以及今天的移动支付。另一个部分是部门级或企业级的 IT 组织,他们试图通过提供 IT 支持更有效地运行这些应用程序。这个就是金融系统的核心业务数据库。

在业务和应用程序用户部分中,应用程序越来越复杂。例如,金融产业的提供越来越多的应用,就需要后台提供更复杂的算法或添加更多的数据。

有时候当你电话咨询金融业务时,是不是觉得客服中心很厉害,感觉她的回答完全就是针对你的问题而来。这就是大数据的利用。当你的电话打来时,已经不是随机给你派送客服,而是根据你以前的业务咨询来智能的为你提供专业的客服人员。

某银行的附属金融商务公司,主要业务为客户服务中心、外呼营销中心、商户收单、运营操作中心和资讯系统管理业务等非金融外包服务。所做的就是基于已有的呼叫中心历史数据,利用大数据技术,服务于内部流程优化、生产运营管理及服务品质提升。

Platform Computing能够实现对收集数据项的自定义条件的灵活查询功能。根据对坐席界面点选、系统交易等信息的分析,形成每通电话的业务模型,从而系统自动判断来电原因。

通过分析客户IVR使用习惯,为实施IVR菜单、路径等优化措施提供有效依据,同时健全针对IVR的各项统计数据项及管理指标;依据一定规则筛选重复来电数据,从通话时长、来电原因、客户信息等方面进行分析,以提高一次解决率、防范升级投诉及服务质量。

针对账户接管类风险,依据历史操作记录分析行为轨迹,形成风险模型;筛选出风险账户、风险电话号码的风险名单;业务依据风险名单通过主动外呼等方式防范风险。

通过Platform Computing工作负载管理可以确保适当工作负载得到适当的优先级,然后为它们分配了适当的资源。因此,首先需要了解供需双方。才能提供正确的算法来最大程度地利用和优化整体环境,从而交付完全自动化和流程化的服务水平协议 (SLA)。实现对整体资源池的高度利用。

对于部门级或企业级的 IT 组织,所有这些复杂性促使企业需要更多的 IT 资源。通俗讲就需要金融机构花钱来买IT设备,包括存储、服务器等设备以及相关服务软件。但是对于银行机构来说,我每年已经花了那么多钱,而且我的存储系统,计算能力是否饱和呢?IT设备我是需要新建,还是优化旧有的系统,如何整合新旧系统?有什么理由让我花更多的钱呢?

比如某农商行数据平台,新一代数据仓库系统需要建立高性能、高可靠的分析系统满足对业务分析的需求,面临这与就有的DB2 DPF数据库系统以及已有的两台P750产品整合。要保障在同机房内,将2套存储组建成本地高可用,任意一台发生故障,不影响上层应用服务器使用,存储设备恢复后,可实现2套存储设备之间增量数据同步,保证数据一致性;

具备同城双活能力,在不增加额外设备的情况下,支持将此次采购的2套存储中的其中一套直接搬运、安装至同城另一机房,在基础通讯链路满足要求的情况下,可直接实现同城两个机房之间的存储双活极高的数据服务需求:配置存储内快照,跨存储之间的存储克隆、备份等功能,可实现将生产存储设备中的数据通过克隆、备份等多种方式,向开发测试环境提供数据服务;具有在线实时压缩功能,应对日益增长的数据爆炸。

IBM Platform Computing 解决方案在分布式计算环境中为技术计算和分析提供了共享功能。 这个共享服务模型打破了筒仓式应用程序环境的概念,创建一个可供多个组使用的共享网格。

Platform Computing的共享服务模型提供了许多优势。会在一个较高的级别上为所有解决方案提供四个关键能力。

创建共享资源池,该资源池既适用于计算密集型应用程序,也适用于数据密集型应用程序,它实际上是异构的资源池。该资源池包含物理的、虚拟的和云组件,为用户提供便利。用户并不知道他们正在使用共享网格。他们只知道自己需要时可以正确组合访问所有资源。

共享服务被传送给多个用户组和网站,很多情况下甚至可以全球传送。可以让用户使用许多类型的应用程序。灵活性对打破组织现有简仓至关重要。Platform Computing提供许多管理方法确保用户拥有正确的安全性和优先级,所有报告和分析都可以帮助用户管理这些环境。

某银行的数据仓库ETL工具采用DataStage,DataStage运行在一个集群之上。DataStage集群在进行数据的抽取、转换、加载过程中,会产生一些中间数据和结果数据,这些数据需保存在一个共享文件系统中。对于共享文件系统的要求:采用服务器挂本地盘组成分布式存储资源池;可使用VMWare虚拟机作为分布式文件系统IO Server;集群中所有节点能够高效访问;高性能、高可靠、无限扩展。

采用IBM的GPFS-FPO分布式文件系统。用VMWare虚拟机作为GPFS NSD Server。物理机挂接SAS磁盘,并直连到虚拟机上。实现了集群中每个节点可高效访问存储资源池,不存在NAS机头IO瓶颈。任意一个或多个节点故障不影响文件系统正常使用。能够实现容量及性能的在线横向扩展,不影响应用对数据的访问。GPFS的多份拷贝功能,能够满足容灾的需求。真正实现存储系统的高性能,高可靠,高扩展以及数据备份。

Platform Computing还有一个重要的能力就是将静态基础架构转换为动态基础架构。如果一个用户拥有非专用的硬件,比如服务器或者台式机,那么可以采用智能的方式将它们加入到整体资源池中。通过内部或者外部将工作负载分发给第三方云。还可以利用多个管理程序在某些地方利用虚拟化。用户可以改变资源的性质,根据工作负载队列来优化共享系统的整体吞吐量。

通过案例和IBM Platform Computing 的共享计算功能来看,Platform Computing是一个管理大数据面临的复杂计算的软件,通俗来讲就是计算密集型或者数据密集型软件,通过优化所有资源工作负载和大幅缩短获得结果的时间,运行在大型计算机网络之上。

IBM Platform Computing 软件提供了以下几个重要优势:

提高了利用率,因为我们减少了整个组织的 IT 简仓数量

提高了由计算机网络完成的工作的吞吐量

通过减少错误数量提高了服务水平

更高的组织 IT 灵活性

特别是金融服务或风险管理。对于需要对大数据集进行复杂分析的银行和保险公司而言,这些任务是必要任务。

在金融服务中,可以利用交易前分析 (pre-trade analysis) 和风险管理应用程序帮助人们更好地实时制定决策。

通过IBM platform computing,让银行现有IT与新一代数据库集合起来,保障了性能和可靠性。IBM也是是唯一在功能和性能上都满足的供应商,同时构建存储虚拟化为基础的一体化统一数据存储/管理/运维平台,运用platform computing高效的数据分析资源池,满足高性能数据分析需求,最后构架的灵活性满足系统平台实现存储高可用又可在未来实现跨站点的存储双活。

有关IBM platform computing对于大数据的加速应用,请参考http://cio.zdnet.com.cn/special/IBM_Platform_Computing  

原文发布时间为:2016年1月5日
本文作者:任新勃 
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
7月前
|
存储 JSON 大数据
大数据离线数仓---金融审批数仓
大数据离线数仓---金融审批数仓
593 1
|
1月前
|
机器学习/深度学习 数据采集 搜索推荐
大数据与金融风控:信用评估的新标准
【10月更文挑战第31天】在数字经济时代,大数据成为金融风控的重要资源,特别是在信用评估领域。本文探讨了大数据在金融风控中的应用,包括多维度数据收集、智能数据分析、动态信用评估和个性化风控策略,以及其优势与挑战,并展望了未来的发展趋势。
ly~
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
大数据在智慧金融中的应用
在智能算法交易中,深度学习揭示价格波动的复杂动力学,强化学习依据市场反馈优化策略,助力投资者获取阿尔法收益。智能监管合规利用自然语言处理精准解读法规,实时追踪监管变化,确保机构紧跟政策。大数据分析监控交易,预警潜在违规行为,变被动防御为主动预防。数智化营销通过多维度数据分析,构建细致客户画像,提供个性化产品推荐。智慧客服借助 AI 技术提升服务质量,增强客户满意度。
ly~
157 3
|
7月前
|
机器学习/深度学习 人工智能 大数据
AI时代Python金融大数据分析实战:ChatGPT让金融大数据分析插上翅膀
AI时代Python金融大数据分析实战:ChatGPT让金融大数据分析插上翅膀
343 6
|
7月前
|
监控 搜索推荐 大数据
大数据在金融领域的应用有哪些?请举例说明。
大数据在金融领域的应用有哪些?请举例说明。
131 0
|
7月前
|
存储 弹性计算 大数据
【云计算与大数据技术】Google、亚马逊、IBM、阿里云等云计算应用平台介绍讲解(超详细)
【云计算与大数据技术】Google、亚马逊、IBM、阿里云等云计算应用平台介绍讲解(超详细)
421 0
|
运维 大数据 数据挖掘
SelectDB x 白鲸开源金融大数据解决方案正式发布!
飞轮科技联合白鲸开源,针对金融行业大数据实时分析的场景共同推出高效实用的解决方案。
|
大数据
《金融级别大数据平台的多租户隔离实践》电子版地址
金融级别大数据平台的多租户隔离实践
94 0
《金融级别大数据平台的多租户隔离实践》电子版地址
|
SQL 分布式计算 算法
传统金融IT男转型互联网大数据码农,图啥?
传统金融IT男转型互联网大数据码农,图啥?
|
1月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
294 7