雅捷一体化方案新品提速金融大数据

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 本文讲的是雅捷一体化方案新品提速金融大数据,3月28日,国内领先的金融大数据应用企业——上海雅捷信息技术股份有限公司在京举办了鸡年的首场新产品发布会。在本次发布会上,雅捷信息发布了三款重磅产品,包括DataTurbine大数据并行处理平台2.0版本以及DataTurbines-P、DataTurbines-D两种软硬件一体化解决方案。

本文讲的是雅捷一体化方案新品提速金融大数据,3月28日,国内领先的金融大数据应用企业——上海雅捷信息技术股份有限公司在京举办了鸡年的首场新产品发布会。在本次发布会上,雅捷信息发布了三款重磅产品,包括DataTurbine大数据并行处理平台2.0版本以及DataTurbines-P、DataTurbines-D两种软硬件一体化解决方案。IBM公司、NVIDIA公司、容天汇海公司的高管和专家,招商银行的资深专家以及20余家专业媒体的记者一同见证了新品发布。

  伴随着国内大数据应用的不断深入,金融企业对于数据的快速加工和高速查询有了更高的要求,特别是在高并发状态下的查询需求。而此类需求给数据处理技术带来了前所未有的挑战:面对大数据量下的数据加工和查询,现有系统计算能力不足的问题凸显。基于对金融行业需求的敏锐把握,雅捷信息推出了针对解决大数据应用难题的DataTurbines系列产品,该系列产品创新性地采用GPU计算技术加快数据处理和查询的新架构,包括企业级DataTurbines大数据并行处理平台及两种一体化解决方案。

  雅捷一体化方案新品提速金融大数据

  图为雅捷信息董事长兼CEO做新产品发布。

  该系列产品的发布,表明雅捷信息在金融业大数据处理技术方面已取得世界领先地位。目前,DataTurbines系列产品已应用在省级商业银行等金融机构的大数据查询应用中,为客户带来了良好的应用效果。在一个6000万客户的银行,以往2小时的跑批任务,如今1分钟完成;原先5分钟的查询,现在不到一秒。这就是基于GPU的数据库技术对业务的实实在在提升。速度的巨大提升,使得原先因系统性能而不能做的业务变得可行,使得大数据真正服务银行的每一个岗位。正如某银行互金部老总所评价:“速度的提升甚至可以将风控做到实时,这对业务的提升简直就是跨越,是消费金融的核心能力”。

  雅捷信息本次发布的DataTurbines系列产品不仅包含了基于雅捷在行业经验优势的软件产品,更是实现了与NVIDIA DGX-1TM人工智能超级计算机与集成了NVIDIA NVLink 高速互联技术的IBM Power S822LC for HPC(Power Minsky)服务器产品的集成。通过将雅捷软件产品与这些服务器紧密融合,为金融业客户提供了一体化的行业解决方案。

  北京容天汇海科技有限公司作为NVIDIA公司中国区的ELITE级别的NPN合作伙伴、IBM公司中国区HPC和深度学习领域的OEM厂商,为雅捷公司的金融系列产品的强势推出提供了测试、质量和服务的保障。

  雅捷信息的董事长郑学强在发言中表示:“GPU技术可真正将大数据落地。银行从来不缺大数据,缺的是数据引领业务的能力;银行不缺想法,问题就在于数据处理的能力,为了数据,每个银行都投入不菲,但是数据太大了,造成查询慢、加工慢。雅捷利用NVIDIA GPU技术使得银行数据并发查询加速500倍、跑批提速100倍。这在数据仓库时代简直匪夷所思,即使以Hadoop为基础的体系也是个不切实际的梦想。

  NVIDIA全球副总裁、中国区企业事业部总经理沈威表示:“NVIDIA一直以来利用不断推陈出新的GPU加速计算为各行业提供卓越的高性能计算平台,并通过遍布全球的合作伙伴网络,行业应用解决方案供应商,加速关键行业应用性能提升。凭借雅捷、IBM在金融领域的深耕与优势,以及NVIDIA GPU技术的强大性能,三家公司的深度合作将助力金融行业客户大数据应用的指数级提升”。

  IBM大中华区硬件系统部服务器解决方案副总裁施东峰在发言中阐述:“随着认知商业时代的到来,机器学习正在快速被应用在包括金融业在内的各个行业。作为一家认知解决方案和云平台公司,IBM包括Power System在内的IT基础设施都已经为云和认知而设计优化,此次与雅捷合作实现软硬件一体化解决方案的Power Minsky 服务器,利用了最新的NVIDIA NVlink互联技术,与NVIDIAP100 GPU结合,能够大幅度提升雅捷产品的性能,更好地为金融客户提供服务

  此次发布的三款新产品和一体化方案包括;

  •   DataTurbines大数据并行处理平台2.0

  •   DataTurbines大数据并行处理平台2.0版本是一款分布式数据库软件产品,其创新性在于在充分发挥服务器并行技术的基础上,利用NVIDIA GPU加速器的高性能、高并发计算能力,利用GPU计算平台进行数据处理加速,提高数据加工和查询性能。面对大规模数据,高维度统计汇总以及文本模糊查询场景在实际应用和测试中,将效率提升400倍以上。在数据加工场景中,如资金转移定价,效率提升同样令人振奋。DataTurbines大数据并行处理平台2.0版本在1.0版本的基础上,进一步提高了系统功能,对ANSI SQL的支持达到80%以上,对DB2存储过程的支持达到90%以上,这进一步提高了产品的通用性和易用性。

  •   DataTurbines-P一体化方案

  •   DataTurbines-P是基于POWER架构、专为日常数据加工、跑批等应用设计的软硬件一体化解决方案。能在保持原系统架构基本不变的前提下,实现数据高速批处理。DataTurbines-P的硬件平台采用POWER平台+ NVIDIA Tesla? P100的超级计算系统Power S822LC for HPC。Power S822LC for HPC由IBM与包括NVIDIA在内的全球领先的科技公司在2016年9月合作推出,专门面向人工智能、深度学习、高性能数据分析等计算密集型工作负载。基于搭载了NVIDIA NVLink的POWER8处理器,Power S822LC for HPC带来了仅能在Power开放架构上实现的业界领先的创新成果。通过高速、节能的NVIDIA NVLink标准,新系统实现了POWER8 处理器与 NVIDIA TeslaP100 GPU的连接。NVIDIA NVLink协议融入芯片设计,并纳入了整体系统设计。IBM与NVIDIA技术的紧密结合使新系统得以交付比基于x86的系统快5倍的数据处理速度。

  •   The DataTurbines-D 一体化方案

  •   DataTurbines-D是基于NVIDIA DGX-1人工智能超级计算机硬件平台和雅捷DataTurbines大数据并行处理平台的软硬件一体化解决方案,专门为日常数据加工,跑批等应用设计,能在保持原系统架构基本不变的前提下,实现数据高速批处理。NVIDIA DGX-1超级计算机集成了8个16GB显存的Tesla P100 和深度学习软件,整机性能在深度学习应用方面相当于250台传统服务器的水平,其配置的7 TB固态硬盘用于储存大量原始数据,能大幅度提升数据的处理速度。目前已广泛应用于与科研、医疗等各个行业,并支持应用最广泛的加速分析应用。其强大的性能将为大型商业用户提供强大计算平台支持。

  •   2016年,雅捷在NVIDIA Tesla K80平台基础上助力某省级商业银行部署的大数据查询业务比仅用CPU处理方式提速了400倍以上。此次,两款一体化解决方案采用了NVIDIA 最新推出的Tesla P100 GPU,经测试使用Tesla P100比Tesla K80在大数据的查询和处理方面实现了3到6倍的提速。同时应用的NVIDIA NVLink技术,是一种高带宽且节能的互联技术,能够在 CPU-GPU 和 GPU-GPU 之间实现超高速的数据传输。这项技术的数据传输速度是传统 PCIe3.0 速度的 5 到 12 倍,能够大幅提升应用程序的处理速度。

  DataTurbines系列产品的问世和进一步完善,使得大规模下数据处理和查询性能提高到毫秒级。给金融、电信等行业的业务开展带来新的机遇,将数据分析提升至实时,如业务交易实时分析,交易风险实时风控,帮助管理人员实时掌握运营情况,颠覆了以往的T+1模式。同时,DataTurbines系列产品的高性能,使得数据服务范围扩展到广大的一线业务人员,数据服务粒度可以到明细级,这给金融、电信行业的业务向深度和广度拓展提供无限可能。

作者:朱丽娜

来源:IT168

原文标题:雅捷一体化方案新品提速金融大数据

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
13天前
|
消息中间件 监控 数据可视化
大数据-79 Kafka 集群模式 集群监控方案 JavaAPI获取集群指标 可视化监控集群方案: jconsole、Kafka Eagle
大数据-79 Kafka 集群模式 集群监控方案 JavaAPI获取集群指标 可视化监控集群方案: jconsole、Kafka Eagle
36 2
|
2月前
|
运维 算法 数据可视化
【2021 高校大数据挑战赛-智能运维中的异常检测与趋势预测】2 方案设计与实现-Python
文章详细介绍了参加2021高校大数据挑战赛中智能运维异常检测与趋势预测任务的方案设计与Python实现,包括问题一的异常点和异常周期检测、问题二的异常预测多变量分类问题,以及问题三的多变量KPI指标预测问题的算法过程描述和代码实现。
63 0
|
14天前
|
存储 NoSQL 大数据
大数据-51 Redis 高可用方案CAP-AP 主从复制 一主一从 全量和增量同步 哨兵模式 docker-compose测试
大数据-51 Redis 高可用方案CAP-AP 主从复制 一主一从 全量和增量同步 哨兵模式 docker-compose测试
25 3
ly~
|
19天前
|
机器学习/深度学习 人工智能 自然语言处理
大数据在智慧金融中的应用
在智能算法交易中,深度学习揭示价格波动的复杂动力学,强化学习依据市场反馈优化策略,助力投资者获取阿尔法收益。智能监管合规利用自然语言处理精准解读法规,实时追踪监管变化,确保机构紧跟政策。大数据分析监控交易,预警潜在违规行为,变被动防御为主动预防。数智化营销通过多维度数据分析,构建细致客户画像,提供个性化产品推荐。智慧客服借助 AI 技术提升服务质量,增强客户满意度。
ly~
32 2
|
13天前
|
SQL 分布式计算 大数据
大数据-108 Flink 快速应用案例 重回Hello WordCount!方案1批数据 方案2流数据(一)
大数据-108 Flink 快速应用案例 重回Hello WordCount!方案1批数据 方案2流数据(一)
29 0
|
13天前
|
大数据 流计算
大数据-108 Flink 快速应用案例 重回Hello WordCount!方案1批数据 方案2流数据(二)
大数据-108 Flink 快速应用案例 重回Hello WordCount!方案1批数据 方案2流数据(二)
35 0
|
2月前
|
机器学习/深度学习 数据采集 大数据
2022年第三届MathorCup高校数学建模挑战赛——大数据竞赛 赛道B 北京移动用户体验影响因素研究 问题一建模方案及代码实现详解
本文详细介绍了2022年第三届MathorCup高校数学建模挑战赛大数据竞赛赛道B的题目——北京移动用户体验影响因素研究,提供了问题一的建模方案、代码实现以及相关性分析,并对问题二的建模方案进行了阐述。
79 0
2022年第三届MathorCup高校数学建模挑战赛——大数据竞赛 赛道B 北京移动用户体验影响因素研究 问题一建模方案及代码实现详解
|
2月前
|
机器学习/深度学习 数据采集 大数据
2022年第三届MathorCup高校数学建模挑战赛——大数据竞赛 赛道B 北京移动用户体验影响因素研究 问题二建模方案及代码实现详解
本文详细介绍了2022年第三届MathorCup高校数学建模挑战赛大数据竞赛赛道B的问题二的建模方案和Python代码实现,包括数据预处理、特征工程、模型训练以及预测结果的输出,旨在通过数据分析与建模方法帮助中国移动北京公司提升客户满意度。
66 2
|
2月前
|
机器学习/深度学习 数据采集 算法
【 2021 MathorCup杯大数据挑战赛 A题 二手车估价】初赛复赛总结、方案代码及论文
总结了2021 MathorCup杯大数据挑战赛A题“二手车估价”的初赛和复赛经验,包括题目要求、解题思路、所用方法和结果,提供了详细的数据分析、模型构建、论文撰写和工具使用技巧,并展示了初赛和复赛的论文。
45 2
|
5月前
|
关系型数据库 分布式数据库 数据处理
【PolarDB 开源】PolarDB 在大数据分析中的应用:海量数据处理方案
【5月更文挑战第25天】PolarDB是解决大数据挑战的关键技术,以其高性能和可扩展性处理大规模数据。通过与数据采集和分析工具集成,构建高效数据生态系统。示例代码显示了PolarDB如何用于查询海量数据。优化策略包括数据分区、索引、压缩和分布式部署,广泛应用于电商、金融等领域,助力企业进行精准分析和决策。随着大数据技术进步,PolarDB将继续发挥关键作用,创造更多价值。
235 0