本文将通过浅显易懂的例子，深入浅出的向您介绍大数据在信用风险，市场风险，反洗钱等风险管理领域，以及财务管理等其他金融领域的应用。
就如大家通过我们的文摘阅读了解到的大数据的知识， 这个世界的数据正以前所未有的速度、类型以及体量进行着爆炸式的增长。现如今的技术也几乎可实现即时而有效的实时分析。
然而，当大数据已经被许多领域接受时，风险控制仍未开始利用它的力量。事实上，大数风险控制方面也有着革命性的潜力。它能提高风险模型的预测能力及稳定性，指数式的改善系统响应时间及效用，提供更广泛的风险覆盖，并且能显著的节约成本。在这个正在变得越来越复杂并且需求也越来越多的社会中，获取、处理以及利用大数据的能力将决定风险管理的胜败！
世界上超过90%的数据在最近2年内产生，思维超前的产业及机构已经开始挖掘并利用这个宝藏。大数据被定义为可以组织和分析的‘海量’、‘高增长率’和‘多样化’的信息资产，并被认为是一个真正的游戏规则改变者。这个它对风险管理而言又意味着什么呢？简而言之，大数据代表着风险控制在这个领域点的未来。为什么呢？因为大数据科技可以帮助风控团队获得更加精确、并在近乎实时的大量风控数据！在金融服务这个行业内，他们能让资产管理者、银行以及保险公司积极的预测到潜在的风险，更快并更有效率的做出反应，并且在成千上万的风险变量出现的时候做出稳健的决策。 当大数据在金融服务行业内应用于风险管理时， 数据的“高真实性”以及“高价值”将会得到充分体现，而这些数据也将会变得越来越精确以及可靠。 于此同时，有效的风险控制模型可能给金融机构带来以十亿计的损失，因此通过降低风险的方式可以显著的节约成本。大数据技术将改变如今世界的风险管理。 请确保你将参与到其中。
“在新世界的风险管理中，时间至关重要，如果你能更快地应对风险，你就有了一个竞争优势”
具有静态结构和有限交互路径的数据仓库时代已经过去。取而代之的是具有可得性的复杂多样的来源，包括社交媒体、电子邮件、传感器数据、商业应用、档案和文件。同时，取得和分析数据的速度亟需崭新的方法。现在，我们正步入数据湖时代。
数据湖的方法很简单：你不必在孤立的指令性存储中组织数据，而是将不同原始格式的所有类型的数据保存到一起。数据湖既有结构化数据（载于关系型数据库和电子表格中）， 也有非结构化数据（如社交媒体，电子邮件和文本文档），而它的运用将更加快速灵活。基于上面提到的那些实时信息，这个系统允许用户进行点对点查询和跨数据源的导航，进而做出分析决策。
想象一下，你要对一个新客户进行信用检查，几秒钟之内，数据湖就会允通过一系列信用数据（包括客户的信用报告，消费习惯，社交媒体概况，以及信用卡还款率等）生成一个风险概况。
担心交易大厅的欺诈吗？比起手动地、辛苦地跟踪交易人员行动，数据湖允许获得行动的即时快照，包括从聊天室的站点、移动电话、甚至门刷卡中获得的信息。可疑的活动一旦发生，它就能被识别出来并及时停止，避免了遭到罚款，也避免了毁坏你银行的声誉。
大数据意味着大承诺，但它能够不辜负大承诺吗？现在下结论，为时尚早。随着每日产生大量数据，“噪音”（很有可能）增加得比“信息”更快。因为，有这么多假设需要进行测试，有这么多数据等待挖掘，但是客观真理的数量却是相对稳定的。要确定有用的信息，需要有针对性的策略和适当的技术，或者是针对隐晦的洞察力和价值的体积庞大的威胁数据。
风险管理面临新的机遇与挑战。为了应对危机，监管机构要求更为详细的数据以及日益复杂的报告。银行预期将在所有资产类别中对各种场景进行定期而全面的自下而上的压力测试。近来，广为报道的“流氓交易员”和洗钱丑闻，促使行业进一步要求加强风险控制和建模。 大数据技术为应对这些挑战提供了新的机遇。广泛、全面和近乎实时的数据有能力提升风险监控（同时降低信噪比），风险覆盖率，以及风险模型的稳定性和预测能力。在一些关键领域，特别是操作风险和合规风险，大数据技术将使得模型的发展能够支持风险人员的日常决策。 这些技术能够快速处理大规模数据，同时也能够适应设定在交易，交易对手和投资水平上的情景压力测试的新要求。大数据所提供的绝大多数好处和挑战，都来自于其庞大的数量和多样性（图 1）。然而，不同的风险领域确是以不同的途径从大数据技术中受益。无论一个机构是要求数据有更大容量，更具多样性，更加快速，亦或是更具准确性，大数据都可以有针对性地满足其特殊需求，并且在战略上应用这些数据加强不同的风险领域。
经济危机爆发以后，金融机构希望能够深入地了解他们的客户。越来越多富有远见的银行在信用风险领域，利用大数据来发展更稳健的预测指标。新的数据来源，包括社交媒体和营销数据库。它们可以用来获取被更为清晰的客户行为分析。这些信息来源能揭示一些令人吃惊的消息：一场代价很高的离婚，一次昂贵的购物，一个赌博的问题。
从数据湖中得到的信息，加上传统数据源，包括金融、社会人口、内部支付和外部损失数据，集中在一起可以产生一个非常强大而全面的风险指标。运用大数据技术，我们可以从客户现有的行为来判断出风险预警信号，并及时采取行动，而不用等到审核贷款客户的财务报表才发现还款问题。
最近几次丑闻之后，业界对待洗钱和恐怖主义融资到了零容忍的地步。一经发现，罚款极其严厉。最近一家法国银行因为与被美国制裁的国家做交易，被处以89亿美元的巨额罚款，创下历史记录。
洗钱案件的高成本迫使银行寻求新的方法，来解决当前反洗钱风险管理中存在的严重缺陷。传统的反洗钱方法还停留在依靠规则和描述性分析来处理结构化数据。该系统有明显的局限：缺乏自动算法，在大量数据中检测信息时，需要费力的关键字搜索以及人工筛选报告。举个例子，近期我们观察到这样一个案例，一家大型金融机构的支付提示里出现“CBI”这个缩写时，可能是指爱尔兰央行（Central Bank of Ireland），意大利央行（Central Bank of Italy）或伊朗央行（Central Bank of Iran）（编者按：其中只有伊朗在国际制裁的名单里）。而所有出现“CBI”的交易记录都会被发送到反洗钱部门进行人工审查。这是一项耗费资源又容易出错的任务。
大数据分析可以改进现有的反洗钱操作流程。该方法对于结构化数据能进行高级统计分析，而对于非结构化数据，也能做先进可视化处理和统计文本挖掘。这些方法可以提供一种迅速绘制出交易和账户之间隐藏着的联系、并发现潜在可疑交易模式的手段。高级分析能够生成实时可应对的洞察，阻止潜在的洗钱风险，同时允许资金和人力援助转移至经济困难需要帮助的地区。大数据技术可以识别事故，帮助绘制更广泛的图像，让银行在为时已晚之前拉响警报。
交易对手信用风险量化变得越来越复杂。衍生工具不再是简单的每条交易法则的净折现值 - 而是银行自身的信贷质量（债务估值调整 - DVA ） ，它的交易对手方（信用估值调整 - CVA）和无担保资金（资金估值调整 - FVA ）都需要作为考虑因素。这些计算通常必须在不同的定价数据（例如应用“风险中性” CVA ）下进行，并且生成各种不同频率的报告 – 月度报告，每周报告，每日报告，当日盘中报告。
计算这些组件是巨大的且数据密集的工作。为了在投资组合层面计算CVA，大银行通常会执行1000 至 5000组蒙特卡洛场景拟合。不过，要完全模拟结构性金融产品的所有衍生品工具的潜在风险，银行可能需要运行大约100,000组蒙特卡洛场景拟合。传统网络技术根本无法以足够快的速度应付如此大的运算，因此常常由于处理过载而失败。
然而，内存图形处理单元(GPU) 能在日益增加的高负载数据市场风险领域提供巨大的利益。源自游戏产业中内存/ GPU技术，允许系统以难以置信的高速度处理大量数据。在内存中执行带来了相对于传统方法关键优势：非常迅速的数据处理速度，比如处理增量假设的统计数据是可能仅需几秒钟。总体而言，这种解决方案可以很大的提高资产负债表的优化和抵押品管理，包括对新的客户交易和市场价格/波动变化提供实时风险模拟。
在市场风险和交易对手信用风险管理方面，数量和速度是重要的推动因素。简单地说，拥有更强蒙特卡洛分析能力的银行将能够把金融衍生品交易的定价提高到比竞争对手更好的水平。
“新的高性能计算和内存技术正在将我们的市场风险管理提高到一个新的水平。无论从计算能力以及对成本的角度来看技术已经不是一个限制因素了。市场和信用风险估值可以通过使用这些新技术来模拟在更多的细节。它甚至允许使用直到近来还被认为是不可能或过于昂贵的模型和模拟运算。” ---马克.范.巴伦，ING银行全球MRMB交易主管
欺诈让银行损失巨大。备受瞩目的流氓交易丑闻,比如说: 近年来Kweku Adaboli和Jerome Kerviel的案子在新闻报道中抢足了风头, 罚金天价。这些案件给整个金融体系造成严重破坏。Nick Leeson的欺诈投机交易造成整个银行业灾难性崩溃。被 全球外汇调查后,最近有6家银行被罚43亿美元，这反映出加强对同业拆借利率的管控是多麽的失败！
传统方法在识别欺诈方面缓慢、冗长、麻烦。传统运营风险团队逮住流氓交易者的方法是人为地追踪那些操纵岗位、盈亏的交易商和运营人员的举动。然而，现在欺诈者往往使用一系列的技术和策略来规避 ，比如最近FX 丑闻中的私人聊天室。新数据湖技术的优势在于可以从任何可以想得到的渠道收集数据，不仅包括各种交易系统、电子邮件、社交媒体和移动数据，还包括各种人力资源系统、出入门刷卡装置和计算机登录日志文件等。因此，进行全面综合的数据分析，就能够在损失达到灾难级前就监测到欺诈行为。
“在运营风险方面，大数据的优势在于能够整合来源于旧平台的海量信息，从而得出一个高度可行的解决方案。例如：在客户和我们的互动中，我们能够权衡 各种大数据解决方案，获得对各个平台的登录控制管理的更好见解，从而有助于我们确保全过程客户交易的安全和保密。”
目前，大数据不仅能帮助我们改善反应与预测能力，还为解决风险提供了令人兴奋的新可能性。认知技术的最新发展将能让大数据技术能实时地作出合理明智的决定，保护易受冲击的市场。
例如，Twitter与华尔街的交织导致了一些灾难性的事件的发生。去年，一则来自美联社的错误推文称——白宫已经被爆炸袭击，这让市场直线下跌。IBM的超级电脑Watson(华生)的识别程序可以用来解决这类的风险。“华生”具有分析像社交媒体源这样的非结构数据的认知能力，能迅速并且合理地对风险进行评估。在这个案例中，来自twitter 的报道应该由提示触发器来告诉用户要警惕阅读此条消息，而不是立刻在市场上带来一系列灾难性的影响。
新技术的发展令人生畏。然而大数据技术已经被证明具有安全性、有效性、增值性， 并且在以指数级的速度快速发展成为很多行业（从在线购物到医药研究）的标准规程。在不久的将来，我们期待银行在继续使用它们已经存在的数据库和数据仓库的同时，使用大数据开源软件，Hadoop生态系统等，通过映射元数据、聚合结果，显著的增加现有系统、数据库、数据集市的价值。
Hadoop可以作为一个一站式的企业数据平台（跨公司的共享数据），用以创建数据湖，通过“中间件”连接器与数据仓库相连，使数据以其原始形式保留。
这种灵活性使得我们令人惊讶地发现：替代预定义的提问，数据湖允许数据指导使用者，观测各种数据形式的模式和关系。数据湖通过观察不同类别数据所呈现出的模式和关联关系来指导用户，而非预定义的提问。当充分发挥它的潜力大数据可以提供在开始时并不存在的问题的答案。
原文发布时间为：2015-07-01
本文来自云栖社区合作伙伴“大数据文摘”，了解相关信息可以关注“BigDataDigest”微信公众号
