本节书摘来异步社区《Python金融大数据分析》一书中的第1章，第1.2节，作者： 【德】Yves Hilpisch（伊夫 希尔皮斯科）译者： 姚军 责编： 傅道坤，更多章节内容可以访问云栖社区“异步社区”公众号查看。
1.2 金融中的科技
现在，我们对Python已经有了大致的认识，回头简短地介绍一下科技在金融中的作用就很有意义了。这将使我们更好地评判Python在金融行业中已经承担的任务，更重要的是，还可以评判未来承担的任务。
在某种意义上，科技对于金融机构（例如与工业企业相比）或者财务部门（与其他企业职能部门相比，如后勤）没有什么特别的作用。然而，近年来，在创新和监管的刺激下，银行和其他金融机构（如对冲基金）越来越多地发展成为技术公司而不仅仅是金融中介机构。科技成为了全球几乎所有金融机构的重要资产，具备导致竞争优势和劣势的潜力。某些背景信息可以解释这种发展的原因。
1.2.1 科技开销
银行和金融机构共同组成了每年在科技上投入最多的行业。因此，下面的陈述不仅说明科技对金融行业的重要性，也说明了金融行业对科技的重要性：
据IDC分析师称，银行在2014年的科技投入比2013年多4.2%。这位分析师说，全球金融服务的总体IT花费在2014年将超过4300亿美元，2020年将会超过5000亿美元。
——Crosman 2013
当今的大型跨国银行通常雇佣数千名开发人员，以维护现有系统、构建新系统。具有大量科技需求的大型投资银行每年的科技预算往往达到数十亿美元。
1.2.2 作为业务引擎的科技
科技发展对金融行业的创新和效率增进也有贡献：
科技创新已经为更高效的衍生品市场做出了显著的贡献。通过交易技术的创新，尽管交易量和商品报价数量猛增，欧洲期货交易所（Eurex）的交易速度仍然远快于10年前…这些显著改进只有在衍生品交易所和票据交换所不断地在IT上投入巨额资金的情况下才可能实现。
——德意志交易所集团2008
效率提高的副作用之一就是，金融机构往往必须在更为复杂的产品或者交易中寻求竞争优势。这当然会使风险增大，并使风险管理和监控、监管越来越困难。2007年和2008年的金融危机说明了这些发展带来的潜在危险。同样，“算法和计算机失控”也给金融市场带来潜在的风险；2010年5月的所谓“闪电崩盘”事件戏剧性地展现了上述风险，自动化卖出导致某些股票和股票指数在当日大幅度下跌（http://en.wikipedia.org/wiki/2010_Flash_Crash）。
1.2.3 作为进入门槛的科技和人才
一方面，在其他条件不变的情况下，随着时间的推移，科技的进步会降低成本。另一方面，金融机构持续在科技上投入巨资，以增大市场份额、保持自身地位。在今天的金融市场上取得一席之地往往需要在科技和熟练人员上大规模投资。考虑衍生品分析领域的一个例子（也可参见本书第3部分的案例研究）：
在整个软件生命期中，采用内部OTC[衍生品]定价策略的公司仅在一个完整的衍生品库的构建、维护和改进上就需要投入2500～3600万美元。
——Ding 2010
构建一个完善的衍生品分析库不仅成本高昂和费时，而且需要有足够的专业人士来进行这项工作。这些专业人士必须有正确的工具和技术，才能完成他们的任务。
我们以下引用的另一段有关美国长期资本管理公司（LTCM）的陈述进一步支持关于科技和人才的观点，LTCM曾是最受尊敬的计量对冲基金，但是在20世纪90年代末破产：
Meriwether在最新型计算机系统上花费了2000万美元，并雇用一个由一流金融工程师组成的团队在LTCM操纵该系统，他们在康涅狄格州的格林威治开始工作。这是行业级别的风险管理。
——Patterson 2010
Meriwether花费数百万美元才能得到的计算能力在今天可能只需要几千美元就能实现。另一方面，大型金融机构的交易、定价和风险管理已经变得非常复杂，以致于现在必须部署具有数万个计算核心的IT基础架构。
1.2.4 不断提高的速度、频率、数据量
金融行业有一个方面最受科技进步的影响：金融交易决策和执行的速度及频率。Lewis最近的著作（2014）生动而详细地描述了所谓的“闪电交易”——也就是以可能的最高速度进行的交易。
一方面，可用数据的尺度越来越小使实时反应成为必需的能力。另一方面，交易的速度和频率的提高使数据量进一步增大。这两方面相互补充，推动了金融交易平均时间标度的系统性下降：
复兴资本公司的“大奖章”基金在2008年获得了80%的惊人增长率，它以闪电般速度的计算机抓住了市场极端活跃的机会。Jim Simons是当年世界盈利最高的对冲基金管理人，收入达到25亿美元。
——Patterson 2010
单只股票30年的每日股价数据大致包含7500个报价。这类数据是大部分现代金融理论的基础。例如，现代投资组合理论（MPT）、资本定价模型（CAPM）和风险价值（VaR）等理论都以每日股价数据为基础。
相比之下，苹果公司（AAPL）典型交易日报价次数大约为15000——两倍于30年间日终报价的数量。这带来了许多挑战。
数据处理
考虑和处理股票日终报价或者其他金融计量是不够的；在每周的7天、每天的24个小时内，某些计量措施上发生的事情“太多了”。
分析速度
决策往往必须在几毫秒甚至更短的时间内作出，有必要构建个别分析能力，实时分析大量数据。
理论基础
虽然传统金融理论和概念远称不上完美，但是它们经受了时间的考验（有些时候受到排斥）；对于毫秒级计量能力很重要的今天，仍然缺乏在很长时间内证明是稳定的一致性概念和理论。
原则上，上述挑战都只能由现代科技应对。令人有些惊讶的是，缺乏一致性理论的问题也常常通过技术方法处理，在这种情况下，高速算法利用的是市场微观结构要素（例如，订单流、买卖价差），而不依赖于某种金融推理方法。
1.2.5 实时分析的兴起
金融行业中有一个学科的重要性正在强劲增长：金融和数据分析。这种现象与行业中速度、频率和数据率飞速增长有紧密的关系。实际上，实时分析可以视为该行业对这种趋势的反应。
粗略地讲，“金融和数据分析”指的是应用软件和科技，与（可能是先进的）算法和数据收集、处理及分析方法相结合，以获得深刻理解、作出决策或者满足监管需求的学科。这类分析的例子包括银行零售部门中某个金融产品定价结构的变化对销售情况影响的估算。另一个例子是投资银行衍生品复杂投资组合信用价值调整（CVA）的大规模隔夜计算。
金融机构在这种环境下面对两种主要挑战。
大数据
甚至在“大数据”这一术语出现之前，银行和其他金融机构就必须处理海量数据；然而，单一分析任务所处理的数据量随着时间的推移而有了很大的增长，要求计算能力的提高和更大的内存与存储能力。
实时经济
过去，决策者只能依赖结构化的定期计划、决策和（风险）管理过程，而今天面对的是实时完成这些任务的需求；过去在后台通过隔夜批量运行可以完成的任务，现在已经转向前台实时执行。
同样，人们可以观察到科技和金融/商业方法发展之间的相互作用。一方面，有通过现代科技的应用不断改进分析方法速度和能力的需求。另一方面，科技方面的进步使几年甚至几个月之前认为不可能（或者由于预算约束而不可行）的新分析方法成为可能。
分析领域的一个重要趋势是利用CPU（中央处理单元）的并行结构和GPGPU（通用图形处理单元）的大规模并行结构。现在的GPGPU往往有超过1000个计算核心，有时候有必要彻底反思并行性对不同算法的意义。用户通常必须学习新的范型和技术才能利用这种硬件的能力[3]，仍是这方面的障碍之一。
