2018年6月29~7月1日，在广州举行的CSDI中国软件研发管理行业技术峰会圆满落下了帷幕，作为与会者之一，我感到非常荣幸，能够有机会与各行业的同僚进行学习交流。本次技术峰会不乏来自各大公司的大咖嘉宾，吸引了来自全国各地的众多技术人员参与，涉及的领域众多，选题丰富，案例详尽，前瞻性与实用性兼具，不仅能了解到各种技术前沿，还能学习到不同行业的从业人员是如何将日新月异的技术应用到实践，为公司带来价值，促进业务的发展，同时也引发了我对一些技术未来的思考，真可谓不虚此行。      三天的大会日程安排的满满当当，围绕物联网、金融科技、人工智能、大数据等不同主题，建立了不同的分会场，根据自己的兴趣随意挑选主题会场进行学习交流。经常刚听完一个分享，与讲师交流完，马上就要赶赴下一个会场听新一个主题讲座，一天下来尽是忙碌奔波各个会场的身影，以及来不及细细消化的各种干货和思考。会后根据主办方提供的网站下载收集了很多来自不同讲师的资料，结合自己记的笔记，趁此机会，好好梳理总结下这次广州行的收获与感悟。 Day1     大会日程第一天并未设立分会场，主要是一些知名企业，如微软、小米、Facebook、华为等，从行业发展和技术实践方面讲述了自己公司如何在新时代拥抱AI、区块链等新技术，利用技术创新，推动公司的业务转型以及产业发展。讲师都是来自各公司的CTO、CEO、总裁等级别的大咖，绘声绘色的描述了数字化AI新时代下各行各业的积极应对和实践创新。大部分议题都是从行业趋势和生态构建等大方向展开，有助于了解技术发展历程和未来，格局较大，干货较少。印象深刻的有以下几场。 ·       作为大会开场嘉宾，微软中国的CTO黎江先生，以“数字化转型的产业趋势与技术创新”为主题，讲述了微软如何在数字化新时代，从一家传统软件公司转型为一家以云计算、大数据、物联网、人工智能等为核心的创新企业。以一组令人震惊的数据，向我们展示了数字化转型对社会经济和就业机会带来的巨大改变；以具体案例分享带我们领略了微软在普惠的人工智能方面取得的成就；以形象的图例指引了一条数字化转型的业务路线图，供从业人员进行思考。让我对技术变革对传统行业的影响有了更深刻的认识，同时也看到技术创新的重要性和巨大价值。 ·       格林深瞳CEO赵勇博士，以“AIOT：推进智慧城市进化”为题，讲述了一个人工智能与物联网结合的典型案例，利用人工智能技术，将相机、麦克风等智能设备打造成具有精确场景理解和行为识别的智能前端，促进物理世界与数字世界的联通，建设智慧城市。分享了格林深瞳在建设智能安防、智能交通、智能营销等方面的落地。利用人脸识别、人体分析、车辆识别技术构建了不同智慧场景解决方案，以及基于这些解决方案的未来构想和尝试。让我体验到了一套成熟的计算机视觉从端到云的服务架构。但是在某些场景下（如智能营销），也让我意识到了数据隐私的问题，在该场景下的所有人的行为动作都会被智能设备捕捉用于后续的分析和精准营销，人仿佛置身于数据透明的环境中，不再有隐私可言。不禁想起了神剧《黑镜》中对未来科技的担忧和反思，未来技术发展如何与人和谐共处可能也是需要解决的一大问题。Day2     第二天主办方设立了全球化、物联网、金融科技、人工智能、大数据、智能运维等6个不同主题的分会场，我根据自己兴趣和工作方向，主要选择了人工智能、金融科技和大数据三个分会场的一些议题。其中部分议题不乏对我的现有工作有一定启发和指导意义，总体来说干货比第一天多不少。与会者热情也很高，和讲师积极互动，共同探讨各自领域遇到的一些技术难题。但是由于时间有限，部分自己感兴趣的地方还是没有能够深入讲开，或多或少也有一点遗憾。不过能够接触到各个专家教授，并留下了一些联系方式，这也是不小的收获。 ·       来自达观数据的联合创始人桂洪冠和东南大学认知智能研究所的漆桂林教授，分别从自己领域出发，讲述了围绕知识图谱进行的相关应用实践工作，与目前我们正在做的金融知识图谱有很强的关联性，收获了不少启发。桂洪冠先生从知识图谱基本概念和结构出发，以此为基础进行推理计算，阐述了达观数据如何基于知识图谱实现认知智能，并分享了知识图谱的构建心得，提了很多非常中肯的建议：优先使用结构化置信度高的数据，充分利用外部互联网资料和行业积累的行业术语、专业字典和经验规则等；定义了基本概念层级结构的领域模式非常重要，需要自上而下进行定义并字下而上进行验证；需要对知识推理的结果进行质量评估，对自动标注的样本进行效果验证，对知识图谱应用进行badcase反馈；构建知识图谱需要有明确的切入场景；不同于达观数据重点讲述图谱构建和实践，漆桂林教授更侧重讲述了知识图谱的发展历程以及推理学习方法和逻辑基础，帮助我们更深入理解知识图谱的本质以及如何应用实践，同时介绍了知识图谱在众多不同行业的落地，涉及食谱图谱、智能家居、法务图谱、医院病历智能分析等领域。总的来说这两场讲座收获不少，既有原理也有实践分析，相信对今后的工作会有很大帮助。 ·       知衣科技联合创始人兼CEO郑泽宇，介绍了TensorFlow的历史与发展，深度学习的动机和原理，接着分享了知衣科技在利用深度学习落地服装设计的应用，解决了服装设计领域中的难题和挑战，利用大数据掌握潮流和衣服搭配设计，属于深度学习与传统行业的深度结合的典型案例，让我认识到深度学习带来的技术变革不仅在互联网和科技行业。 ·       景驰科技战略合作人张振林先生围绕景驰最新的科研成果，分享了人工智能在无人驾驶领域的具体应用，并分析探讨了无人驾驶的商业落地模式，展示了景驰利用激光雷达+图像检测算法导航、基于深度学习的障碍物检测、识别跟踪等多个领域的产品demo，看起来十分炫酷，也让我有机会了解到当前汽车行业的发展大趋势和巨大的市场潜力，但是很多方向目前还只是构想，真正实现L4等级的无人驾驶可谓前路漫漫，还需继续努力。·       来自微软中国的管震，讲述了物计算和云计算以外的新领域：边缘计算，主要应用于于AI与工业互联网的结合落地，成为连接端与云的载体，这块对我属于完全陌生的领域，科普性质较多。让我认识到了工业互联网中的种种难题，以及一种新型的解决方案，开拓了眼界。Day3     由于个人行程安排原因，大会第三天只听取了上午的一部分讲座，而且由于第三天议题与自身先关且感兴趣的并不是很多，主要节选区块链部分总结。 ·       来自工商银行的罗强博士和第一天日程中来自趣链科技的CEO李伟博士就区块链技术为核心，开展了自己的讲演。李伟博士首先介绍了区块链技术发展，以及用到的核心技术和商业本质，再到金融领域的落地实践，包括趣链团队丰富的上链落地实践。同时拓展到其他业务领域的应用，如医疗、政务等。展示了区块链在提高业务效率、降低拓展成本、增强监管能力和创造合作机制等方面的巨大价值。罗强博士展示了国内银行积极拥抱区块链，利用金融行业天然的优势，将区块链应用到支付清算、用户征信等金融领域，提升了金融行业的效率和安全保障，降低了成本。思考与感悟      总的来说，本次大会收获不少，不仅感受到了技术的魅力，也让我充分认识到了“技术革命”对各行各业带来的冲击与变化，不同行业如何利用新技术进行生态布局与产业升级，传统行业是怎么在日新月异的技术面前求得生存与发展。另一方面也会担忧未来技术发展可能与自然人文方面的冲突，如何谋求两者的和谐共处可能是以后的一大难题。

一、业务价值，为什么我们要用图数据库？随着互联网时代的快速发展，企业的数据呈现爆发式的增长，数据之间的关联也越来越复杂，图数据库应运而生。最重要的是如何运用技术方式帮助业务发挥辅助的决策作用，从而运用到新冠疫情、社交推荐、信用卡交易反欺诈等场景中。技术创新与产业应用，遵循着双螺旋上升的发展趋势，促使图技术到达了爆发式增长的边缘。从技术角度出发，图数据库的运用是针对解决数据的高度关联带来的严重的随机访问问题；从业务角度出发，图的价值在融合数据、技术、于打破生态位屏蔽产生高维认知。在了解图数据库时，我们不得不提到“知识图谱”这个概念。计算机在智能发展路径上，遵循着从数据-信息-知识-智慧的演进过程，知识图谱是其中认知智能发展的基础，而图数据库是承载知识图谱的最佳底座，帮助我们实现智能决策。二、应用场景，图数据库能够解决什么问题？图数据库目前已经应用在金融、社交、互联网等领域，这个部分我会更多分享阿里巴巴的图数据库的应用场景，希望与各位更多探讨如何利用图帮助客户解决问题。社交关系以社交关系为例，图技术在好友查询中仅需要几毫秒的时间，它将好友定义成节点，将好友与好友之间的关系定义成边，图数据库这样以“点、边”的查询方式，速度远远快于关系型数据库。不仅是好友查询，在“初始用户推荐、好友精细推荐、点赞查询、关联话题推荐”等场景中都能运用图来建模。智能营销图神经网络等图技术已经是阿里巴巴智能营销中必不可少的组件。接下来我将分享两个在智能营销中的图技术应用。第一个是One-ID，它的核心思路是借助联通子图等图算法，将不同数据源的多个实体实际代表的是同一个真实实体进行合并，从而识别到不同行为路径的ID隶属于同一个用户。第二个是智能营销。它的本质是是协同过滤算法思想为核心，通过计算共同邻居数进行相似节点推荐。欺诈检测同时图技术还运用在金融领域中，实现信用卡欺诈检测。保险欺诈检测与此同时，图技术也在保险反欺诈中发挥了作用。在某头部保险公司的案例中，运用图技术的测算，使得关联查询性能是原有保险反欺诈方案的10-100倍（客户实际测试反馈）。游戏拉新、促活、防流失由于游戏业务成长周期的特殊性，运营促活效率至关重要。一旦出现用户流失，之后用户活跃几乎不可逆。通过使用图数据库GDB的自动机器学习组件，可以更加准确的预测付费、7日内留存玩家，帮助运营人员更准确的投放点卡、道具等权益。三、产品介绍，揭开阿里云图数据库GDB性能的秘密图数据库GDB为企业提供从“知识存储”到“推理分析”，一站式智能决策方案为了帮助企业更好地解决业务问题进行智能决策，阿里云GDB从“知识存储”到“推理分析”，为企业提供了一站式智能决策方案。在知识图谱技术在解决智能决策的问题过程中，包含着四个重要的环节：知识构建、知识存储、推理分析、可视化展示。在知识存储的环节中，我们需要将提取出来的信息进行有效存储与管理，以及使用时能够快速筛选及查询。最为复杂环节是推理分析，如何在相互关联的信息中抽取并推理分析出高度有价值的信息，最后要在数据分析推理后如何进行可视化展示。这其中知识存储产品化程度最高，推理分析价值潜力最大。图数据库GDB的优势特性GDB引擎拥有以下四个独特的优势：● 极致性能，相较于传统图数据库提升近百倍。通过自研算子体系、计算引擎、执行引擎，逐步逼近物理硬件的极限性能，提供超越传统图数据库百倍的查询性能，只为解锁更多可能性。● 兼容并包，集多种图查询语言于一身。高度兼容Neo4j、JanusGraph等图数据库引擎，支持 OpenCypher 、Gremlin 查询语言，降低迁移成本和研发门槛。● 快速弹性、高可用、易运维，尽享云原生技术普惠。基于云原生架构的图数据库引擎，可快速扩缩容，应对突增业务负载；支持高可用实例、节点故障自动切换，保障业务连续性；提供备份恢复、自动升级、监控告警、故障切换等丰富的运维功能，免去繁琐的运维烦恼。● 低构建成本、灵活计费，满足不同成本需求。产品构建、运维成本，仅为国外图数据库友商的 40%；支持按量付费、包年包月多种计费形式，无论创新探索，亦或生产应用都能自由掌握。国内唯一进入Forrest Wave评测报告的图数据库产品Forrest Wave在2020年底公布了一次评测报告，在全球中遴选了十余款图数据库产品进行评审，其中阿里云GDB是国内唯一进入评测报告中的图数据库产品，同时在高可用于灾难恢复评测项目中取得了最高的成绩。GDB V3高性能的秘密不同于关系型数据库的设计目标，图数据库诞生是为了解决高度关联数据带来的随机访问问题，这就注定了在这一领域上没有太多的现成方法可供直接参考。我们以影响查询请求性能的三大因素“硬件间性能墙”、“数据管理开销”、“硬件效能利用”出发，在GDB V3的引擎设计过程中，通过重建并改进数据存储架构、优化数据流转过程、自研计算引擎、重写执行引擎，以及资源池化、无锁化编程等一系列性能优化方法，从而逐步逼近物理硬件的极限性能。提供超越传统图数据库百倍的查询能力，为图技术的应用，解锁了更多的可能性。1.影响用户查询请求时延的因素硬件间性能墙：数据处理会涉及到CPU、CACHE、MEMOERY、SSD、NETWORD等部件，各部件的处理延迟差异巨大；数据管理开销：CPU利用率中90%左右的时间都在花费在优化内存和硬盘之间性能墙、数据一致性、持久性等方面；硬件效能利用：传统的执行调用逻辑相比面向硬件特性实现逻辑可能会有比较大的性能差异2. 图数据库架构分类从目前业界流行的图数据库产品来看，主流的架构主要分为两类：计算、存储分离的分布式架构和以主-备架构为代表的高可用架构。前者的典型代表包括Tiger、Janus、Nebula等。这种架构下系统一般包括计算节点、存储节点和元数据管理节点。优势是通过Share Nothing的方式可以实现存储规模和计算能力弹性扩展，非常适用面向海量数据万亿大图场景。缺点是计算和存储一般跨节点部署，查询时会带来较大的跨网络数据交互开销，另外可能有数据热点问题。后者的典型代表包括阿里云GDB、Neptune、Neo4j等。 这种架构下系统一般只有主节点和备节点。主节点提供读、写服务，备份通过提供stand-by形式提供主异常时服务切换。优势是架构轻量, 用户使用体验好，比较适合中小规模的用户。缺点是存在存储规模和计算能力的瓶颈， 另外如果存储模型 和 计算逻辑不一致的化，会存在数据转换，开销会比较大。对阿里云GDB而言，由于采用Cloud Native的架构，存储和计算实质上也可以独立扩缩容， 存储规模一般可以达到数百亿规模，计算既可以垂直升配，也可以水平扩容到最多15个只读节点。GDB V3引擎基于主-备架构做了深度优化，主要体现在两点：计算、存储紧耦合，最大化执行效率设计图原生存储层，省掉数据转换开销3. 关键技术● 自研算子体系数据库的基础包括: 数据模型以及基于数据模型之上的各类数据操纵算子。 关系数据库的逻辑模型是E-R模型，该模型主要包括：Entity、Releation、Property。用户将业务场景建模为逻辑模型后，再转换为关系表并存储再关系数据库中，然后利用基于关系代数衍生而出的操纵算子例如：扫描、投影、过滤等对其数据进行业务洞察。图数据库的模型包括属性图和RDF图，以属性图为例其包含关键信息为：Vertex、Edge、Property。本质上和E-R模型是一致的。但不同于关系模型将逻辑模型转换为一张张物理表，属性抽象为列，用表的外键来描述表之间的关系，属性图直接将逻辑模型利用邻接矩阵(表)等技术进行图原生存储。存储模型的简洁使的操纵算子非常灵活和丰富。以Gremlin图查询语言为例，操纵算子有map(flatmap)、filter、sideEffect、branch四大类共有110多个。考虑到Tinkerpop通用执行框架效率低下，GDBV3自研算子体系可以进行高效优化并大幅提升请求执行效率。● 自研计算引擎定义算子执行体系后，需要通过计算引擎先将Gremlin请求翻译为物理算子树，GDBV3中这由三个模块构成： ● 解析引擎：相比Tinkerpop原生引擎性能提升1000倍，同时极大提升用户体验，增强数据库安全能力● 翻译引擎: Gremlin每个算子都有对应的算子或者表达式，翻译过程中实时优化，多轮优化● 优化引擎：相比基于策略的优化存在依赖性、低效性等问题，基于Cascade子树匹配模型自上向下多层匹配优化，支持谓词下推、子查询打平、算子Schema融合等● 自研执行引擎GDB V3的执行引擎主要包括三个方面：● 存算一体的架构： 传统基于开源组件构建的非原生图数据库系统一般都是存算分离架构，无法避免跨网络数据交互等问题。 V3采用存算一体解决方案，将这个执行算子树下推到图原生存储层，最大化的减少了算子和数据之间的距离，提升了数据处理的效率。 同时图原生存储本身就是针对图算子设计的存储结构，也会让算子的每个操作执行时延降到最低。 ● 数据驱动：传统的基于Volcano执行引擎调度过程类似下图中间左侧，算子自上向下调用，每次每个算子只获取处理一条数据，大量Cache Miss、数据转换、函数调用开销、内存浪费等问题导致数据执行效率低下。 V3采用数据驱动的策略，每个算子会对一批数据进行集中处理，并生成新的一批数据。 父子算子间通过Producer-Consumer模型共享同一批结果集合，极大减少数据跨算子传输。● 动态执行技术： 图原生存储基于Tree结构精确保存了各个属性的相关统计信息，系统并不需要额外的统计模块进行代价估算。 静态优化后直接将整个物理算子树下推到图原生存储层，利用算子进行执行时实时优化。4. 面向性能设计● 资源池化：为解决系统运行时频繁new(delete)开销，自研内存管理系统并构建数组、树等基础数据结构，同时将系统中关键数据结构资源池化● 无锁化编程： 基于快照的MVCC技术避免读请求进行锁等待；通过多级缓存池解决高并发下线程资源分配竞争；使用线程局部变量，解决数据可见性与多线程资源争抢的矛盾；基于CAS原子操作解决高并发下多线程资源同步、日志记录等并发冲突● 使用<指针, 引用计数> 思路解决复杂数据结构跨算子数据传输中编解码性能问题● 自研Binary数据编解码算法解决复杂结果集Encoding(Decoding)开销5. 性能测试数据以Twitter数据集作为测试数据，● 2跳查询中，相比Neo4j性能提升95倍，相比Nebula性能提升258倍；● 3跳查询中，相比Neo4j性能提升87倍，相比Nebula性能提升214倍；● 6跳查询中，GDB V3单线程消耗266s，其他测试产品均已超时，平均几十纳秒扫描一条数据；GDB V3原生内存图存储引擎1. 原生图和非原生图从存储方式来讲，目前市面上的图数据库，可以分为原生图和非原生图两大类。非原生图使用现有的关系型数据库或者NoSQL数据库存储图数据，在查询时把图查询语句映射到底层系统的查询语言或者算子上。典型的例子是使用HBase/Cassandra作为存储后端的JanusGraph和HugeGraph。还有一些以插件形式内嵌到传统关系数据库里，实现图查询功能的系统，也可以归为这一类，比如Apache Age，Oracle PGX等。非原生图的优势是可以充分利用现有系统中比较成熟的基础设施，减少开发工作量。但是缺点也很明显：首先，非原生图数据库架构在其他系统之上，软件栈往往更加复杂，调用层次更深，可能还需要进行跨进程通信，带来额外的开销；其次，由于底层存储引擎并不是专门针对图数据的设计的，并不能很好的支持图查询的I/O访问模式。总而言之，非原生图数据库通常很难发挥硬件的最佳性能。原生图数据库针对这些问题进行了重新设计，从数据结构和数据布局上进行了优化，数据访问的效率大大提升。除此之外，原生图数据库还可以从存储引擎的层面为图计算提供定制化的算子支持，从而将计算任务下推到存储层，减少不必要数据交互，进一步提升性能。也正是因为这些优势，GDB一直坚持采用原生图存储。其他使用原生图存储的产品还包括neo4j、Nebula Graph、TigerGraph等。2. GDB V3内存图存储引擎图查询是I/O比较密集的操作，计算高度依赖数据，因此数据的访问效率对于查询性能非常重要。不仅如此，对于多跳图遍历这一类常见的查询模式，还存在数据局部性差的问题。在图遍历中，每向外一跳，需要访问的数据量都会成倍增加，并且这些数据通常是随机分布的，访问效率低并且对缓存不友好。所以图数据库的查询性能通常会随着跳数的增加急剧下降。GDB V3针对这些问题，设计了新的原生内存图存储引擎，以内存为存储介质来承载图数据，解决随机I/O性能差的问题，同时从数据结构、遍历算法、动态更新和垃圾回收等几个方面进行了优化。3. 优化的核心数据结构GDB V3的核心数据结构是改进的压缩邻接矩阵。我们从如下三个方面进行了改进：● 以行位单位进行存储和更新。邻接矩阵中的一行，就是一个顶点关联的所有边。在实际数据中，大部分点的度数都比较小。比如twitter数据集，80%以上的顶点，出度和入度在30以内。把他们作为一个单元在内存中连续存储，可以保证高效的读取，也比较容易更新，更加适合动态图的存储。● 以树状结构存储超级顶点。对于度数很大的超级顶点，用连续内存空间存储的方法并不适用。因此我们把它进一步拆分成树结构，以解决超级顶点的更新问题。● 对相同类型（标签）的边进行聚合。在实际业务场景中，一次图查询往往只会选取特定类型的边进行遍历，把相同类型的边存放在一起，可以有效的提高这种访问模式下的性能表现。4. 用矩阵计算的思想解决图遍历问题基于GDB V3所使用的邻接矩阵结构，我们在实现图查询的过程中，使用矩阵计算的思想。图的多跳遍历问题，可以转换成邻接矩阵的乘法问题：将邻接矩阵跟自身多次相乘，可以得到顶点之间的多跳邻接关系。GDB V3在图查询的实现中，借鉴了矩阵乘法中的优化方法，以达到更高的性能。5. 动态图的实时更新GDB V3的内存存储引擎支持细粒度的快照，并以此为基础实现了乐观的MVCC事务。更新操作不会直接修改现有数据，而是创建一个新版本的快照。读事务都基于某一个版本的快照来进行，保证了数据的一致性和事务之间的相互隔离，彻底杜绝dirty-read、non-repeatable等异常现象的出现。读事务也不会被写事务阻塞，可以做到无锁并发，达到很高的读性能。写事务在执行阶段先把更新数据记录到自身的事务缓存里，仅对自己可见，事务之间互不干扰，在事务提交阶段，才会处理并发冲突。在低冲突率的情况下，这种方式可以充分利用处理器多个核心的并行能力。6. 高效垃圾回收在GDB的MVCC机制下，随着数据的不断更新，会产生多个版本的快照，而不再需要的快照需要及时回收以释放空间。如前文所述，大部分数据都是在多个快照之间共享的，所以在删除快照时，需要知道每个数据单元的生命周期[start, end)，其中start是当前版本的创建时间，end则是它从逻辑上被删除的时间。在删除快照Si时，如果一个数据单元同时满足start > i - 1（①） 且 end <= i + 1（②） （即该单元在前一个版本和后一个版本均不可见），它就可以被安全删除。在大数据量的情况下，全量扫描逐个去检查快照中的所有数据单元是很耗时的。因此，GDB为每个快照引入了一个失效列表来加速这个过程。快照Si的失效列表，记录的是在Si中从可见变为不可见的所有数据单元，也即生命周期end = i的数据单元。通过失效列表，可以快速拿到满足上述条件②的数据，只需要再检查是否满足条件①，就可以快速找出可以删除的数据。为了提升内存分配和释放的效率，GDB在内部维护了轻量级资源池，垃圾回收中收集到的内存不会马上释放，而是放入资源池等待复用，以减少跟操作系统和内存管理器之间的交互，提升效率。Graph + AI，从数据升维到规律总结图数据库要解决的问题是将大规模，多元异构的数据有效连接起来之后产生高维决策。不同于关系型数据库，图数据库背后目前没有指导进行决策的思想与规则，也是导致图数据库技术至今没有被大规模应用的核心原因。图的意义在于信息升维，因此我们将图技术与自动机器学习结合，使用机器学习算法，探寻数据规律并找到最佳分析路径，实现数据升维到规律总结。从数据科学家到业务专家 – 降低使用门槛通过GDB自动学习机器的任务，可以实现在不写任何代码的情况下，去帮助开发选取业务模型、实现模型调优，从而形成相应的超级模型。以此帮助客户进行辅助判断，降低模型研发周期。

　　本文约3800字，建议阅读10+分钟。　　针对深度学习的技术瓶颈，清华大学张钹等多位院士、教授给出了自己的研究思路。　　前言　　在刚刚结束的CCF-GAIR大会上，来自清华、加州大学伯克利、斯坦福、哈工大等多所国内外顶级理工科院校的院士齐聚深圳，分享了自己最新的研究。虽然各自研究的细分领域有所不同，但是透过贯穿始终的技术讲演，避不开的事实是，多位院士都在或直接或间接地去“批判”深度学习算法。　　演讲中，他们再次明确指出深度学习的缺陷，进而点出，在可以预见的未来里，随着研究的推进，当下的深度学习算法将会逐步被拉下神坛。　　不过，顺着学术界走入产业应用，会发现产业界的关注重点是在技术的落地。所谓落地，本质上就是无数应用场景的聚合。所以对于AI企业而言，对业务的探索和用恰当的技术去解决实际问题才是首当其冲的。　　因此，深度学习存在缺陷，这一问题短期内并不会妨碍AI当下不可阻挡的发展之势，技术的局限也不意味着AI公司们将会无事可做。　　但阳春白雪的研究始终引领着AI产业的技术走向，也是企业盈利和产业变革的关键驱动力。　　所以，在深度学习被过度炒热的当下，我们理应试着站在院士们的“肩膀”上，看的更远。而企业家们在脚踏实地的同时，也应当不忘仰望星空。　　尽管这已不是什么新鲜的话题，但是行业内一直没有可以解决问题的办法。本文旨在传达学术界研究者们提供的一些新思路。　　机器学习的弊病　　源于对“大”的误解　　当下，最常被提起的名词就是机器学习、深度学习和神经网络，用数学上集合里的概念去理解这三者之间的联系，他们之间依次是包含的关系，即机器学习包含深度学习，深度学习包含神经网络。其中，四层以上的神经网络就可以称之为深度学习，而深度学习是一种典型的机器学习。　　上世纪五十年代，神经网络这一算法结构出现，当时，它的正式名称应叫做感知机，但已经包含了输入层、隐含层和输出层这一经典的通用结构，并且随着隐含层层数的加深，对事情的描述就愈加精准。　　但是，神经网络是一种以输入为导向的算法，所以优质的结果一定取决于接近“无穷”量级的数据。因而，在2000年互联网革命没有爆发之前，它一直都处在无人问津的阶段。　　正如大家所知道的，互联网时代积累的大量数据和云计算带来的算力的大幅提升，极大地释放了深度学习算法（深层的神经网络）的潜力，因而也让人工智能时代全面爆发，产业应用得以蓬勃发展。数据显示，2022年我国人工智能市场规模达到216.9亿元，同比增长52.8%，预计2022年市场规模将达到339亿元。　　然而，随着产业应用的成熟，以及大家对真正“智能”的渴求，让算力和深度学习算法本身的局限性，显露无疑。　　人工智能已到瓶颈！院士“联名”反深度学习，指出AI未来发展方向　　加州大学伯克利分校电子工程与计算机系教授 马毅　　“老百姓概念里的‘大数据’和我们所认为的大数据是完全不一样的，就拿图像处理来说，数十亿的数据量看似量级很高，但对我们来说，它其实是‘小样本’。因为真正能够训练出好的模型的数据量，应当是趋于无穷的，所以即便是拥有了大量数据去训练模型，和理想的智能模型之间，也有着本质的差别。”从算法性质出发，加州大学伯克利分校电子工程与计算机系教授马毅也点出了当下这项火热技术的局限性。　　因而从学者、投资人到AI头部企业，寻找新的技术和方向成为了现在的重点。　　在会议的开场报告中，清华大学张钹院士呼吁大家思考的“如何走向真正的人工智能”成为了为期三天会议的基调，同时也反映了行业发展至当下阶段，众人的诉求。　　新方向探索　　数据处理方法、基本思想和技术思路　　1. 数据处理层面，语义向量空间或进一步拓宽入口。　　看见了技术的“天花板”，很多专家学者开始提出“小数据”的概念，然而清华大学人工智能学院院长张钹院士却不认为数据量的大小是当下的根本问题所在，他指出，传统的人工智能三要素将不能带来真正的智能。　　人工智能已到瓶颈！院士“联名”反深度学习，指出AI未来发展方向　　清华大学人工智能学院院长、中国科学院院士 张钹　　“评价人工智能获得的成果，我们可以从这五件事来看：深蓝打败人类国际象棋冠军；IBM在电视知识竞赛中打败了美国的前两个冠军；2022年微软在ImageNet上做图象识别，学历证误识率略低于人类；百度、讯飞也都宣布在单句的中文语音识别上识别准确度略低于人类和AlphaGo打败了李世石。前两件事归为一类，后三件事可归为另一类。　　大家一致认为，这五件事得以发生的三要素是：大数据、算力的提升和非常好的人工智能算法。但我认为大家忽略了一项因素，就是这所有的成果必须建立在一个合适的场景下。”　　换言之，当下人工智能的发展避不开种种限制条件，因而智能的机器也只能够照章办事，没有任何灵活性，也达不到人们想要的智能，而这也就是当下AI的发展状态。　　“我们现在的人工智能基本方法有缺陷，而我们必须走向具有理解能力的AI，这才是真正的人工智能。”张钹院士在演讲中指出。　　那解决办法是什么呢？通过循序渐进，张院士在演讲中给出了思路，并指明语义向量空间这一技术方向。　　“首先，需要明确的是，现有的机器缺乏推理能力的原因在于它没有常识。”　　张钹院士通过实验验证，常识的建立确实会极大程度的提升机器的性能。而为机器建立常识库也成为人工智能企业进一步提升系统性能的第一步。“美国在1984年就搞了这样一个常识库的工程，做到现在还没完全做出来。可见，要走向真正的人工智能，有理解的人工智能，是一条很漫长的路。”　　但即使在建立常识库的基础上，做到有理解能力的人工智能依然不容易。想要提升智能的第二步，在张院士看来，就是将感性和知识的世界统一起来，而这将为人工智能的发展带来一次质的飞跃。　　“深度学习之所以能够极大的促进人工智能的发展，技术上的关键在于人们能够将获取的标量数据转变为向量，从而用到机器上。但至今为止，将行为（特征向量）和数据（符号向量）结合起来使用始终是科研的难点，而这就限制了机器变得更‘智能’。”　　不仅如此，从安全层面来看，纯数据驱动的系统也存在很大问题——鲁棒性很差，易受到很大的干扰。因而，在大量样本的训练下，系统仍会犯重大的错误。如商汤、旷视等头部企业也表示，即便训练出的系统模型准确率高达99%，但在实际应用中，系统仍然会犯很多“弱智”的错误。　　“我们现在想出的解决办法是这样的，就是把这特征向量空间和符号向量投射到一个空间去，这个空间我们把它叫做语义向量空间。”　　怎么做？张院士表示：　　第一，要通过Embedding（嵌入）把符号变成向量，尽量保持语义不丢失；第二就是Raising（提升），结合神经学科，把特征空间提升到语义空间。　　“只有解决这些问题，我们才能够建立一个统一的理论。因为在过去，对感知和认知的处理方法是不同的，因而两者不在同一维度，无法统一处理。但如果我们能够将感知和认知投射到同一空间，我们就可以建立一个统一的理论框架，并在语义向量空间里解决理解问题。这是我们的目标，但是这项工作是非常艰巨。”　　2. 基本思想的颠覆，模糊计算或是未来。　　“无论是知识图谱，语义向量空间还是当下的其他深度学习训练，它们都是基于概率统计理论，而模糊逻辑不是，它是以模糊集理论为基础的。”非常大胆的，从思想层面，美国犹他州立大学计算机系终身教授承恒达给出了颠覆性的想法。　　人工智能已到瓶颈！院士“联名”反深度学习，指出AI未来发展方向　　美国犹他州立大学计算机系终身教授 承恒达　　其实模糊逻辑并非全新的概念。1931年，Kurt G?del发表论文证明了形式数论（即算术逻辑）系统的“不完全性定理”，模糊逻辑诞生。而在1965年，美国加州大学的L.A.Zadeh博士发表的关于模糊集的论文，标志着人类首次用数学理论成功描述了不确定性。　　“现在的计算机领域，不是0就是1，而我们描述的是0到1之间的很多不确定性成分，其实，这一过程描述的是导致结果的原因。以两瓶水为例，一瓶水上标记‘是纯净水的概率是0.91’，而另一瓶水上标记的是‘水的纯净程度是0.91’，你会选择哪一瓶呢？显然，你会选择后者。这里的思考判断过程就是模糊逻辑，因为后者对于程度的描述本质上就是模糊的。”　　目前，类似于经典逻辑体系（微积分、线性代数、生物学等衍生学科），模糊逻辑也逐步形成了自己的逻辑体系。　　然而再好的技术，都需要结合应用去展现它的优势。在这一方面，承教授也是格外重视，于是他选择了乳腺癌的早期诊断研究领域。“到目前为止，我们的设计样本已经被全世界二十多个国家，五十多个团队用来使用。”　　在承教授看来，现有的技术存在着非常明显的不足，需要大家沉下心来去分析问题，从而探索到改进的方法。“现在大家都在模拟脑波中的电信号，但其实大脑里存在的不仅仅是电信号，还有化学反应。而很多人在做的医学图像处理，实际上只是做图像处理，却不是医学图像处理，它们之间是有着非常大的不同。”　　3. 技术思路：大繁至简　　当下，面对技术的毫无进展，AI公司的焦虑显而易见。不同于上面院士教授们给出的具体技术思路，马毅教授更像是科技界的“鲁迅”，他用PPT中一张张演讲稿中的优质论文做例，只为重新唤醒大家对于AI的思考。　　人工智能已到瓶颈！院士“联名”反深度学习，指出AI未来发展方向　　马毅教授现场PPT选　　“神经网络，导入的数据有一个很小的改动，分类就会有很大的变化，这不是什么新发现，2010年，大家就遇到这样的问题，但至今没有解决。”演讲一开始，马毅就拎出了“老生常谈”，毫不留情的将一盆冷水浇到了众多对AI盲目乐观的人身上。　　对技术的不正确认知，马毅也在极力得纠正。　　“在人脸识别领域，要让算法具有鲁棒性，比写个AlphaGo要困难千倍。”　　“都说神经网络越大越好，这简直是胡说八道。”　　嬉笑怒骂间，从事研究数年，马毅给出了自己的思考方向：“真正的优质算法一定是最简单的，比如迭代、递归，还有经典的ADMM，这些简单的算法就很好，也很有用。”　　结语　　接下来，人工智能技术的发展并不会乐观，尤其是产业发展将进入一个平缓期，但是这并不意味着学术界和产业界将无事可做。　　人工智能已到瓶颈！院士“联名”反深度学习，指出AI未来发展方向　　张钹院士现场PPT选　　正如张钹院士指出的，“我们正在通往真正AI的路上，现在走得并不远，在出发点附近。但人工智能永远在路上，大家要有思想准备，而这也就是人工智能的魅力。”　　— 完 —

金融科技未来和社交网络进一步结合后，还将产生很多即时性的大数据，这些历史性大数据和即时性大数据相互参照分析，能够对未来社会的经济热点和发展模型做出一些分析预判，对中国普惠金融的落地提供助力。　　2017年两会过后，一年一度的博鳌亚洲论坛年会在海南博鳌正式举行。可能很多朋友已经关注到，刚刚在两会中被委员代表热烈讨论的“金融科技”，又一次成为了本届博鳌论坛聚焦话题，甚至被当做23日开幕的论坛峰会的下午开篇重戏。　　笔者注意到博鳌论坛举行期间，中国最有代表和影响力的相关金融科技企业大佬基本都到场，或参与论坛发言，或接受媒体采访，或连带的阐述其最新理念和产品研发进度。这其中包括近年来发展迅速的京东金融，还有重新定义金融科技2.0的凡普金科，更有P2P领域的领导者陆金所等等几十家代表企业。　　众所周知，博鳌论坛由25个亚洲国家和澳大利亚发起，迄今已有17年的历史，已经成为全球最具影响力的行业论坛之一，每年博鳌论坛所释放的声音和信号，将极大程度的影响到市场的主流风口。　　可以说，这一次“金融科技”相关话题成为博鳌亚洲论坛期间热点话题之一，备受各方瞩目。这在在中国经济下行压力进一步增长、全球经济增速放缓的当下，必然释放出很多意义和信号。在笔者看来，主要有以下三个方面的积极意义，今天分享出来和大家互动。　　进入科技全面融合 中国开始引领全球金融科技潮流　　纵论全球科技和金融发展大局，不管在金融领域还是科技领域，美国都是通过技术和模式构建壁垒，成为了全球绝对的领导者。然而现在是科技和金融全面融合的时代，在美国金融和科技相对来说还是两个独立的个体，两边都被一些顶级大集团把持，相互之间融合的难度很大。　　而中国因为科技和现代金融发展相对处在初期，国家层面又把互联网升级为战略高度，鼓励各种产业的跨界融合。所以假以时日，笔者认为中国会比美国更早引领全球金融科技潮流。这绝非空谈，在中国已经有很多可以落地的应用案例。　　比如这次参加博鳌论坛的凡普金科，去年年底，这家企业就发布了自主研发的“云图”大数据动态风控生态系统，该系统能够有效链接内外多元数据，通过机器学习和自然语言处理形成一个用于风控的完整知识体系。“云图”通过将知识图谱和深度学习相结合，可以模仿人类大脑行为，自动发现隐藏在复杂关系里的风险点，挖掘潜在欺诈行为，充分体现了大数据、机器学习、人工智能等新技术在金融科技领域的应用。这样就让科技和金融完整的进行融合，通过科技创新来改变金融模式。　　无独有偶，在中国目前领先的金融科技企业，大多都具备科技创新的背景和能力，比如说京东金融，通过对历史交易和用户画像等等维度的大数据算法利用，推出京东白条，放心的让用户先消费后付费，并且把坏账率做到了极低的水平，而类似美国这样的企业就很少敢这么做。可以说，中国科技金融企业这几年进行的创新落地，在全球都没有任何参照物，在核心技术上虽然落后美国，但在应用层面已经领先美国，换句话说未来只需等待一定时间，中国将会成为全球各国金融科技创新的参照物和学习者。　　大数据升级 历史性大数据和即时性大数据相辅相成　　大数据的应用是金融科技落地发展必备法宝，这几年几乎形成了行业共识。在博鳌论坛活动期间，陆金所CEO计葵生表示传统数据需与新型大数据相结合，在信用与融资、对投资的理解，以及匹配的逻辑方面耐心积累，保持并发挥传统金融的优势。传统金融机构不应对新技术、模型、数据过分自信，而应始终结合外部环境进行判断，并重视数据安全。　　事实上，计葵生所提到的观点，就是我此前在文章中经常提到的历史性大数据和即时性大数据二者相辅相成所产生的价值。即时性大数据，相比的是我们常提到的历史性大数据，事实上在中国的各类互联网应用中，除了历史性大数据，像BAT、京东、乐视乃至今天我们上文提及道的金融科技公司，每时每刻都在产生新的订单乃至用户的互动，可以积累大量的即时性大数据，这种即时性大数据对整个行业来说有非常大的参考意义和利用价值。我们的产业升级和企业经营可以迅速的根据数据的即时变动，动态的做出策略和政策的调整。　　不同的产品和业务将产生各种维度的数据，这些散落在各处的数据往往隐含我们的各种行为和消费数据。以这次在博鳌论坛大放光彩的凡普金科为例，其所研发的Finup云图能够把这些散落在各处的数据都收集起来，并进行重新的分析和计算 ，转化成客户的画像。而且未来和社交网络进一步结合后，还将产生很多即时性的大数据，这些历史性大数据和即时性大数据相互参照分析，能够对未来社会的经济热点和发展模型做出一些分析预判，对中国普惠金融的落地提供助力。　　我还是那句话，未来这些数据再和云服务结合，经过分析和研判之后，又可以为中国经济发展、工农业生产、生活教育的科学统筹提供极大的统筹意义，进而形成示范效应，为全球其他国家和地区的经济转型提供价值和借鉴意义。　　秉承工匠精神 金融科技也需要消费升级　　2017年是消费升级加速迸进的一年，随着金融科技理念进一步普及，广大消费者对金融理财和消费服务的需求日益高涨。再加上相关政策的支持引导和相关企业的涉足，对我们广大企业提出了更高的要求，这就要求我们的金融科技产业也进行消费升级。　　在博鳌论坛大会期间，中国互联网金融协会会长、原央行副行长李东荣指出，通过专项整顿，我们要建立起鼓励互联网金融健康发展的长效机制。国家重视科技在金融发展中的作用，从事金融科技的企业要遵循金融活动的基本规律，增强透明度，规范发展。招商银行前行长马蔚华也表示，银行用IT效率大大提高，传统银行忽视的碎片化的市场，互联网金融都可以覆盖。互联网金融和传统的金融是相互合作的，他们之间的合作使金融的覆盖面大。　　乃至在凡普金科CEO董祺看来，人工智能在中国的应用发展非常迅速，金融和人工智能技术的全面结合只是时间问题。大数据和机器学习也被董祺认为是未来金融和科技进一步融合的重要方面。其中，大数据技术的应用可以帮助金融企业更好地进行风险识别，提升企业的风控能力;借助大数据和机器学习，系统可以快速判定用户的风险，并确定是否向用户提供信贷服务，从而提升企业的反欺诈能力。　　其实各位大佬和行业管理层所发表的言论，在我看来，都是在给金融科技快速发展时期的消费升级写下坚实的注脚。要想让消费升级从口号落到实处，就需要我们的的企业进行产品创新、系统性的提高风控、严格自律，并且各方携手努力，相互合作共同来构建一张健康高速发展的网络，为我们的消费者不断提供新的服务和产品。

>>快来免费下载《云原生时代下的App开发》<<如今，EMAS已经逐渐成长为横跨多端（移动App、H5应用、小程序、Web应用等）场景的云原生应用研发平台，基于广泛的云原生技术（Backend as a Service、Serverless、DevOps、低代码等），为企业、开发者提供一站式的应用研发管理服务，涵盖开发、测试、运维、运营等应用全生命周期。点击免费下载《云原生时代下的App开发》为了让大家更全面地了解EMAS产品背景、产品内容以及相应的应用案例，特此推出该电子书——《云原生时代下的App开发》走进阿里云一站式应用研发平台EMAS，希望对广大开发者们有所参考和帮助。>>精彩内容抢先观看<<EMAS产品背景： 端应用研发进入云原生时代EMAS产品全景介绍： 开发更便捷 阿里云推出一站式应用研发平台 EMAS 2.0EMAS客户案例： 杭州银行：坚定投入移动化战略，借助EMAS研发平台迈入移动开发3.0时代隐私政策保护下EMAS的产品升级： EMAS发布最新隐私协议，为客户信息安全保驾护航EMAS旗下移动性能测试： 云上的移动性能测试平台EMAS旗下低代码mobi产品背景： 什么是低代码（Low-Code）？EMAS旗下serverless小程序开发： 基于小程序云Serverless开发微信小程序>>阿里云开发者藏经阁<<阿里云开发者社区藏经阁，技术人在线图书馆，开发者必读资料库。汇集阿里工程师技术实战精华，点击即可获得海量免费技术精品资料、电子手册、试读图书等。  点击查看：https://developer.aliyun.com/ebook  

与神经网络模块或层一样，我们可以将这些GNN层堆叠在一起。 由于GNN不会更新输入图的连通性，因此可以使用与输入图相同的邻接列表和相同数量的特征向量来描述GNN的输出图。 构建了一个简单的GNN后，下一步就是考虑如何在上面描述的任务中进行预测。 首先考虑二分类的情况，这个框架也可以很容易地扩展到多分类或回归情况。如果任务是在图节点上进行二分类预测，并且图已经包含节点信息，那么对于每个节点embedding应用线性分类器即可。实际情况可能更复杂，例如图形中的信息可能存储在边中，而且节点中没有信息，但仍然需要对节点进行预测。所以就需要一种从边收集信息并将其提供给节点进行预测的方法。 可以通过Pooling来实现这一点。Pooling分两步进行：对于要池化的每个item，收集它们的每个embedding并将它们连接到一个矩阵中，通常通过求和操作聚合收集的embedding。更复杂地，可以通过在 GNN 层内使用池化来进行更复杂的预测，以使学习到的embedding更了解图的连通性。可以使用消息传递（Message Passing）来做到这一点，其中相邻节点或边缘交换信息并影响彼此更新的embedding。 消息传递包含三个步骤：1、对于图中的每个节点，收集所有相邻节点embedding（或消息）。2、通过聚合函数（如sum）聚合所有消息。3、所有汇集的消息都通过一个更新函数传递，通常是一个学习的神经网络。 这些步骤是利用图的连接性的关键，还可以在GNN层中构建更复杂的消息传递变体，以产生更高表达能力的GNN模型。 本质上，消息传递和卷积是聚合和处理元素的邻居信息以更新元素值的操作。在图中，元素是节点，在图像中，元素是像素。然而，图中相邻节点的数量可以是可变的，这与图像中每个像素都有一定数量的相邻元素不同。通过将传递给GNN层的消息堆叠在一起，节点最终可以合并整个图形中的信息节点学习完embedding后的下一步就是边。在真实场景中，数据集并不总是包含所有类型的信息（节点、边缘和全局上下文），当用户想要对节点进行预测，但提供的数据集只有边信息时，在上面展示了如何使用池将信息从边路由到节点，但也仅局限在模型的最后一步预测中。除此之外，还可以使用消息传递在GNN层内的节点和边之间共享信息。 可以采用与之前使用相邻节点信息相同的方式合并来自相邻边缘的信息，首先合并边缘信息，使用更新函数对其进行转换并存储。 但存储在图中的节点和边信息不一定具有相同的大小或形状，因此目前还没有一种明确有效的方法来组合他们，一种比较好的方法是学习从边空间到节点空间的线性映射，反之亦然。或者，可以在update函数之前将它们concatenate在一起。 最后一步就是获取全局的节点、边表示。 之前所描述的网络存在一个缺陷：即使多次应用消息传递，在图中彼此不直接连接的节点可能永远无法有效地将信息传递给彼此。对于一个节点，如果有k层网络，那么信息最多传播k步。 对于预测任务依赖于相距很远的节点或节点组的情况，这可能是一个问题。一种解决方案是让所有节点都能够相互传递信息。但不幸的是，对于大型的图来说，所需要的计算成本相当高，但在小图形中已经可以有所应用。 这个问题的一个解决方案是使用图（U）的全局表示，它有时被称为主节点或上下文向量。该全局上下文向量连接到网络中的所有其他节点和边，并可以作为它们之间传递信息的桥梁，为整个图形建立表示。这可以创建一个比其他方法更丰富、更复杂的图形表示。从这方面来看，所有的图形的属性都已经学习到了对应的表示，因此可以通过调整感兴趣的属性相对于其余属性的信息在池中利用它们。例如对于一个节点，可以考虑来自相邻节点、连接边和全局信息的信息。为了将新节点嵌入到所有这些可能的信息源上，还可以简单地将它们连接起来。此外，还可以通过线性映射将它们映射到同一空间，并应用特征调节层（feature-wise modulation layer）。通过上述流程，相信大家已经对简单的GNN如何发展为sota模型有了了解。在获取图的节点、边表示后，就可以为之后的任务再单独设计网络，GNN为神经网络提供了一种处理图数据的方式。 在原文博客中，还包括一些GNN的真实案例和数据集，并了解GNN在其中的具体作用，想了解更多内容可以访问参考链接进行阅读。

近几年，神经网络在自然语言、图像、语音等数据上都取得了显著的突破，将模型性能带到了一个前所未有的高度，但如何在图数据上训练仍然是一个可研究的点。 传统神经网络输入的数据通常每个sample之间都不存在关系，而图数据更加复杂，每个节点之间存在联系，也更符合真实世界中的数据存储方式。真实世界的物体通常根据它们与其他事物的联系来定义的，一组对象以及它们之间的联系可以很自然地表示为一个图（graph），基于图数据的神经网络也称为Graph Neural Network（GNN）。 图神经网络的发展逐渐受到更多关注，在推理、常识等方面也取得很多成就，来自Google的研究员们最近发表了一篇博客，介绍了图神经网络的发展历程，还对现代图神经网络进行了探讨和解释。 一个图由顶点和边组成，在人的脑海中，可以很自然地把社交网络等数据表示为图，那如何把图像和文本表示为图你想过吗？ 通常认为图像是带有通道(channels)的矩形网格，将它们表示为例如244x244x3的三维矩阵。 另一种看待图像的方式是有规则结构的图像，其中每个像素代表一个节点，并通过边缘连接到相邻的像素。每个非边界像素恰好有8个相邻节点，并且存储在每个节点上的信息是表示像素 RGB 值的三维向量。 可视化图的连通性的一种方法是邻接矩阵。对这些节点进行排序，在一个5x5的图像中有25个像素，构造一个矩阵，如果两个节点之间存在一条边那么在邻接矩阵中就存在一个入口。对于文本来说，可以将索引与每个字符、单词或标记相关联，并将文表示为一个有向图，其中每个字符或索引都是一个节点，并通过一条边连接到后面的节点。但文本和图像在实际使用上通常不采用这种编码方式，用图来表示是比较多余的一步操作，因为所有图像和文本都具有非常规则的结构。例如，图像的邻接矩阵中通常有一条带状结构，因为所有的节点或像素都连接包含在在一个网格结构中。文本的邻接矩阵只包括一条对角线，因为每个单词只连接到前一个单词和下一个单词。 在使用神经网络表示图任务时，一个最重要的表示就是它的连通性，一个比较好的选择就是邻接矩阵，但如前文所说，邻接矩阵过于稀疏，空间利用率不高；另一个问题就是同一个图的邻接矩阵有多种表示方法，神经网络无法保证这些邻接矩阵的输出结果都相同，也就是说不存在置换不变性（permutation invariant）。 并且不同形状的图可能也包含相同的邻接矩阵。一种优雅且高效来表示稀疏矩阵的方法是邻接列表。它们将节点之间的边的连通性描述为邻接列表第k个条目中的元组（i，j）。由于边的数量远低于邻接矩阵的条目数量，因此可以避免了在图的断开部分（不含边）进行计算和存储。既然图的描述是以排列不变的矩阵格式，那图神经网络（GNNs）就可以用来解决图预测任务。GNN是对图的所有属性（节点、边、全局上下文）的可优化变换，它可以保持图的对称性（置换不变性）。GNN采用“图形输入，图形输出”架构，这意味着这些模型类型接受图作为输入，将信息加载到其节点、边和全局上下文，并逐步转换这些embedding，而不更改输入图形的连通性。 最简单的GNN模型架构还没有使用图形的连通性，在图的每个组件上使用一个单独的多层感知器（MLP）（其他可微模型都可以）就可以称之为GNN层。 对于每个节点向量，使用MLP并返回一个可学习的节点向量。对每一条边也做同样的事情，学习每一条边的embedding，也对全局上下文向量做同样的事情，学习整个图的单个embedding。 

异常检测(有时称为离群值检测或分布外检测)是许多领域中最常见的机器学习应用之一，从制造业中的缺陷检测到金融中的诈骗交易检测。它常用于收集大量正常样本很容易，但异常数据很少且难以找到的情况。经典算法如单类分类算法中的单类支持向量机(OC-SVM)或支持向量数据表示(SVDD)常用于异常检测,不幸的是，这些经典算法并没有从使强大的机器学习大放异彩。反而，通过自监督学习包括旋转预测（rotation prediction）和对比学习（contrastive learning）从无标记数据中学习视觉特征表示，将单类分类器与深度表示学习的成功结合起来，在异常数据检测上取得了长足的进展。深度单类分类（Deep One-Class Classification）的两阶段框架【问题】虽然端到端学习已经在许多机器学习问题上取得了成功，包括深度学习算法设计，但这种用于深度单类分类器的方法往往会出现退化，即不管输入是什么，模型都输出相同的结果。为了解决这个问题，谷歌推出了一个两阶段（two-stage）框架。该框架发表在在ICLR2021的“Learning and Evaluating Representations for Deep One-class Classification”中，利用自监督表示学习的最新进展和经典单类算法，在各类基准测试中取得了最先进的指标，包括CIFAR、f-MNIST、Cat vs Dog和CelebA，而且训练还很简单。随后，在CVPR2021上发表了“CutPaste: Self-Supervised Learning for Anomaly Detection and Localization”，在同框架下提出一种新的表示学习算法，用于工业缺陷检测，在MVTec基准上同样达到了新的最高水平。在第一阶段，模型通过自监督学习深度特征表示。在第二阶段，采用单类分类算法，如OC-SVM或核密度估计，将第一阶段学习的特征表示作为输入。这种两阶段算法不仅对退化具有鲁棒性，而且可以建立更精确的单类分类器。此外，该框架并不局限于特定的表示学习和单类分类算法——即可以很容易地在不同算法中即插即用。语义异常检测谷歌用两种具有代表性的自监督表示学习算法，旋转预测和对比学习，来测试该两阶段框架在异常检测方面的有效性。旋转预测，是指模型对输入图像旋转角度的检测能力。之所以选用旋转预测，是因为端到端旋转预测网络的良好性能，已被广泛应用于一类分类研究。现有的方法通常使用内置的旋转预测分类器来学习表示来进行异常检测，但由于内置的分类器没有经过训练来进行单类分类，所以这种方法是次优的。对比学习，是指模型学习把从相同图像转换来的样本放在一起，同时将其他图像转换而来的推开。在训练过程中，当图像从数据集中提取时，每个图像都经过两次简单的增强(如随机裁剪或颜色变化)。通过最小化与同一图像之间的距离以鼓励一致性，同时最大化不同图像之间的距离。通常的对比学习会收敛于这样一种解，即所有正规样本的表示都均匀地分布在一个球面上。这是有问题的，因为大多数单类算法通过检查测试示例与正常训练示例的接近程度来确定离群值，但当所有正态示例都均匀分布在整个空间时，离群值就会不太容易检出。为了解决这一问题，谷歌提出了单类对比学习的分布增广(DA)方法。其思想是，模型不是仅仅从训练数据中学习表示，而是从训练数据加上增强样本的并集中学习，其中增强训练样本可以几何变换，如旋转或水平翻转，来增加分布。使用DA，训练数据不再均匀分布在表示空间中，因为一些区域被增强数据占据。【旋转预测实验】在计算机视觉中常用的数据集上，包括CIFAR10和CIFAR-100、Fashion MNIST和Cat vs Dog，通过area under receiver operating characteristic curve(AUC)来评估单类分类的性能。例如，当狗的图像是inlier的时候，猫的图像是如何被检测出异常outlier的。考虑到次优的内置旋转预测分类器通常用于旋转预测，所以，在框架的第二阶段，只需用一个类分类器替换第一阶段用于学习表示的内置旋转分类器，就可以显著提高性能，从86到91.3 AUC。而且，该两阶段框架在上述所有基准上都实现了最先进的性能。【对比学习实验】在真实世界的异常检测应用中，异常通常是由局部缺陷定义的，而不是完全不同的语义，例如，纹理异常检测。尽管旋转预测和分布增强对比学习表示在语义异常检测方面表现出了最先进的性能，但这些算法在纹理异常检测方面表现不佳。相反，对比学习可能更适合这种场景。第二篇论文中，谷歌提出了一种新的纹理异常检测的自监督学习算法。整体异常检测遵循两阶段框架，但第一阶段，模型学习图像的深度表示，专门训练来预测图像是否通过简单的剪贴数据增强。（剪贴增强：通过随机剪切一个给定图像的局部补丁，并将其粘贴回同一图像的不同位置）。学习区分常规样本和剪贴增强样本，有助于提升特征对图像局部不规则性的敏感度。使用MVTec进行测试，包含15个对象类别的真实缺陷检测数据集来评估上述方法。另外，除了图像级的异常检测外，还使用CutPaste方法来定位异常的位置，即“patch-level”异常检测。通过高斯平滑的上采样来聚合补丁异常分数，并在显示异常位置的热图中可视化它们，这大大改善了异常的定位性能。下表显示了用于本地化评估的像素级AUC。在这项工作中，谷歌通过引入一个新的2阶段深度单类分类框架，并强调了将构建分类器与学习表示解耦的重要性，以便分类器能够与目标任务一致，进行单类分类。此外，该方法允许各种自监督表示学习方法的应用，在从语义异常到纹理缺陷检测的各种视觉单类分类应用中取得了最先进的性能。

大型预训练自然语言处理(NLP)模型，如 BERT、 RoBERTa、 GPT-3、 T5和 REALM，充分利用了来自 Web 的巨型自然语言语料库，对特定任务的标注数据进行微调，获得一个效果特别好的预训练，并在某些NLP任务中甚至超过了人类的表现。 然而，自然语言文本本身只代表了有限的知识范围，事实(facts)可能以多种不同的方式包含在长句子这种非结构化数据中。 此外，文本中存在的非事实信息和有害的内容可能最终会导致模型的偏差(bias)。 除了非结构化的文本之外，获取信息的另一种来源是知识图谱 ，它是一种结构化数据。 知识图谱包含的数据通常都是事实性的，信息也通常是从可信的语料中提取的，后处理过滤和人工编辑可以确保不合适和错误的信息被删除掉。 因此，如果一个模型能够同时把它们结合起来，就能提高准确率，减少有害信息。但现实的矛盾是，知识图谱和文本之间存在不同的结构形式，导致它们很难与现有的语言模型中的语料库整合。 基于这个想法，Google提出一个新模型(Knowledge Enhanced Language Model, KELM)，已经被NAACL 2021接受。这篇文章主要探索了如何将知识图谱转换为自然语言的句子来增强现有的预训练语料，使其能够在不改变结构的情况下融入语言模型的预训练。 文中使用的数据集主要是公开的英文知识图谱Wikidata KG，模型能够将其转换为自然语言文本，以创建一个合成语料库。 之前有相关工作提出一种基于检索的语言模型 REALM，Google为这个语言模型提供了更强的能力，并利用合成后语料库将自然语言语料库和 知识图谱集成到预训练中。 语料库目前已发布在GitHub上，每一行包括一个三元组，和一个句子，如下是测试集中的一个例子：Niklaus Troxler occupation Graphic designer, date of birth 01 May 1947 Niklaus Troxler (born May 1, 1947) is a Swiss graphic designer.将知识图谱转换为自然语言文本 知识图谱包括以结构化格式明确表示的事实信息，通常以[主题实体subject，关系relation，客体实体subject]三元组的形式出现，例如，[10x10 photobooks，inception，2012]。 一组相关的三元组称为实体子图。基于前面三元组示例的实体子图的一个示例是{[10x10 photobooks，instance of，非营利组织] ，[10x10 photobooks，inception，2012]} ，如下图所示，KG 可以看作是互连的实体子图。将子图转换为自然语言文本是 NLP 中的标准任务，称为数据到文本生成（data-to-text generation）。 虽然在诸如 WebNLG 等基准数据集的数据到文本生成方面取得了重大进展，但将整个 KG 转换为自然文本还有其他挑战。大型的实体和关系比小型基准数据集更加庞大和多样化。 此外，基准数据集由预定义的子图组成，可以形成流畅的有意义的句子。对于整个 KG，也需要创建这样的实体子图的分段。 为了将 Wikidata KG 文本转换为合成的自然的、流畅的语句，Google还开发了一个名为Text from KG Generator(TEKGEN)的语言化管道，它由以下几个部分组成: 一个大型启发式构造的、能够自动对齐 Wikipedia 和 Wikidata KG 三元组的训练语料库，一个将 KG 三元组转换为文本的文本到文本生成器(T5) ，一个生成三元组组合语言的实体子图创建器，以及一个消除低质量输出的后处理过滤器。 输出结果是一个包含整个 Wikidata KG 作为自然文本的语料库，我们称之为知识增强语言模型语料库。它由大约18M 个句子组成，包含 约45M 个三元组和约 1500个关系。结合知识图和自然语言文本的语言模型前训练我们的评估表明，知识图语言化是一种有效的方法来融合知识图与自然语言文本。通过增强REALM 的检索库能够有效地生成文本，该检索库仅包括维基百科的文本。 为了评估动词化的有效性，文中使用 KELM 语料库(即动词化三元组)增强了 REALM 检索语料库，并比较了它与不使用动词化的串联三元组增强语料库的检索性能，并使用每种数据增强技术对两个流行的开放领域问题回答数据集(自然问题和 Web 问题)进行精确度测量。使用连接的三元组增强的 REALM 可以提高准确性，还可以增加一些潜在的、没有在文本中表示的知识信息。 增强了动词化的三元组，使得 知识图谱与自然语言文本语料库的整合更加顺畅，也会获得更高的准确率。 除此之外，研究团队还在一个名为 LAMA 的知识探测器上观察到了同样的趋势，该知识探测器使用填充空白问题查询模型。 这篇论文使用 KELM 模型提供了一个公开可用的知识图谱语料库作为自然文本。作者发现，知识图谱语言化可以用来整合知识图谱和自然文本语料库，以克服它们之间的结构差异。 这对于知识密集型任务(例如回答问题)具有实际应用，而提供事实知识是必不可少的。此外，该语料库还可以应用于大语言模型的预训练，可以减少不良信息，提高真实性。 这项工作能够鼓励将结构化知识源整合到大型语言模型的预训练中取得进一步的进展。

MIT的研究人员建立了一个「人工智能框架」——从发表过的论文登出版物中收集模式，通过学习，识别出对未来将会产生巨大影响的技术，并发出「早期提醒」。 这一框架叫DELPHI，全称Dynamic Early-warning by Learning to Predict High Impact（通过学习来预测高影响力的动态预警）。 DELPHI的表现怎么样呢？ 在一次对其能力的回顾试验中，DELPHI识别出了一个专家列表中所有具有开创性的重大生物技术论文，有的论文仅仅发表了一年。 麻省理工媒体实验室（MIT Media Lab）附属研究机构的James W. Weis和Media Lab分子机器研究小组负责人、媒体艺术与科学教授Joseph Jacobson用DELPHI挑选了50篇他们认为到2023年会产生重大影响的论文。  James W. Weis Joseph Jacobson这50篇论文主题涵盖用于癌症治疗的DNA纳米机器人、高能量密度的锂氧电池、使用深层神经网络的化学合成等等。 DELPHI对研究人员来说是一种有效的工具，可以帮助他们更好地利用科研基金，发现众多技术中可能被搁置的 「璞玉」。 政府、慈善机构和风投也可以根据DELPHI做出更有效的决定，支持科学事业。 根据James W. Weis的介绍，从本质上讲，DELPHI的算法通过从科学史中学习模式，然后在新出版物上进行模式匹配，从而发现蕴藏高影响力但发表时间不长的论文，通过跟踪观点的早期传播，DELPHI可以预测这些观点会在多大程度上快速或以一种有意义的方式扩散到更广泛的学术界。 该研究的相关论文已经在Nature Biotechnology上发表。科研「星探」，发现科研中被搁置的「璞玉」 20世纪80年代以来，美国科学出版物呈指数型增长，这为DELPHI的建立提供了大量数据信息。 不过，DELPHI并没有局限在单一维度的衡量标准，如引用量来判断论文的影响力，而是利用期刊文章元数据的全时间序列网络，来揭示其在科学生态系统中传播的更高维度模式。 其结果是一个知识图谱，其中包含代表论文、作者、机构和其他数据的节点之间的连接。这些节点之间复杂连接的强度和类型决定了它们在框架中使用的属性。 这些节点和边界定义了一个基于时间的图表，DELPHI 使用这个图表来学习可以预测未来影响的模式。这些网络特征一起被用来预测科学影响，在论文发表五年后落入时间尺度节点中心度前5%的论文被认为是DELPHI旨在识别的 「高影响力」目标集。 这些前5%的论文占图中总影响的35%，DELPHI还可以使用时间尺度节点中心度前1%、10%和15%的截止点。 DELPHI的结果表明，高影响力的论文传播速度会非常快，而且会跨越本身学科，传播到其他的学科和学术团体。 两篇论文的引用量也许一样，但高影响力论文会收获更多更深入的关注，而影响力低的论文就算在不断传播，但并没有获得真正的关注和利用。 DELPHI有助于激励团队成员相互协作，即使彼此不认识，通过提供科研基金让这些人一起解决跨学科问题。 DELPHI识别的论文数是凭「引用量」识别的论文数的「2倍」，而且其中有「60%」都是此前被忽略的科研「璞玉」。 推动基础研究就要大量尝试，并能够快速利用这些想法中最好的部分。MIT Media Lab这一研究就是要测试能否以更大的规模完成这项任务——利用整个科学界，因为它也是整个学术图谱的一部分，这样在发现高影响力论文的过程中会更具包容性。 不过为了让DELPHI更准确地预测，研究人员正在使用机器学习来提取和量化隐藏在已有数据的维度和动态中的信号。 DELPHI做更公平的「星探」 研究人员表示，他们希望利用DELPHI降低评估论文时的偏见。 毕竟，过去的研究显示，引用和期刊影响因子数等其他指标也可以被操纵。 「我们希望可以利用这一点找到最值得研究的研究人员，不管他们隶属于哪个机构，也不管他们之间有多少联系」，Weis表示。 然而，和所有的ML框架一样，框架设计者和使用者都应该警惕偏见，对此，Weis表示， 「我们需要不断意识到我们的数据和模型中潜在的偏差。我们希望 DELPHI 能够以一种不那么偏颇的方式帮助我们找到最好的研究，因此我们需要注意，我们的模型不会仅仅根据H指数、作者引用量或机构关系等次优指标来预测未来的影响。」 DELPHI可以成为一个强大的工具，帮助科学资金变得更加高效和有效，也许还可以用来创造与科学投资有关的新的金融产品。 很多极具天赋的人和令人惊叹的技术都因为各种原因被忽略了，而机器学习可以帮助开发有效工具，发现这些「璞玉」，这不管对投资者还是科研事业都是极具意义和价值的。