本书意在记录某互联网华南客户云游戏专项后，技术服务（TAM）侧相关的排障技术与参与了整体专项后的一些收获，希望能够以一个全新的视角给各位看官带来一些vGPU方面的技术体感。由于本篇会涉及比较多的背景、行业知识，所以看起来会比较“虚头巴脑”，笔者会尽可能挤干水分来讲，同时也会注意不影响到核心部分。（本书核心干货在Part2、Part3，若想节约阅读时间可以直接跳转） 点击下载《面向云游戏的IaaS vGPU技术服务指南》精彩内容抢先看复制该链接到浏览器完成下载或分享：https://developer.aliyun.com/topic/download?id=8206 互联网华南某种重点客户于2019年年中启动云游戏专项，经过多轮验证与多友商PK后确认余下两家云厂商（其中一家为该公司投资方），而阿里云凭借前期的技术攻坚与过硬的IaaS基础底座拿下另外一半，但是在19年至21年7月期间一直问题不断，中间历经多层售后、二线、研发排查分析，最终确认下来核心痛点有：渲染黑屏、RDP卡顿、Log落地慢，而笔者所在的团队就是在这个时间阶段进入，由于该客户约定在10月份将上量（同时也有双十一相关运营活动），若不解决核心痛点将延迟上量，从业务线角度看来将会是一次灾难性的失守，也会在与友商winback过程中处于下风，鉴于此，在笔者与众多小伙伴深入了解客户业务现场后，有了这本书。 阿里云开发者藏经阁 汇聚阿里巴巴技术实践精华，涵盖云原生、物联网、大数据、AI等技术领域，深度分享阿里工程师实战经验，顶级技术内容一手掌握。点击进入藏经阁，畅游技术海洋。

全球最顶尖的人工智能研究者在哪里工作？超过一半在美国。这些在美国从事人工智能的顶尖研究者来自哪里？接近三分之一来自中国。邓力、李飞飞、沈向洋…… 如今，在美国的高校、企业以及任何研究团体中，来自中国的人工智能研究者都占据着前所未有的重要地位。有人说，如果浏览各大 AI 顶会的接收论文，至少一半以上的研究都署有中国人的姓名，甚至比例更高。但或许很少有人关注，这些人工智能领域最顶尖的研究者，是如何从中国来到美国，在中美关系逐渐紧张化的趋势下，未来又将向何处去。近日，美国保尔森基金会 (Paulson Institute) 下属的麦克罗波洛智库 (MacroPolo) 公布了一项名为「全球人工智能人才追踪」的调查，让我们更进一步地审视这个问题。为了更加精准地评估顶级人工智能学者的流动趋势，麦克罗波洛智库选择了人工智能领域的顶级会议 NeurIPS，该会议主要关注神经网络和深度学习方面的理论进展，这两个领域被视为推动人工智能最新发展的重要子领域。在去年年底的 NeurIPS 2019 大会上，共有 15920 位研究者提交了 6614 篇论文，最终接收率为 21.6%，从参会人数、投稿规模和受欢迎程度来看，NeurIPS 都算得上最具代表性的人工智能会议。他们从 1428 篇被接收的论文中创建了一个研究者数据集，从中抽取了 175 篇论文的 675 名作者信息作为研究样本。结果显示，有近三分之一的研究者来自中国（即在中国完成本科阶段的学习），这些来自中国的研究者比其他任何国家的研究者贡献的论文都要多。但同时也发现，这些人大多数在美国生活，为美国的公司和大学工作。人才输入：美国之所以成为美国的原因人工智能正在成为国际竞争的新焦点。2017 年，国务院印发了《新一代人工智能发展规划》，将人工智能定义为「引领未来的战略性技术」，其中提到，世界主要发达国家把发展人工智能作为提升国家竞争力、维护国家安全的重大战略，加紧出台规划和政策，围绕核心技术、顶尖人才、标准规范等强化部署，力图在新一轮国际科技竞争中掌握主导权。人才，是重中之重。要想提高人工智能领域的国家竞争力，最关键的是拥有取得关键理论突破的核心技术人才。 不得不承认的是，在顶级人工智能研究者资源方面，美国远远领先于其他国家。在这份「全球人工智能人才追踪」调查报告中，美国的人工智能相关机构聘用了全球 60% 的顶级研究人员，是排行第二名中国（10.6％）的六倍，也是第三名欧洲（10.2％）的六倍。值得注意的是这些人才的来源：美国本土研究者大概只占据三分之一。假如没有来自美国之外的研究人员持续不断的输入，美国在人才方面的优势可能会大大降低。尤其是，27% 的人工智能研究者都来自中国。美国机构中人工智能研究者的本科毕业国家和地区。注：该调查以本科阶段就读的国家和地区作为研究者来源地的判断依据。中国，已经成为全球人工智能研究者的最大输出源国家。从上面这张人工智能研究者流动趋势图中可以看出，在中国接受本科教育的研究者中，只有 34％目前在中国，大约 56％则前往美国深造。在美国完成研究生学习后，有 88％的中国研究人员 选择留在美国工作，而只有 10％返回中国。（此样本包括应届毕业生、职业中期研究人员和资深研究人员的组合，以反映所有这些组的平均留存率。） 这张图展示了所抽取研究者的学历背景，29% 的人本科阶段就读于中国的大学，但在研究生阶段这一比例则明显下降。为什么要留在美国？对于这些人才来说，或许在美国才能找到更多的机会和更广阔的舞台。麦克罗波洛智库还发现，在所采集样本中，论文作者最常见的工作单位依次是谷歌、斯坦福大学、卡内基梅隆大学、麻省理工学院和微软研究院。中国最好的两所大学——清华和北大，是前 25 名中仅有的两家中国院校。时代夹缝中的个体命运但政策因素正在影响着这些人工智能顶尖研究者的未来，也将深刻影响那些计划赴美求学或者正处于求学过程的年轻中国学生。日益紧张的技术竞争，加上新冠疫情带来的影响，导致美国的移民政策产生了一系列变化。中美关系已经到达了数十年来的最低点，特朗普政府正在采取行动限制中国获得美国的先进研究成果。上个月，美国白宫提出计划取消数千名特朗普政府认为可能从事敏感领域研究的中国留学生签证。此举声称是为了「打击知识产权盗窃等行为」，原因是有人怀疑来自中国大学的前来攻读研究生、博士的学生在美国大学中从事此类活动。目前暂不清楚受到影响的中国大学具体名单。诸如此类的波动可能会进一步让世界上最大的两个经济体之间的关系紧张化，也将直接影响到来自中国的 STEM 研究人员。如果所有国际学生的签证都将被取消，中国学生和印度学生将是受到影响最广泛的人群。中国学生几乎占美国人工智能领域国际学生数量的一半。政策的变化可能会包括暂停 OPT 计划，比如不再允许中国学生毕业后 1 到 3 年在美工作，甚至直接拒绝任何 STEM 领域中国学生的签证。在《纽约时报》关于该研究的一篇报道中，一位最新从约翰霍普金斯大学毕业的中国工程师 Lisa Li 表示，让国际学生成为牺牲品是自绝才源的做法，就像是「杀死下金蛋的鸡」。最终受到破坏的是美国的国家竞争力。「中国出生的研究人员在美国的人工智能领域很常见。前微软研究员、现任对冲基金公司 Citadel 首席人工智能官的邓力，对提高语音识别技术有很大贡献，这种技术被用于智能手机和摆在咖啡桌上的数字助理设备。斯坦福大学教授李飞飞 (Fei-Fei Li) 在谷歌工作了不到两年，她帮助推动了计算机视觉领域的一场革命，这种技术让软件能识别物体。」麦克罗波洛智库的分析师、该研究作者之一马特 · 希恩 (Matt Sheehan) 表示，这种大范围阻止中国人才的行为，可能会削弱美国在人工智能领域的领先地位。未来的人工智能技术突破取决于研究人员的努力，但现在，技术突破的发生地越来越取决于决策者的态度。「他们都是中国最聪明的人才，他们选择为美国的研究实验室工作、在美国教书、在美国的公司工作」希恩说：「如果美国不再欢迎这些顶尖研究人员，北京会张开双臂欢迎他们回去。」参考链接：https://macropolo.org/digital-projects/the-global-ai-talent-tracker/https://www.nytimes.com/2020/06/09/technology/china-ai-research-education.html

近日，经龙蜥社区理事会表决通过，摩尔线程智能科技（北京）有限责任公司（简称：摩尔线程）正式加入龙蜥社区。作为国产全功能 GPU 的领军企业，摩尔线程成立于 2020 年 10 月，公司基于自主创新的知识产权，专注于研发设计国产全功能 GPU 芯片及相关产品，支持 3D 高速图形渲染、AI 训练推理加速、超高清视频编解码和高性能计算等多种组合工作负载，致力于构建视觉计算及人工智能领域计算平台，助力中国建立本土高性能计算生态系统。其中，操作系统平台和软件生态对于 GPU 解决方案和应用创新至关重要，只有实现软件和硬件的无缝协作，才能激发更大的创新潜能，为企业用户带来更好体验。龙蜥社区 (OpenAnolis)于 2020 年 9 月由国内领先操作系统、芯片、云计算厂家共同发起，旨在构建一个开源、中立、开放的 Linux 上游发行版社区及创新平台，支持多种硬件架构，不仅为 CentOS 等开发者提供更多选择，同时联手打造一个面向未来的开源操作系统。对开源软件社区的支持和投入，是摩尔线程软件生态系统建设的重要部分。借助龙蜥社区的开放平台，摩尔线程可以与更多生态伙伴实现资源共享、共建生态，基于国内自主创新的技术，联合打造国际一流水平的数据中心计算设备，为多个重点行业构建安全智能的行业解决方案，包括但不限于金融、能源、教育、工业等领域，全力助推我国智能转型和数字经济发展。—— 完 ——加入龙蜥社群加入微信群：添加社区助理-龙蜥社区小龙（微信：openanolis_assis），备注【龙蜥】拉你入群；加入钉钉群：扫描下方钉钉群二维码。欢迎开发者/用户加入龙蜥社区（OpenAnolis）交流，共同推进龙蜥社区的发展，一起打造一个活跃的、健康的开源操作系统生态！关于龙蜥社区龙蜥社区(OpenAnolis)是由企事业单位、高等院校、科研单位、非营利性组织、个人等按照自愿、平等、开源、协作的基础上组成的非盈利性开源社区。龙蜥社区成立于 2020 年 9 月，旨在构建一个开源、中立、开放的Linux上游发行版社区及创新平台。短期目标是开发龙蜥操作系统(Anolis OS)作为 CentOS 替代版，重新构建一个兼容国际 Linux 主流厂商发行版。中长期目标是探索打造一个面向未来的操作系统，建立统一的开源操作系统生态，孵化创新开源项目，繁荣开源生态。龙蜥OS 8.4已发布，支持 x86_64 、ARM64、LoongArch 架构，完善适配 Intel、飞腾、海光、兆芯、鲲鹏、龙芯等芯片，并提供全栈国密支持。欢迎下载：https://openanolis.cn/download加入我们，一起打造面向未来的开源操作系统！

2020 年，人工智能商业化落地全面加速。作为国内 AI 领先者的百度，其长期高强度技术投入正在逐渐取得成果。刚刚，在「WAVE SUMMIT 2020」深度学习开发者峰会上，百度飞桨又一次宣布了多项全新发布和重要升级。「从去年秋季深度学习开发者峰会至今的半年时间里，飞桨有了迅速发展：累积开发者数量已超过 190 万，服务企业数量达到 84000 家；发布模型数量已超过 23 万个，」百度 CTO 王海峰大会开场时表示。这些成绩之上，是飞桨对于国内产业智能化升级做出的贡献。在新冠疫情期间，百度也进入了抗疫一线，提供了口罩检测和人脸识别、社区疫情防控系统、疫情问答机器人、基于 CT 影像的肺炎筛查等等 AI 能力。它们也是飞桨与开发者们共同努力的结果。在峰会上，王海峰放出了最新的飞桨版图。飞桨开源深度学习平台，包含核心框架、基础模型库、端到端开发套件与工具组件。随着企业应用的需求越来越丰富和强烈，飞桨升级了产品架构，推出飞桨企业版，助力各个企业进行 AI 创新。百度飞桨平台的最新全景图：现在，百度飞桨深度学习平台由飞桨开源深度学习平台和飞桨企业版两大版块构成，百度集团副总裁吴甜表示，飞桨开源深度学习平台将持续保持开源，致力于为产业、学术、科研创新提供基础支撑。飞桨总架构师于佃海向我们介绍了飞桨框架的设计理念，以及推动飞桨迭代发展的两个驱动轮：产业实践的需求和用户体验的提升。产业实践的需求和打磨是最原生的驱动轮，这体现的是飞桨对性能、大规模训练和部署能力的极大关注。用户体验提升是另一个重要驱动轮，飞桨关注用户编程界面的优化和基础功能建设的完善。这种理念，为飞桨提供了持久广泛的发展动力。飞桨也因此将高效兼顾灵活易用作为框架设计和发展的重要原则。作为国内最早开源的深度学习框架，飞桨的流行程度一直在提升，而百度也在不断发展飞桨，在其中加入人工智能领域最先进的技术。7 项全新发布，百度飞桨重磅更新时隔半年，百度飞桨开源深度学习平台带来 7 项开源全流程工具新产品发布，百度深度学习技术平台部负责人马艳军在峰会中进行了详细介绍。这 7 项新产品包括端到端图像分类开发套件 PaddleClas、端到端语音合成开发套件 Parakeet、前端推理引擎 Paddle.js、开发训练部署全流程开发工具 PaddleX 等。此次，飞桨平台官方模型库新增了 39 个算法、3 个任务、3 种端到端开发套件，方便开发者进行低代码二次开发。端到端图像分类开发套件 PaddleClas图像分类是计算机视觉中的一类常见应用，从手机的智能相册，到工业领域的自动分拣都离不开这项技术。这一次，百度发布了全新的端到端图像分类开发套件 PaddleClas，可以提供工业级的分类模式，包括 23 种分类网络及训练配置、117 个预训练模型和性能评估，以及 10 万类图像分类预训练模型。在深度算法优化方面，PaddleClas 可以实现 3% 的 SSLD 知识蒸馏效果提升以及 82.4% 的识别准确率（ResNet50_vd）。此外，它还可以提供工业级的部署工具，包括服务器高速推理集成、移动端推理部署 、模型服务化部署等。可以看出，不管是在服务器端还是在移动端，PaddleClas 在分类精度和性能层面均实现了大幅度的提升。端到端语音合成开发套件 ParakeetParakeet 是本次飞桨平台全新发布的第二款开发套件。值得注意的是，在模型层，Parakeet 使用了一款百度自研声码器 WaveFlow。马艳军介绍，WaveFlow 的特点就是「快、轻、简」。WaveFlow 可以 40 倍实时的速度合成 22.05 kHz 的高保真音频，同时参数量更少，仅 5.9M 个参数，比 WaveGlow 小 15 倍，它还可利用最大似然直接训练，方便二次开发。前端推理引擎 Paddle.js说到深度学习，我们脑海中首先浮现的语言大多是 Python，这也是多数深度学习框架支持的语言。但随着深度学习应用范围的扩大，使用其他编程语言工作的开发者也需要用到飞桨等深度学习框架，这就对飞桨提出了新的要求。为此，百度飞桨团队开源了国内首个 JavaScript 深度学习库——Paddle.js。它支持低延迟、数据安全的本地计算。在 JavaScript 环境中，用户可免安装、跨平台使用，可应用于商品识别、AR 游戏以及虚拟穿衣试戴等场景。开发、训练、部署全流程开发工具 PaddleXPaddleX 是一款开发、训练、部署全流程开发工具，具有打通全流程、可快速集成、融合产业实践、支持多端部署等优点。PaddleX 可以支撑各类 AI 应⽤的快速开发，大幅提升巡检效率、开发效率，减少人类资源的浪费。除以上发布外，飞桨开源深度学习平台还在核心框架层、基础模型库、端到端开发套件、工具组件四个层面进行了全面的升级更新。核心框架层在推理部署层面，PaddleSlim、Paddle Inference、Paddle Serving、Paddle Lite 均进行了升级，其中 Paddle Inference 新增了多语言 API 接口，便于开发者进行集成开发。基础模型库对应自然语言处理、计算机视觉、推荐、语音四大领域，此次飞桨平台的 4 个基础模型库也新增了多项算法和任务支持类型。其中 PaddleNLP 优化了多种算法和任务类型，提供更完善的 NLP 方案；PaddleCV 新增 3D 视觉及相关算法；PaddleRec 新增了支持融合、内容理解 2 大任务，覆盖主流推荐场景所需功能；PaddleSpeech 新增了 5 种高精度语音合成算法。端到端开发套件ERNIE：持续学习领域知识，领域理解能力全面提升在开发套件方面，作为基于飞桨开源的持续学习的语义理解框架，ERNIE 此次进行了多处升级。在领域模型方面，飞桨预发布了 ERNIE Law 法律模型和 ERNIE Health 医疗模型两款模型；在任务模型层面，发布了 ERNIE Gen 生成模型。相比于 ERNIE 2.0 中文，ERNIE Gen 中文在知识库问题生成、阅读理解问题生成、文档摘要生成、新闻标题生成的 4 个中文权威任务集合上，效果平均提升 2.47%。此外，在较小训练数据规模（16G）下，ERNIE Gen 英文在摘要生成、问题生成、对话生成、生成式问答等英文权威任务集合中实现 SOTA 水平。目标检测开发套件 PaddleDetection 全新升级目标检测是机器视觉领域的核心问题之一。去年，百度开源了 PaddleDetection 目标检测统一框架，用户可以方便、快速地搭建出各种检测框架，构建强大的应用。今天，PaddleDetection 迎来了全新升级：在算法丰富度层面，PaddleDetection 新增了 101 个预训练模型和 10 余套算法，含 YOLOv3、SSD、RCNN 等，此外还结合了移动端场景深度优化；在模型精度层面，升级后，基于 COCO 数据集的高精度预训练模型精度 mAP 可达到 53.3%，实时预训练模型精度 mAP 可达到 43.6%；在模型速度层面，PaddleDetection 速度超越同类产品 2.6 倍（YOLOv3 训练），可实现 3.5 倍移动端模型加速（YOLOv3 预测）、2 倍人脸检测预测加速。在产业实践层面，PaddleDetection 在智慧交通领域的 mAP 要比同类产品高出 4%，在工业质检方面高出 3%。一直以来，PaddleDetection 在产业实践方面有着广泛的应用。在使用 PaddleDetection 替代人工进行森林巡检后，效率提高了 200%；疫情期间，PaddleSeg 应用于肺炎 CT 影像分析 AI 模型，病灶识别的精准度可达到 92%，召回率达 97%，研发工期缩短 30%。工具组件工具组件层面也是本次飞桨平台升级内容数量最多的部分。预训练模型应用工具 PaddleHub 新增了超大规模图像分类、目标检测模型，支持飞桨 Master 模式升级；全面集成 Paddle Inference 原生推理库，预测性能提升 50% 以上；同时开放了 PaddleHub 预训练模块制作流程，支持开发者贡献模块至 PaddleHub 平台；新增 NLP 文本审核模型，支持高性能文本向量表示服务。深度学习可视化平台 VisualDL 发布了 2.0 版本，API 全面升级，性能大幅提升，并对界面及功能进行了整体优化；自动化深度学习工具 AutoDL 新增了 AutoDL Transfer DELTA 算法，通过精准知识蒸馏算法，有效提升深度迁移学习的效果AIStudio 学习与实训平台升级了 Notebook 环境，新增了覆盖人工智能各领域的 140 多个精品项目以及多个优质公开课，保障开发者快速掌握人工智能核心开发技术。此外，飞桨还在强化学习、联邦学习、图神经网络等方面进行了升级。 量子机器学习开发工具量桨近年来，国内外各大科技公司都在量子计算领域发力。在《Analytics Insight》杂志公布的 2020 全球十大量子计算公司名单中，国内只有两家公司入选，其中一家便是百度。早在 2018 年 3 月，百度就成立了量子计算研究所，开展量子计算软件和信息技术应用业务研究，并邀请了悉尼科技大学量子软件和信息中心创办主任段润尧教授出任所长。百度量子计算的 QAAA 规划：聚焦于量子算法、量子人工智能以及量子架构。其中量子算法是发挥量子计算优势的理论基础，量子人工智能则代表了量子计算实际落地最重要的一些软件技术工具，而量子架构则实现量子软硬件互连，最终这三者将融合在百度量子计算平台提供给合作伙伴和用户。在本次峰会上，段润尧也带来了他们的最新研究成果——量桨（Paddle Quantum）。量桨是基于百度飞桨研发的量子机器学习工具集，飞桨也成为国内首个支持量子机器学习的深度学习平台。量桨建立起了人工智能与量子计算之间的桥梁，可以快速实现量子神经网络的搭建与训练，同时还提供多项前沿量子应用。有了量桨，量子计算领域的研究人员就可以用它进行量子人工智能的研发，深度学习爱好者也有了一条学习量子计算的捷径。百度飞桨也因此成为国内首个也是目前唯一一个支持量子机器学习的深度学习平台。量桨拥有以下特点：易用性：通过量桨，开发者可以轻松搭建简洁的量子神经网络，也可以根据丰富的量子机器学习案例一步步组建出自己喜欢的模型；通用性与拓展性：开发团队在飞桨中系统地扩展了包括复数变量、复数矩阵乘法在内的多项底层功能，这使得量桨可以完美地支持量子电路模型，从而也支持通用量子计算相关的研究；特色工具集：针对组合优化问题的求解、量子化学系统模拟等关键方向提供了专门的强大工具集，还推出了一些原创性的量子机器学习模型。量桨的量子机器学习开发工具包括：量子开发工具集，量子化学库，以及一系列优化工具。与此同时，量桨还提供了量子机器学习、量子化学模拟以及量子组合优化这三大核心量子应用。比起业内的其他实现方法，量桨提供的方法具有部署灵活的特点，同时可以将量子计算网络的层数减少 50%，更具有可行性。在发布会上，百度飞桨还发布了 PPDE（飞桨开发者技术专家）计划，号召全球 AI 开发者与百度飞桨一起共建开放的深度学习开源社区。PPDE 是飞桨开发者技术专家的荣誉认证体系，由飞桨开发者技术专家、飞桨高级开发者技术专家和飞桨资深开发者技术专家组成。无论是热爱编程开发的资深程序员、技术社区的引领者，还是顶级开源软件的 committer、新兴科技公司创始人或 CTO，这些开发者技术专家都可以通过线上线下形式在此机制下展开交流。 百度飞桨与 Linux Foundation 开源大学合作推出了国内首个深度学习工程师联合认证，这一认证将于 6 月份开放考试。昨天，百度还刚发布了 2020 年第一季度的财报。虽然因为新冠疫情的影响，今年百度的第一季度收入同比下降 7%，营收 225 亿元，但净利润 (Non-GAAP) 升至 31 亿元，同比增长 219%。从不同业务上看，百度的移动生态持续巩固，小度助手、Apollo 和智能云均实现了健康增长。人工智能业务的增长已在为百度的发展贡献越来越多的力量，而技术领先的飞桨，更将推动各行业人工智能基础设施建设的进程。

虽然因为新冠疫情爆发，今年的 GTC 2020 大会也在最后时刻宣布转为线上，不过人们期待 7 纳米制程英伟达 GPU 的热情并没有消退。英伟达当然理解我们的心情，在 GTC 正式开幕一天前，英伟达 CEO 黄仁勋提前放出了一段视频——在老黄美国加州 Los Altos Hills 的家中，全球最大的 GPU 正式「出炉」了：我们说的这个「出炉」，它可真是字面意思。事实上，黄仁勋今年的整个 GTC 大会的主 Keynote 环节都是在这个烤炉前进行的。他还表示，这是英伟达有史以来第一个「厨房 Keynote」。和普通家庭一样，黄老板家的厨房里也摆着「煤气灶」，显得朴实无华且枯燥。黄老板展示的安培（Ampere）架构 GPU 系统以最新英伟达 Tesla A100 芯片组成，被认为是迄今为止 GPU 算力最大的一步提升。A100：面积最大，性能最强具体提升了多少？还记得三年前推出、至今仍然业界领先的 Volta 架构芯片 Tesla V100 吗？V100 用 300W 功率提供了 7.8TFLOPS 的推断算力，有 210 亿个晶体管，但 A100 的算力直接是前者的 20 倍。「A100 是迄今为止人类制造出的最大 7 纳米制程芯片，」黄仁勋说道。A100 采用目前最先进的台积电（TSMC）7 纳米工艺，拥有 540 亿个晶体管，它是一块 3D 堆叠芯片，面积高达 826mm^2，GPU 的最大功率达到了 400W。这块 GPU 上搭载了容量 40G 的三星 HBM2 显存（比 DDR5 速度还快得多，就是很贵），第三代 Tensor Core。同时它的并联效率也有了巨大提升，其采用带宽 600GB/s 的新版 NVLink，几乎达到了 10 倍 PCIE 互联速度。随着安培架构出现的三代 Tensor Core 对稀疏张量运算进行了特别加速：执行速度提高了一倍，也支持 TF32、FP16、BFLOAT16、INT8 和 INT4 等精度的加速——系统会自动将数据转为 TF32 格式加速运算，现在你无需修改任何代码量化了，直接自动训练即可。A100 也针对云服务的虚拟化进行了升级，因为全新的 multi-instance GPU 机制，在模拟实例时，每块 GPU 的吞吐量增加了 7 倍。最终在跑 AI 模型时，如果用 PyTorch 框架，相比上一代 V100 芯片，A100 在 BERT 模型的训练上性能提升 6 倍，BERT 推断时性能提升 7 倍。图 2. 相比 Tesla V100 和 Tesla T4，A100 GPU 在 BERT 训练和推理上的性能「放弃 CPU」的超级计算机 芯片能力的提升，是为了追上今天 AI 算力需求的爆炸性增长。在英伟达看来，自 2017 年 5 月 Volta 架构的 Tesla V100 推出后，今天人们对于 AI 模型训练算力的需求竟增长了 3000 倍（从当年的 ResNet 发展到今天的 Megatron-BERT 等算法）。看来制程、架构上的提升还是不够。另一方面，对于云服务厂商来说，人们用算力来做的事总在不断变化，所以也难以设计专有优化的芯片架构。如何寻找一种可以适应更多应用方向的设计方案呢？三年前英伟达设计 Volta 芯片时已经思考了这一问题。今天推出的安培架构除了性能提升 20 倍，还可以实现 1-50 倍的扩展。英伟达的体系不仅可以向更多 GPU 扩展（Scale-Up），还可以向外扩展（Scale-Out）以满足人们永无止境的算力需求。今天的人工智能任务包括模型的训练和推断，在原有人工智能系统 DGX-1 中，我们还在使用 GPU 负责训练、CPU 负责推断的分工方式。而有了 A100 芯片加持，第三代 DGX 可以把训练与推断全部交给 GPU 来完成，充分发挥先进架构的加速能力。这就是黄仁勋「刚刚出货」第三代 DGX：这代 DGX A100 单节点包含 8 块 GPU，可以输出 5PetaFLOPS 的 FP16 算力（比 TFLOPS 又多了三个零，10 的 15 次方），今天就已开卖，售价 19.9 万美元。该价格和上一代 DGX-2 基本持平（DGX-2 首发价 39.9 万美元，但内含 16 块 V100 GPU）。首批 OEM 厂商包括浪潮、联想、惠普，上线的云服务公司覆盖 AWS、微软、谷歌、阿里巴巴、腾讯、百度…… 大厂几乎全都覆盖了。这是世界上最大的 GPU，重 50 磅（约合 22.7 千克，相当于一个六七岁孩子的体重）。A100 使用了成本很高的新制程、新内存，使用起来效果如何？英伟达算了一笔账：今天的数据中心假如使用 50 个 DGX-1 系统（基于 Tesla P100）用于 AI 算法的训练，600 个 CPU 用于推断，硬件成本是 1100 万美元，需要使用 25 个服务器机架，消耗 630kW 功率。使用最新的 DGX A100，我们只需要并联 5 个 DGX A100 系统，GPU 同时用于 AI 训练和推断，成本 100 万美元，1 个机架，使用 28kW 功率。「现在，你只需要十分之一的硬件成本，二十分之一电力消耗就能做同样的事。The more you buy, the more you save !」黄仁勋说道。「The more you buy, the more you save」，语音请自行脑补（话说黄老板不考虑注册个音频商标吗？）。英伟达还宣布了 DGX A100 SuperPOD，面向更大的云服务算力需求。它可以支持 140 个 DGX A100 系统（内含 1120 块 A100），可通过 170 个 Mellanox Quantum 200G infiniBand 切换，实现 700PFLOPS 的 AI 算力。这样一组服务器三周之内就可以建成。英伟达自用的超级计算机「土星五号」，一直被用于医疗影像、自动驾驶任务的训练，原版搭载 1800 个 DGX 系统，输出 1.8ExaFLOPS 算力，现在加挂了四个 SuperPOD，最终可以实现 4.6ExaFLOPS 算力，成为了世界最强劲的超级计算机之一。在今日的发布会上，英伟达也发布了 HGX A100，在性能上，凭借第三代 Tensor Core，HGX A100 在 TF 32 精度上将 AI 负载的处理速度提高了 20 倍，而 FP64 精度的高性能计算速度提高了 2.5 倍。其中，HGX A100 4-GPU 可为最苛刻的 HPC 工作负载提供近 80 teraFLOPS 的 FP64 算力。HGX A100 8-GPU 版可提供 5 petaFLOPS 的 FP16 深度学习算力，而 16-GPU 的 HGX A100 提供惊人的 10 petaFLOPS，为 AI 和 HPC 创建了当前世界上最强大的加速扩展服务器平台。HGX A100 的特性。如今，AI 应用已在语音、推荐系统、智能医疗、自动驾驶等任务上得到了实践。除了算法技术的发展，人们对于算力的需求也有着疯狂的增长。英伟达已不再把自己定义为芯片制造商，而是一家「数据中心扩展公司」（Data center scale company），这也指明了它未来重点的发展方向。「在未来，人们使用的计算单元将会是整个数据中心。其背后不是数个 CPU，而会是并联计算的 GPU 阵列。数据中心需要承载大量不同的计算任务，它们有不同的需求。我们需要训练、推断、科学计算、云游戏都能做的硬件，并对这些计算都进行加速，」黄仁勋说道。这或许就是 GPU 的不可替代之处。终端、自动驾驶全覆盖安培架构如此强大，英伟达这次也没有让数据中心以外的应用方向多等，直接放出了同样使用新架构的端侧芯片 Nvidia EGX A100。英伟达还介绍了旗下最新技术的一些应用案例，其中包括 4 月底刚刚发布的小鹏汽车 P7，以及宝马集团采用英伟达解决方案全面提升工厂物流管理水平的例子。小鹏 P7 的 XPILOT 3.0 是国内首个搭载英伟达 Xavier 计算平台的自动驾驶量产方案，而且还搭载了两套（硬件互相独立，互为冗余）。在软件方面，英伟达推出了自己的语音交互框架 Jarvis，Apache Spark 3.0 现在推出了针对英伟达 GPU 的机器学习支持。英伟达今日也更新了与 GPU 相匹配的软件 CUDA 11，以支持最新的 Ampere GPU 架构、多实例 GPU（MIG）分区功能，并为任务图、异步数据移动、细粒度同步和 L2 缓存驻留控制编程并提供 API。英伟达还发布了深度学习超级采样技术 DLSS 2.0 版，可以使用 540p 的原画面渲染出 1080p 的效果。「神经网络现在可以『脑补』出低画质像素没有表现出的光源，并通过前后帧的类似画面推测出当前帧应该出现的更多细节，」黄仁勋说道。「现在 DLSS 2.0 的效果甚至好于采用常规抗锯齿等技术渲染出来的高清晰度画面。」GeForce RTX 3080 Ti 还远吗？最后，很多人关心的问题可能是：消费级显卡 GeForce RTX 在哪里？GTC 大会之前，曾有爆料说英伟达今年三季度将会发布安培架构的 GeForce RTX 30 系列显卡，其光追效果可以提升 4 倍，低端卡也可以秒杀当前版本的 RTX Titan，很多人都在期待 7 纳米的英伟达 GPU 在游戏上的表现。黄仁勋这次只是表示：「全新架构安培我们现在已经用在 DGX 上了，英伟达正在努力把新架构的芯片用在机器人、自动驾驶汽车等领域中。未来也会用在图形计算上。」光线追踪技术非常诱人：这样的小游戏画面，是由一块 Quadro RTX 8000 实时渲染出来的。黄仁勋的表达非常谨慎，不过至少英伟达在这次 GTC 上向我们展示了下一代光线追踪技术在《我的世界》等游戏中的效果，并将其标记为 RTX 30/20 系列专有：我的世界中绝大多数建筑都是由玩家自行建造的，这里可没有什么可以「造假」的余地，一切都需要依靠 GPU 和新技术进行实时渲染。看来距离 7 纳米制程的 Geforce 3080Ti 出世也已不远了，等等党永远不输。

大家想必都有一些使用低像素手机拍过的老旧照片，如果想无损放大这些老照片，可以使用这个基于人工智能的免费工具：https://bigjpg.com/zh登录网站后，点击“选择文件”选择本地的老旧照片，

近日，上海市经济信息化委发布关于《2021年度上海市网络安全产业创新攻关成果目录》的通知，阿里云作为唯一云厂商，其网络流量风险智能对抗体系被“人工智能”项目收录，阿里云将机器学习技术用于应对复杂网络安全对抗的技术实力得到认可。01应对庞杂流量，云为机器学习提供土壤人工智能技术不仅被应用到安全防御，更被“聪明的”攻击者应用到攻击中。云场景为机器学习落地安全提供有利土壤：1) 强大的存储能力，能够留存全部的流量日志。传统安全存储能力受限，只会保留攻击日志，这样造成的问题就是已经透过攻击无法排查，而云上有全部流量数据，也就为智能安全的发展提供了土壤；2) 强大的计算能力，包括离线、实时计算平台，能够支撑智能安全算法进行大规模的计算，充分发挥数据的价值；3) 云上丰富的业务场景和实践机会。作为全球领先的云厂商，阿里云为云上百万客户提供基础安全防护，每天抵御60亿次攻击，防御全国50%的大流量DDoS攻击，日均25亿次风险检测以及千万级的Web攻击。在解决云上复杂的安全问题过程中，阿里云充分发挥云的天然优势，将机器学习、深度学习等先进技术应用在与攻击者的较量中，丰富实战磨砺下形成了一套基于机器学习技术的网络流量风险智能对抗体系，将第一轮复杂的流量分析和过滤交给机器来做，以留给安全专家更多的时间去解更难的安全问题，同时降低运维成本，提升应急响应效率。阿里云上平均应急响应时间为1小时，远远低于行业24小时的平均水平，可以帮助客户最大程度挽回业务损失。02三层一体化的网络流量风险全局对抗针对风险流量的分布情况，阿里云网络流量风险智能对抗体系从流量攻击对抗层、Web攻击对抗层、业务风险对抗层3个层次出发，在每个层次中，结合基础安全策略与人工智能算法，对网络流量进行潜在风险的检测与判定，并按照模型的判定结果进行相应的处置，解决DDoS防护、Web安全与Bot管理三个核心问题。“千站千模”，流量个性化管控在流量攻击对抗层，阿里云采用“千站千模”方案，针对不同站点的网络流量与站点自身的容量各自构建基线模型，学习站点可承受的流量范围，同时辅助情报积累实现防御体系不断增强。创新点•基于历史基线生成默认防御策略：保障源站服务器在攻击第一时间不被攻击冲垮，且对正常流量影响尽可能小。•基于基线的异常流量判别，并针对异常流量生成实时处置策略：保障处置策略对正常流量影响尽可能小、对异常流量覆盖尽可能大。•默认防御策略+实时防御策略结合：一方面保障源站服务器在攻击第一时间不被攻击冲垮，另一方面保障处置策略对正常业务影响最小。•策略有时效性，攻击停止后一段时间策略自动删除：避免处置策略影响后续网站正常业务变动。该方案已经在DDoS防护领域落地，实现了自动化、精细化的应用层资源耗尽式攻击防御流程，能在误伤可控的前提下自动、精细地压制攻击，保障用户业务不间断；针对复杂的资源耗尽型DDoS攻击实现秒级自动化防御，实现超过99%的自动化响应。流量分层，精细化治理Web攻击对抗层采用流量分层治理的思路，结合深度学习模型强大的特征表示与泛化能力打造核心攻击检测能力，同时辅以漏误报感知模型持续迭代优化，提升防护能力水位。创新点•将以往Web攻击检测中无差别、同一策略的检测思想逐步演进成由多维、多层、多模相融相生的检测体系。•依赖深度学习的学习泛化能力、检测模型覆盖更多的未知，拓展防御边界。•根据用户正常流量定义白规则，为每个域名定制主动防御策略，防护未知攻击。该方案成功应用在Web攻防场景，“流量分层治理”与“千站千面防护”模型将整体流量分为白、灰、黑三层，实现Web攻击的精细、智能识别和自动化处置。查杀分离，高效识别与自主对抗在业务风险对抗层，基于“查杀分离”的对抗思路实现业务风险流量的高效识别与风险流量变异的自主对抗。感知层（查）仅用来标注风险流量，决策层（杀）从高级特征维度刻画风险流量，对决策层产出的风险流量进行处置。同时模型持续在线迭代，当风险流量发生变异时，仍然能够基于感知层的标注，实现决策层模型的自动迭代与风险流量的自主处置。创新点•查杀分离：对客户相关数据接口上的所有流量进行一轮风险属性打标（查），并根据不同访问特征进行UBA（User Behavior Analytics）建模（杀）。在部署完成后的数次攻防对抗中，模型均能自动化监控并快速学习攻击流量特征，针对攻击流量唤起处置，无需客户与运营介入。•“端+云”一体风险治理：传统防控方案大多以“单点防控”为主，依赖黑名单和频次限制，但应对黑灰产的交叉手法，难以达到良好的风险动态识别与管控。阿里云充分发挥“端+云”联防优势，协同流量安全管理，将大规模的机器行为防控前置到端侧，有效从源头上发现批量攻击；再发挥云端无限算力优势，通过持续学习和模型优化缓解防爬场景对抗问题。该方案已在Bot管理方面成功应用，构建了百万量级的风险情报库，结合流式计算实现了分钟级业务流量风险识别与处置能力，同时采用实时和离线双链路联合决策方案，实现了业务风险流量变异情况下对抗策略的自动化生成。03权威认可在2019年的国际人工智能组织联合会议IJCAI 2019（International Joint Conference on Artificial Intelligence 2019）上，阿里云4篇AI研究论文在诸多论文中脱颖而出，其中一篇被主论坛收录，三篇被AIBS Workshop 收录。论文深入解析了AI技术在网络安全、数据安全和内容安全领域研究成果和场景化应用。IJCAI是人工智能领域最重要的顶级学术会议之一。每年被IJCAI成功收录的论文均是AI领域最前沿的研究成果。在全球权威咨询机构Gartner发布的2019 Web应用防火墙魔力象限中，阿里云Web应用防火墙成功入围，是亚太地区唯一一家进入该魔力象限的厂商.在Gartner本次评测中，阿里云WAF的主动防御模式及异常行为检测能力得到高度认可，其中所用到的智能算法能力被评为强势功能。在《The Forrester Wave Web Application Firewalls Q1 2020》报告中阿里云作为亚太唯一厂商入选，并被评为 Contenders。《The Forrester New WaveTM:Bot Management,Q1 2020》报告中，阿里云安全作为唯一中国厂商入选，防爬能力获得认可。  阿里云安全  国际领先的云安全解决方案提供方，保护全国 40% 的网站，每天抵御 60 亿次攻击。2020 年，国内唯一云厂商整体安全能力获国际三大机构（Gartner/Forrester/IDC）认可，以安全能力和市场份额的绝对优势占据领导者地位。阿里云最早提出并定义云原生安全，持续为云上用户提供原生应用、数据、业务、网络、计算的保护能力，和基础设施深度融合推动安全服务化，支持弹性、动态、复杂的行业场景，获得包括政府、金融、互联网等各行业用户认可。作为亚太区最早布局机密计算、最全合规资质认证和用户隐私保护的先行者，阿里云从硬件级安全可信根、硬件固件安全、系统可信链、可信执行环境和合规资质等方面落地可信计算环境，为用户提供全球最高等级的安全可信云。

1. Distribution-Aware Coordinate Representation for Human Pose Estimation论文链接：https://arxiv.org/abs/1910.062781.1 任务描述本文的目标任务是人类姿态估计（human pose estimation），主要目的就是检测任意图片中人类关节的空间位置（坐标）。由于每张图片的光线、背景以及人们的穿着都不一样，因此这个任务的难点在于这些关节在图片中的呈现方式变化很大，从而一个好的标记（身体关节的坐标）表征也就显得尤为重要了。目前对于标签进行表征的标准方法是使用坐标热图 (heatmap)——以每个关节的标签坐标为核心而生成的二维高斯分布/核 [5]，这个方法的核心在于坐标编码（也就是从坐标到热图的过程）与解码（从热图回到坐标的过程），而且目前的 SOTA 方法也是基于热图的 [6, 7]。因此本文的主要目的是改进热图的编码和解码方法，同时也用实验证明了一个好的表征的重要性。1.2 算法概述整个任务的最终目标是预测给定输入图像的关节坐标。为此，需要学习一个从输入图像到输出坐标的回归模型。这个过程可以分为两步，首先假设有一组训练图像，模型的学习分为两步，第一步编码过程：将节点的 ground truth 坐标编码为一个热图作为监督学习目标。第二步解码过程：在测试过程中，将预测的热图解码为原始图像坐标空间中的坐标。在编码的过程中，为了减少计算量，图像的像素进行了分辨率衰减，因此解码过程中需要进行对结果进行偏移才能得到好结果。而过去的基本方法都是根据经验确定的偏移量，本文则对这个偏移进行了详细的解释，并给出了更好的偏移方法。同样，在编码时，也要对其进行相应的变换以避免分辨率衰减带来的影响。1.3 算法细节1.3.1 解码过程标准的解码方法是根据经验确定的，初步的坐标 p 可由下式计算得出：这里的 m 是热图中的最大激活值，s 是热图中的第二大激活值，|| . ||_2 是向量的模长。也就是说，真实坐标要在热图空间中从第一大激活值向着第二大激活值进行偏移才行。之所以要偏移，是因为在编码的过程中，为了减少计算量，图像的像素进行了分辨率衰减，因此最终热图中的第一大激活值的位置并不跟关节的在图片中的真实位置一致，而只是一个粗略的假设。假设开始的衰减率为\lambda，坐标经过分辨率修复（Resolution Recovery）后的最终坐标为：文中提出的的解码方法利用了热图的分布结构，从而找到真正的最大激活值。其基本流程如下图所示。（图源自原论文）图 1：解码过程结构图其中的分辨率修复与标准方法一致（如上式所示）。Distribution-aware Maximum Relocalization是在基于分布假设的情况下对最大激活值进行重定位。具体来说，本文作者假定热图符合 2D 高斯分布，因此热图可以被表示为：这里的 x 是热图像素的位置，\mu 是高斯的中心，这个中心与最重要预测的关节位置（原始图片中的位置）相关。协方差\Sigma 是个对角矩阵，与坐标编码过程中使用的相同（\sigma 是标准差）：基于 log-likelihood 优化原则，作者在保持原始的最大激活值位置的前提下将通过对数将 G（）进行了转换：整个任务的最终目的还是为了估计\mu，因为这个点的特殊性，因此它的一阶导数 D』也有其特性：为了利用这一性质，作者利用了泰勒理论——利用最大激活值 M 处的泰勒级数对激活值 P(\mu) 进行逼近：这里的二阶导数计算为：对上面三个式子进行整理，最终可以得到：Distribution Modulation（分布调制）作者此后验证在 Distribution-aware Maximum Relocalization 中关于高斯分布的假设是否正确。验证如图 2 所示，通常来说训练集中的热图会有很好的高斯特征，而预测出来的热图（图 2(a)）却一般会有多个峰值，并不怎么符合高斯分布，这可能会让我们的方法受到影响。（图源自原论文）图 2：分布调制过程解读因此作者使用了一个与训练数据离散度相同的高斯核 K 来对预测的热图 h 进行调制（卷积），以减轻多峰值的影响：同时为了保证调制前后值大小的一致性，作者又对其进行了尺度变化：1.3.2 编码过程这一部分作者为了解决跟解码相同的问题，将 gound-truth（关节坐标）先进行了转换以减轻分辨率衰减的影响，然后再生成热图。具体来说，作者首先对 ground-truth（g=(u,v)）进行像素衰减（\lambda 为衰减率）得到 g'：然后为了方便核的生成，作者又对其进行了量化处理（quantise(), 可以是向下取整, 向上取整, 四舍五入等）从而最终得到 g"：最终以这个坐标 (g'') 为中心的热图就可以生成了：但是如图 3 所示，量化很大程度上会引入误差，因此虽然作者还是使用了上面这个式子，但是并没有使用 g"，而是使用了 g'以减少误差。（图源自原论文）图 3：对 g'（蓝点）进行向下取整后引入的误差（红色箭头）1.4 实验结果数据集：COCO 和 MPII评测方法: 在 COCO 上用对象关键点相似度（Object Keypoint Similarity, OKS）, 在 MPII 上使用关键点正确概率（Percentage of Correct Keypoints (PCK)）模型：使用 Adam 优化器，HRNet 和基线模型使用与原论文相同的参数，Hourglass 的学习率调整为 2.5e-4，在第 90 个 epoch 衰减到 2.5e-5，在第 120 个 epoch 衰减到 2.6e-6结果：下面三个表格分别说明了本文提出的编码和解码方法的环节都是有实际效果的。下面两个表格说明了 DARK 可以跟现有的大多数模型无缝连接，同时也比当前的 SOTA 方法的表现要好很多。1.5 小结这篇论文说明了一个好的表征对于模型的重要意义，同时也说明了在对模型中的每一步进行更深的了解时，即从经验到科学的过程，往往也能带来更好的表现。2. Towards Universal Representation Learning for Deep Face Recognition论文链接：https://arxiv.org/abs/2002.118412.1 任务描述在面部识别任务中会将图片映射到一个特征空间去，人们希望这个空间中不同的对象之间的距离能尽可能的大，而相同对象之间的距离则尽可能小。但是面部图片的变化很大，尽管现在的一些大数据集已经尽可能的保证图库的多样性了，但是还是不够，SOTA 模型在一些特别具有挑战性的数据集上还是不能得到很好的结果。为了解决这一难题，也出现了一些方法，但是这些方法要么只处理特定的变化，要么需要访问测试数据分布，要么就是通过增加额外的运行时复杂性来处理更广泛的变化。如图 4 所示，本文作者即在避免上述问题的情况下学习了一个统一的特征表征，并且获得了很好的结果。（图源自原论文）图 4：作者的方法避免了在获取统一特征时常见的几个问题2.2 算法概述首先，作者注意到，具有非正面姿态、低分辨率和严重遮挡的输入是对「野外」(『in-the-wild』) 应用程序提出挑战可见的关键因素，对于这些应用程序，可以对训练数据进行综合增强。但是直接在训练中添加硬增强的样本会带给人们一个更困难的优化问题。作者通过提出一种识别损失（identification loss）来缓解这种情况，这种识别损失考虑了每个样本的置信度，从而学习到概率特征嵌入。其次，作者试图通过将嵌入分解为子嵌入来最大化嵌入的表示能力，每个子嵌入在训练过程中都有一个独立的置信度值。第三，鼓励所有的子嵌入在不同区域通过两个相反的正则化来进一步去相关，即特征分类损失和特征对抗损失。第四，作者通过挖掘训练数据中的其他变化来进一步扩展去相关正则化，对于这些变化，合成增强是很重要的。最后，作者通过一个概率聚合来解释不同因素的不确定性，从而解释子嵌入的不同识别能力。如图 5 所示，本文的方法先对输入样本进行增强，然后利用置信度将特征分成子嵌入。训练过程中使用了基于置信度的识别损失和离散去相关损失。（图源自原论文）图 5：本文方法的流程图2.3 算法细节2.3.1 具有置信度的识别损失（Confidence-aware Identification Loss）设 f_i 为第 i 个样本的特征嵌入，w_j 为第 j 个类的向量。此时概率嵌入网络\theta 可以把每个样本 x_i 表示为一个特征空间的一个高斯分布 N(f_i, \sigma^2 I)，则样本 x_i 属于第 j 个类的可能性 (likelihood) 为（D 为特征的维度）：假设每个样本属于任何类的先验概率一样，那么 X_i 属于第 j 个类的后验概率就可以表示为：对上式进行简化，将 frac{1}{\sigma^2} 变为评价信心的置信度 s_i，将 f_i 和 w_j 限制在 l2 标准化的单位球面内，此时上式变成了：如图 6 所示，加入了置信度之后，为了最大化后验概率，各个类的原型（prototype）会靠近高质量的样本（因为有更高的置信度），而在嵌入 f_i 进行更新的过程中，这也会让低质量样本趋向于原型，从而趋向于高质量样本。（图源自原论文）图 6：置信度的作用同时为了缩紧相同对象的分布，作者在损失函数中加入了损失边界以缩小同类的分布（within-identity distribution）：这里的 y_i 是 x_i 的 ground truth，m 是边界参数（以实现损失边界的引入）。2.3.2 具有置信度的子嵌入（Confidence-aware Sub-Embeddings）为了让表征的能力最大化，作者对嵌入中的每个条目进行了去相关的操作——先将特征嵌入 f_i、原型矩阵 w_j 和置信度标量 s_i 分成 K 个等长的矩阵：每个子嵌入 f_{i}^{k} 都各自经过了 l2 标准化，因此最终的识别损失变成了：同时，为了避免模型变得过度自信，作者又加入了一个 l2 正则化条目以限制置信度的无限变大：2.3.3 子嵌入去相关让各个子嵌入分离开来并没有真的实现它们的去相关，因此作者通过将不同的子嵌入与不同的特征联系起来，对所有子嵌入的一个子集计算特征分类损失，同时对其他变异类型计算特征对抗性损失。给定多个特征，这两个正则化项被强制放在不同的子集上，从而得到更好的子嵌入去相关效果。对于增强后的特征 t，作者生成了一个二进制的掩码 V_t，从而随机从所有的子嵌入中选一般，剩下的设为 0，而且保证对于不同的特征，这个掩码都是不同的。作者希望 V_t(f_i) 能够只影响第 t 个变种，因此，作者希望能利用掩码预测出是哪个特征，从而建立了一个多类别判别器 C：这里的 u_i 是一个二进制值，代表特征。如 t=1 代表分辨率，则如果 u=1 表示高分辨率的变种。这个式子只是用来训练判别器的，整个嵌入网络的分类损失和对抗损失分别为：第一个损失是为了让每个特征的 V_t 都不同，同时第二个损失则让这些 V_t 在其他的非对应特征上都尽量不变。因此，作者得到了最终的损失函数：2.3.4 找到更多的变化特征为了让上一节的去相关效果更好，就需要更多的增强特征。因此作者建立了一个属性分类模型，用对抗损失来找到一些不好直接进行增强的变化体征（如微笑等）：l_A 是属性标签，y_A 是图片类别标签，x_A 是输入的图片，N_A 是数据集中类的数量。第一个损失惩罚对面部属性进行分类的特征，第二项则惩罚同一类中特征的不变性。然后这个分类器就被用来生成 T 个新的特征变种（如年轻与否等）。这些特征会跟一开始图像增强时使用的变化特征合并在一起，并应用于 2.3.3 中说的去相关性。2.4 实验结果数据集：三种——LFW, CFP, YTF, MegaFace (变化有限)；IJB-A,IJB-C(分辨率不一)；TinyFace,IJB-S（低分辨率）Ablation Study 结果：下表说明了本文提出各个环节基本都是有实际效果的（E 的效果基本都是最好的）。与其他模型比较结果：下面两个表格说明在上述三种类型的数据集中，本文提出的模型效果基本都是最好的。2.5 小结本文的元素很多，本质目的是为了让表征的能力更加强大。对表征的理解越深刻，可能表征时所需要的模型就越复杂，但是对应的，获取的表征也会带来更好的结果。3. 12-in-1: Multi-Task Vision and Language Representation Learning论文链接：https://arxiv.org/abs/1912.023153.1 任务描述许多视觉和语言的研究集中在一组小而多样的独立任务及其对应数据集上，这些数据集通常是单独研究的，然而，完成这些任务所需的视觉语言理解能力有很大的重叠。虽然单个任务呈现出不同的挑战和不同的接口，但语言和视觉概念之间的基本关联在不同任务之间通常是通用的。例如，学着表达「小红花瓶」和理解与回答「小红花瓶是什么颜色的?」是基本相同的概念。联合训练多个任务可以潜在地汇集这些不同的监督任务。此外，开发能够同时在大范围任务中表现良好的模型可以帮助防止研究圈对特定数据集和度量的过度拟合。本文的模型涉及了四类任务（视觉问题回答-visual question answering，基于图像描述的图像检索-caption-based image retrieval，看图识物-grounding referring expressions 和多模态验证-multi-modal verification），并在总共 12 个不同的数据集上联合训练。3.2 算法概述本文中，作者基于 ViLBERT (https://syncedreview.com/2019/08/15/facebook-georgia-tech-osu-vilbert-achieves-sota-on-vision-and-language-tasks/) [4] 开发了一个视觉-语言的多任务模型来学习 12 个不同的数据集。这个大规模的多任务学习具有挑战性，实验之前作者们也不肯定单个模型是否能同时学习 12 个不同的数据集，而且数据集的大小和难度各不相同。为了解决这些问题，作者引入了动态训练调度器（dynamic stop-and-go training scheduler）、基于任务的输入标记（task dependent input tokens）和简单的启发式超参（simple hyper-parameter heuristics）。基于这个流程，人们就能够用不同的数据集训练各种多任务模型，并评估不同视觉和语言任务在一起训练时的性能之间的关系。3.3 算法细节3.3.1 基本框架本文的基本框架是基于 ViLBERT，作者在其基础上做了两个改进：首先，在掩蔽视觉区域时，作者还遮住了具有显著重叠 (> 0.4 IoU, intersection over union) 的其他区域，以避免泄漏视觉信息。这迫使模型更加依赖于语言来预测图像内容。其次，在对负 (不匹配) 语言进行多模态对齐预测时，作者不强制掩蔽多模态建模损失。这将有效地消除由负样本引入的噪声。3.3.2 多任务学习文中作者使用了一个简单的多任务模型，其中每个任务可以看作一个特定于任务的树枝网络（原文称「head」），该网络从一个公共的、共享的树干 ViLBERT 模型（原文称「trunk」）中分出来。这样, 我们学习共享树干参数θs 和一组基于各个任务层的特定参数 {θt}（{θt} 代表所有任务的特定参数）。我们的目标是学习参数θs∪{θt}，并最小化所有任务的损失。具体修改细节如下:Token: 为了将任务信息编码进去，最终的输入格式如下图所示，并且本文提出的结构采用从底向上的方式对输入信息进行处理。其中 v_i 是图片的特征，w_i 是词的 token，IMG, CLS 和 SEP 是特殊 token。下面是各个任务的「head」：Vocab-Based VQA 的输出：作者将基于 Vocab-Based VQA 视为一个多标签分类任务——根据每个答案与真实答案的相关性为每个答案分配一个软目标分数。文中使用了一个两层的 MLP 来计算一组预先定义的答案 A 的分数（σ指的是 sigmoid function，h_{IMG} 和 h_{CLS} 分别是 ViLBERT 输出的图片和文字的特征向量）:图像检索的输出：在这个任务中，作者同样基于 ViLBERT 输出的特征向量来计算图像-文本对之间的对齐分数（此处的 W_i 在 COCO Flickr30k 数据集的图像检索任务中共享）：看图识物的输出：基于给定的描述，作者对一组区域提案进行了重排，并将每个图像区域 i 的最终表示 h_vi 传递到一个学习投影 W_r 中，从而预测出一个匹配的分数（注意这里 Q 的形式根据数据集不同也会变化）：多模态验证的输出：输入为两张图片（I_0 和 I_1）和一段描述（Q），模型需要判断这段描述的有效性。作者将其定义为分类问题，因此这个 head 的输出为（[] 的意思为 concatenate）：除此之外，作者还描述了其在大规模训练上用到的一些 trick，跟其框架无关，有兴趣可以自己查阅论文。3.4 实验结果如下表所示，本文提出的多任务模型在表现上比其他的多任务模型都要好。同时，文中还列出了很多在各个单个任务上与 SOTA 方法的对比，也都表现很抢眼（要么比它们强，要么差不多），如果对某个上述的特定任务感兴趣，可以去原文中查一下其对应的实验结果。3.5 小结本文提出了一种多任务学习的框架，利用了统一的表征矩阵，而且利用共享的参数减少了很多参数量。这种重叠的东西，也正是在寻求表征统一化的过程中需要发现的。总结本文介绍了三篇跟表征相关的论文，可以发现让表征变得更加强大、发现共性是很重要的，都能让他们的模型在各个任务上获得很大的成功。在未来的探索的方向，可以集中在如何像第三篇文章那样找到各个任务表征中的共性，从而降低表征模型的训练需求，或是像前两篇文章那样，在表征的训练过程中下手，用更广泛的方式获得更广泛、更精确的表征模型。References[1] A DARPA perspective on Artificial Intelligence. Access at: https://www.darpa.mil/attachments/AIFull.pdf[2] Feng Zhang, Xiatian Zhu, Hanbin Dai, Mao Ye, and Ce Zhu. Distribution-aware coordinate representation for human pose estimation, 2019.[3] Yichun Shi, Xiang Yu, Kihyuk Sohn, Manmohan Chandraker, and Anil K.Jain. Towards universal representation learning for deep face recognition,2020.2[4] Jiasen Lu, Vedanuj Goswami, Marcus Rohrbach, Devi Parikh, and StefanLee. 12-in-1: Multi-task vision and language representation learning, 2019[5] Tompson,J.J.;Jain,A.;LeCun,Y.;andBregler, C. 2014. Joint training of a convolutional network and a graphical model for human pose estimation. In Advances in Neural Information Processing Systems[6]Xiao, B.; Wu, H.; and Wei, Y. 2018. Simple baselines for human pose estimation and tracking. In European Conference on Computer Vision.[7]Sun, K.; Xiao, B.; Liu, D.; and Wang, J. 2019. Deep high-resolution representation learning for human pose estimation. In IEEE Conference on Computer Vision and Pattern Recognition.

前提：获取到阿里云账号的AccessKey ID 和AccessKey Secret：操作步骤：1.添加Pom依赖<dependency> <groupId>com.aliyun</groupId> <artifactId>tea-openapi</artifactId> <version>0.0.7</version> </dependency> <dependency> <groupId>com.aliyun</groupId> <artifactId>openplatform20191219</artifactId> <version>3.0.1</version> </dependency> <dependency> <groupId>com.aliyun</groupId> <artifactId>oss-client</artifactId> <version>3.0.2</version> </dependency> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-lang3</artifactId> <version>3.7</version> <dependency> <groupId>com.aliyun</groupId> <artifactId>aliyun-java-sdk-core</artifactId> <version>4.5.13</version> </dependency> </dependency>2.Code  Sampleimport com.aliyun.fileform.models.FileField; import com.aliyun.openplatform20191219.models.AuthorizeFileUploadRequest; import com.aliyun.openplatform20191219.models.AuthorizeFileUploadResponse; import com.aliyun.oss.models.PostObjectRequest; import com.aliyun.tea.TeaConverter; import com.aliyun.tea.TeaPair; import com.aliyun.teautil.models.RuntimeOptions; import org.apache.commons.lang3.StringUtils; import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; import java.net.URL; import java.net.URLConnection; import java.net.URLDecoder; import java.util.HashMap; import java.util.Map; import java.util.concurrent.ConcurrentHashMap; // 使用Java SDK通过本地文件或网络文件链接生成URL public class ViapiFileUtilAdvance { public static void main(String[] args) throws Exception { String accessKey = "xxxxxxxxxx"; //您的AccessKeyID String accessKeySecret = "xxxxxxxxxx"; //您的AccessKeySecret String regionId = "cn-shanghai"; String file = "D:/picture/recognize_1.jpg"; //或者本地上传 //String file = "https://img.alicdn.com/tfs/TB1S0DjC4v1gK0jSZFFXXb0sXXa-692-440.jpg"; try (InputStream inputStream = buildInputStream(file)) { ViapiFileUtilAdvance fileUtils = ViapiFileUtilAdvance.getInstance(accessKey, accessKeySecret, regionId); String ossTempFileUrl = fileUtils.upload(inputStream); System.out.println(ossTempFileUrl); } } public static InputStream buildInputStream(String filePath) throws IOException { if (StringUtils.startsWithAny(filePath, new CharSequence[]{"http://", "https://"})) { filePath = URLDecoder.decode(filePath, "UTF-8"); URL url = new URL(filePath); URLConnection urlConnection = url.openConnection(); return urlConnection.getInputStream(); } else { File key1 = new File(filePath); return new FileInputStream(key1); } } public static synchronized ViapiFileUtilAdvance getInstance(String accessKeyId, String accessKeySecret, String regionId) throws Exception { String mapKey = String.format("%s:%s:%s", regionId, accessKeyId, accessKeySecret); ViapiFileUtilAdvance fileUtils = _map.get(mapKey); if (fileUtils == null) { _map.putIfAbsent(mapKey, new ViapiFileUtilAdvance(accessKeyId, accessKeySecret, regionId)); fileUtils = _map.get(mapKey); } return fileUtils; } private ViapiFileUtilAdvance(String accessKeyId, String accessKeySecret, String regionId) throws Exception { Map<String, Object> cm = new HashMap<>(); cm.put("regionId", regionId); cm.put("autoretry", "true"); cm.put("accessKeyId", accessKeyId); cm.put("accessKeySecret", accessKeySecret); cm.put("connectTimeout", 15 * 1000); cm.put("readTimeout", 30 * 1000); cm.put("maxIdleConns", 200); cm.put("type", "access_key"); cm.put("endpoint", "openplatform.aliyuncs.com"); _runtime = RuntimeOptions.build(cm); com.aliyun.tearpc.models.Config authConfig = com.aliyun.tearpc.models.Config.build(cm); _authClient = new com.aliyun.openplatform20191219.Client(authConfig); //ossEndpointType = "internal";//aliyun-vpc _ossConfig = com.aliyun.oss.models.Config.build(TeaConverter.buildMap( new TeaPair("accessKeySecret", accessKeySecret), new TeaPair("type", "access_key"), new TeaPair("protocol", _authClient._protocol), new TeaPair("regionId", _authClient._regionId) )); } public String upload(InputStream inputStream) throws Exception { AuthorizeFileUploadRequest authRequest = AuthorizeFileUploadRequest.build(TeaConverter.buildMap( new TeaPair("product", "imageseg"), new TeaPair("regionId", _authClient._regionId) )); AuthorizeFileUploadResponse authResponse = _authClient.authorizeFileUploadWithOptions(authRequest, _runtime); com.aliyun.oss.models.Config ossConfig = new com.aliyun.oss.models.Config(); com.aliyun.openapiutil.Client.convert(_ossConfig, ossConfig); ossConfig.accessKeyId = authResponse.accessKeyId; ossConfig.endpoint = com.aliyun.openapiutil.Client.getEndpoint(authResponse.endpoint, authResponse.useAccelerate, ossEndpointType); com.aliyun.oss.Client ossClient = new com.aliyun.oss.Client(ossConfig); FileField fileObj = FileField.build(TeaConverter.buildMap( new TeaPair("filename", authResponse.objectKey), new TeaPair("content", inputStream), new TeaPair("contentType", "") )); PostObjectRequest.PostObjectRequestHeader ossHeader = PostObjectRequest.PostObjectRequestHeader.build(TeaConverter.buildMap( new TeaPair("accessKeyId", authResponse.accessKeyId), new TeaPair("policy", authResponse.encodedPolicy), new TeaPair("signature", authResponse.signature), new TeaPair("key", authResponse.objectKey), new TeaPair("file", fileObj), new TeaPair("successActionStatus", "201") )); PostObjectRequest uploadRequest = PostObjectRequest.build(TeaConverter.buildMap( new TeaPair("bucketName", authResponse.bucket), new TeaPair("header", ossHeader) )); com.aliyun.ossutil.models.RuntimeOptions ossRuntime = new com.aliyun.ossutil.models.RuntimeOptions(); com.aliyun.openapiutil.Client.convert(_runtime, ossRuntime); ossClient.postObject(uploadRequest, ossRuntime); String imageURL = "http://" + authResponse.bucket + "." + authResponse.endpoint + "/" + authResponse.objectKey + ""; return imageURL; } RuntimeOptions _runtime; com.aliyun.openplatform20191219.Client _authClient; com.aliyun.oss.models.Config _ossConfig; String ossEndpointType = null; static Map<String, ViapiFileUtilAdvance> _map = new ConcurrentHashMap<>(); }3.测试结果生成的图片地址=http://viapi-customer-pop.oss-cn-shanghai.aliyuncs.com/ce67_212614432711017986_7857979ccbdf4c3e91aeaeef84effb00注意事项：在添加代码块之后，在使用try内包含流会报：“try-with-resource are not supported at language level “5”错误。通过IDEA自带的alt+enter修复功能设置一个版本到7即可。更多参考：衣冠の禽兽CSDN文档：IDEA 报错：not supported at language level "5"ChaseDreamBoy CSDN文档：idea maven 出现：Try-with-resources are not supported at language level '5'阿里云视觉智能开放平台快速入门：生成URL

医学影像是医疗数据最密集的领域，医疗数据中超过80%来源于医学影像，人工智能技术已经应用在医疗行业多个领域，但医学影像是应用最成熟的领域之一。深度学习算法模型的训练需要海量数据支撑，医学影像由于其数据密集的特性，让以深度学习为代表的人工智能技术有了广阔的发挥空间，而其中又以X光、CT等类型影像的识别分析最为成熟。医学影像成像设备及医学影像信息系统封闭的医疗体系已经无法满足医学影像AI快速发展的需要，医疗机构、影像AI开发商等各方协作与联合成为必然趋势。医学影像算法模型的训练需要以大量的优质标注数据为基础，单个医院的影像数据难以满足影像AI模型训练的要求，医联体和区域影像中心的建立为影像数据流通和数据价值发挥奠定了坚实基础，多地也已成立区域级的影像联盟，促进了医学影像技术交流和数据流通。政策开闸是医学影像AI产品走向商业化的重要因素。2017年8月，CFDA发布了新版《医疗器械分类目录》，新增了与人工智能辅助诊断相对应的类别，医学影像AI产品开始进入审批通道，个别企业获得了二类器械许可证并开启了初步的商业化，但医学影像AI产品的三类器械许可证审批始终引而不发。2019年7月器审中心发布了《深度学习辅助决策医疗器械软件审评要点》，对医疗AI产品的数据质量控制、算法泛化能力、临床使用风险等问题进行了规定，相关医学影像AI产品的审批也进入了绿色通道。2020年1月，国家药品监督管理局审查批准了我国首个应用人工智能技术的三类器械-冠脉血流储备分数计算软件的注册，与此同时，其它多个医学影像AI产品也正在注册审批队列中。随着医学影像AI产品三类器械许可证的审批加速，医学影像AI产品商业化将迎来一波新的发展浪潮。机器之心希望通过本报告《开启医学智慧之眼——医学影像中人工智能技术应用现状及展望》，介绍现有人工智能技术在医学影像中的应用现状、未来技术发展及落地应用趋势，向医学影像AI产品开发商、医护人员、医学影像设备制造商、算法工程师等相关从业者提供详实的调研参考，并帮助读者对该领域形成系统性见解。报告目录部分应用案例4.1.1 乳腺癌乳腺 CAD 被广泛应用于 X 线摄影诊断乳腺癌的过程，主要用于提高钙化灶和肿块被检出的精准性，钙化是乳腺癌早期的重要表现，肿块是乳腺癌的直接定位依据。乳腺 CAD 对钙化点检测效果比较理想，但在肿块检测方面，由于早期的隐匿性乳腺癌肿块尺度较小、边缘模糊、对比度低，与正常乳腺组织极其相似，辨识特征不太明显。• 谷歌和圣地亚哥海军医学中心合作开发了 AI 系统「淋巴结助手」(LYNA)，LYNA 基于开源图像识别深度学习模型Inception-v3 开发出来，研究人员训练模型时将 LYNA 模型置于到了 2016 年癌症细胞检测竞赛（Camelyon16）的癌症转移数据环境里，该数据集来自于 Radboud 大学和 Utrecht 大学医学中心，里面包含了 399 个淋巴结切片的玻片图像，以及来自 20 名患者的 108 张图像。它对 270 个载玻片（160 个正常，110 个肿瘤）进行了训练，并使用了两个评估集—一个由 129 个载玻片组成，另一个由 108 个载玻片组成，来进行性能评估。在转移性乳腺癌的检测精度测试中，LYNA 的准确率达到99%，超过人类的检测准确率。4.2.1 CT 三维重建常规 CT 二维图像缺乏三维空间观感效果，对病变特征的显示受到了较大的局限。三维重建成像是基于高质量横断面扫描影像的技术，随着高速扫描技术的发展为三维重建成像提供了可能。医学三维重建技术涉及到医学影像学、计算机图像处理、生物医学工程等多项技术，三维重建成像不仅有助于疾病诊断，也可为术前判断提供依据，从而确定手术方案， 特别是病灶空间位置及手术入路的选择，二维图像不易观察，而三维重建可从多个角度整体观察。• GE Lightspeed 64 排螺旋 CT 机可以直观地从不同角度观察骨折部位、骨折线走向及移位情况。在对髁状突骨折患者进行扫描时，患者取仰卧位，头先进方式，扫描范围为眶下缘至下颌骨下缘，常规扫描后应用 Volume Rending 软件将原始图像重建，将重建的薄层数据图像传至后台工作站，运用多平面成像技术 (multiple planner reconstruction，MPR) 和容积再现技术 (volume rendering technique，VRT)，进行三维重建。根据患者骨折的类型，选择部位进行适当旋转切割，除去异物及多余部分，显示患者骨折部位及相关形态结构。4.3.1 靶区自动勾画生物靶区（biological target volume,BTV）勾画方法是指在分子生物功能 PET 影像的基础上，将感兴趣区域或者是肿瘤区利用图像分割的方法进行勾画。随着分子生物功能 PET 影像技术的发展，PET 影像越来越多的应用到肿瘤放射治疗计划中，在指导肿瘤的高精确放射治疗中起着至关重要的作用。肿瘤病人的CT 图像勾画往往需要消耗大量时间，传统方法下医生多需要应用 3 ～ 5 h 进行靶区勾画，随之开展的照射方案或手术方案设计同样需要消耗大量时间，而这一系列过程随着病人的病情变化将不断循环，大量的医疗资源因此浪费。肿瘤放疗靶区勾画本质上是一个图像分割问题，因此，将模式识别领域的图像分割理论和方法引入肿瘤放疗靶区勾画领域，开展半自动或全自动的生物靶区智能勾画已成为当前医学图像处理的热点，恶性肿瘤智能放疗生物靶区勾画系统、分子影像引导智能放疗系统生物调强智能放疗靶区勾画与评估软件均属于其中代表。• 柏视医疗开发的鼻咽癌放疗临床靶区自动勾画系统通过机器学习方法，采用小样本集数据训练模型，并运用知识图谱和深度学习的知识完成模型的训练，可对 GTV（肿瘤区）和 CTV（临床靶区）进行自动勾画。在充分保证靶区勾画精准度的前提下，可将勾画时间从数小时缩短到几分钟，大大提高了临床医生的诊疗效率。4.4.1 手术规划数字化技术在外科手术中的应用越来越重要，在手术前进行科学规划，能够帮助克服外科医生的视觉局限，使数据测量更加精准，诊断更为精确，手术更加精准、更加高效。手术规划的一个重要手段就是三维重建技术。通过术前手术规划，医师能根据手术需要对三维模型进行移动、旋转、透明化等操作，任意调整观察角度，直观地了解病灶。再通过虚拟现实交互技术进行模拟手术，对手术方案进行反复操作并不断修正，显著降低手术风险、减少术中决策时间，提高手术成功率。• 博为肝脏三维手术规划系统解决了肝脏切除手术方案设计困难问题，通过对原始的 CT 数据进行后处理重建为三维立体图像，精准肝脏分割（门静脉、肝静脉分割清晰）与分段（奎诺 8 段），自动提取肿瘤病脏，精准直观地展示肝脏肿瘤、肝段、肝脏内部复杂的管道解剖结构，对病例进行全面精准的量化分析，并自动生成临床脏器定量分析报告。4.5.1 神经外科机器人已经商用化的神经外科机器人都采用术前医学图像导航的方式对机器人进行引导定位，由于脑组织在手术过程中会因颅内压力变化而发生变形和移位，这就不可避免的引起定位误差。因此将现有的定位机构与术中导航方式相结合是神经外科机器人研究的主要方向。• 美国 Pathfnder Technologies 公司的 Pathfnder 神经外科机器人在 2004 年通过了美国 FDA 认证，用于完成常规的脑外科立体定向手术，医生可通过该系统在术前医学影像的指导下确定靶点位置和穿刺路径，机器人可完成定位并操作手术工具到制定目标，末端针尖定位精度达到亚毫米级别。4.6.1 医学影像数据平台医学影像数据挖掘的主要目标是从中提取出图片的自身特征，包括语义、质量、关联度、实体义项等。影像大数据平台应用计算机视觉、数据挖掘技术，对包括结构性和非结构性数据在内的影像大数据进行集成，实现集中管理和更好的资源配置，对医学影像进行深入分析、建模和评估，深入开发影像数据价值。• Watson Clinical Imaging Review 是 IBM Watson 的第一个认知影像产品。该产品可检查包括图像在内的医疗数据，帮助医疗服务提供商识别需要关注的最危急情况。该产品的第一个应用目标是心血管疾病，从一种称为 AS —aorticstenosis( 主动脉瓣狭窄 ) 的常见病情开始介入。一项试点研究发现，Watson Clinical Imaging Review 能帮助医务人员识别以前未注明要对其进行冠心病跟进治疗的潜在 AS 患者。利用 Watson Imaging Clinical Review，医院管理人员可识别具有跟进治疗根据的病情，确保 EMR 信息是完整的。它使用认知文本分析来读取心脏病科医师医疗报告中的结构化和非结构化信息，将其与其他来源 ( 比如 EMR 问题清单 ) 的各种数据相结合，并提取相关信息来验证关键数据(包括诊断结果)是否在健康记录中准确地反映出来。4.7.1 细胞病理学研究细胞病理学是以组织学为基础，研究组织碎片、细胞群团、单个细胞的形态和结构、以及细胞间比邻关系并探讨组织来源的一门科学。细胞病理学包括两大部分，脱落细胞学 (Exfoliative Cytology) 和针吸细胞学或称小针穿细胞学 (Fine Needle Aspiration Cytology or Fine Needle Aspiration Biopsy ，缩写 FNAC)。一般在病理科内设有细胞学室。当临床医师开出细胞学检查送检单后，由细胞学室完成细胞检查。• 日本研究人员发明了一种新的细胞识别和分选系统鬼影细胞测定仪 (ghost cytometry)，其将一种新的成像技术与人工智能技术结合，用于识别和分选患者血液中的循环癌细胞，以每秒一万多个细胞的速度识别细胞，每秒数千个细胞的速度对细胞进行分类，能够加速药物发现和改进基于细胞的医学疗法的疗效。