医疗保险面临基金收支平衡压力增大、医疗服务违规行为多发、传统经验决策方式落后等多方面挑战，从信息化建设角度，人社部门推进全民参保登记、医保智能监控、支付方式改革和移动支付探索等工作，积极开展了医保大数据应用。但在应用过程中仍然面临数据质量有待提升、数据应用尚不充分、安全体系还需健全等问题。继续深化医保大数据应用，下一步应重点围绕四个方面：　　一是汇聚和完善医保大数据；　　二是加快大数据平台建设；　　三是持续助力医保业务发展；　　四是构建数据安全体系。　　大数据应用：大数据在医保管理中的应用与面临挑战　　当前，在全民医保体系逐渐完善、人口老龄化趋势加剧、医疗需求快速释放、医疗费用不断攀升等因素的综合作用下，医疗保险面临基金收支平衡压力增大，医疗服务违规行为多发，传统经验决策方式落后等多方面挑战，如何充分利用大数据、“互联网+”等信息化手段，进一步支撑医疗保险在新形势下持续发展，实现全民医保、安全医保、科学医保和便捷医保，全面提升医保质量，是摆在我们面前的重要课题。　　当前医保管理面临的困境　　1.医保基金收支平衡压力增大　　随着生活水平提高，参保人更加关注健康，医疗需求不断上升，同时全民医保从制度全覆盖转向人员全覆盖，基本医保支出规模随之快速增长。这些因素都给医保基金平衡带来较大压力。2022年，人社部门管理的基本医疗保险参保人数7.44亿人，基金支出10767亿元。参保人享受医保待遇25亿人次。考虑到当前经济下行和人口老龄化的形势，未来医疗保险基金收支平衡压力更大。　　2.医疗服务违规行为多发　　我国医保待遇支出高速增长，既有惠民生政策、人口老龄化、医疗技术进步、医疗成本上升等正常因素，更有大处方、乱检查、假发票等不合理因素。2022年审计署对医疗保险基金专项审计显示，一些医疗服务机构和个人通过虚假就医、分解住院、虚假异地发票等手段套取医保基金2亿余元。面对如此规模的支出，人工审核、抽查审核、固定规则审核等医保传统监管手段，对于日趋复杂的医保基金使用场景难以全面覆盖，对于日益隐蔽的医疗服务违规行为难以有效识别。　　3.传统经验决策方式落后　　过去医保政策制定和效率评估往往依赖业务知识和工作经验。随着参保人数的快速增长，医疗行为的复杂变化、医保经办人手普遍吃紧，传统的经验决策方式越来越无法满足业务发展需求，在当前信息技术快速发展、医疗数据不断积累的基础上，充分利用先进技术手段，深入挖掘海量数据资源优势，通过制度运行模拟、政策效率评估、资金压力测试等方式，辅助实现决策高效化、科学化、精确化，是医保业务发展的必然要求。　　医保大数据的应用　　社会保险信息化多年来秉承全国统一规划、统一建设的原则，伴随统筹层次提升，推进数据向上集中、服务向下延伸，逐步奠定了坚实的数据基础。利用渐成规模的医保大数据，人社部门积极推动多项应用，遏制违规行为，辅助科学决策，保护基金安全。　　1.推动全民参保计划，实现全民医保　　党的十八届五中全会通过的《中共中央关于制定国民经济和社会发展第十三个五年规划的建议》明确提出“实施全民参保计划，基本实现法定人员全覆盖”。2022年，人社部加快推进全民参保登记系统建设、部省对接、数据上报等工作，目前已基本形成部省两级全民参保登记库，支持摸清法定未参保人员情况，助力全民参保计划，实现应参尽参。截至2022年底，各省共计上报包括医疗保险在内的人员参保信息30.42亿条，为下一步参保扩面提供了有力的数据支撑。　　2.实施医保智能监控，打造安全医保　　2012年，人社部组织建设了医保智能监控系统，针对门诊、住院等不同业务环节设计了500余条监控规则，对频繁就医、分解住院、过高费用、大处方、药占比异常等常见违规医疗服务行为进行监控，监控对象涵盖医疗服务机构、医师、参保人员等。2014年，在前期工作基础上，人社部下发《关于进一步加强基本医疗保险医疗服务监管的意见》(人社部发〔2014〕54号)，明确了监管途径、各方职责、问题处理程序等。近几年，开展医保智能监控工作的统筹地区数量不断增加，目前全国超过90%以上的统筹地区已全面开展智能监控工作。通过全场景、全环节、全时段自动监控的震慑作用，遏制了大量潜在违法、违规行为，保障了参保人员权益和医保基金安全。　　3.推广支付方式改革，促进科学医保　　近年来，基于过去多年积累的医保数据，人社部门广泛开展了优化支付方式工作，积极推行复合式医保支付方式探索。2022年，国务院办公厅下发了《关于进一步深化基本医疗保险支付方式改革的指导意见》(国办发〔2022〕55号)，对改革目标提出了明确要求。目前绝大部分地区均开展了总额控制，分析医保历史数据是医保部门与医疗机构协商制定总额的主要依据。此外部分地区在单病种、DRGs等支付方式的探索过程中也充分利用了医保数据。如沈阳市从2022年开始探索DRGs支付，应用本地医保支付数据，优化DRGs分组。上海强化数学模型在医保预算中的应用，同步推进按病种付费。　　4.探索医保移动支付，引导便捷医保　　《“互联网+人社”2022行动计划》(人社部发〔2022〕105号)提出“支付结算”行动主题，要求建设人力资源和社会保障支付结算平台，拓展社会保障卡线上支付结算模式。社会保障卡经过十九年建设发展，为线上应用打下了深厚基础，具有身份凭证、信息记录、自助查询、就医结算、缴费和待遇领取、金融支付等功能，已成为持卡人方便快捷享受人力资源和社会保障权益及其他政府公共服务的电子凭证。各地根据文件精神，结合“互联网+”要求，积极探索实践医保移动支付，如杭州、武汉、深圳、昆明等地参保人可通过手机完成门诊费用医保支付，缓解窗口排队压力;沈阳、天津、嘉兴、珠海等地参保人可线上购药，通过手机或移动POS刷卡完成医保支付，改善用户体验。　　医保大数据的应用挑战　　1.数据质量有待提升　　一是数据不完整。　　从各地层面，社会保险信息系统管理的医保数据主要集中在参保、结算类基本数据，医疗行为过程中的医嘱、病历、药品进销存、检查检验报告等数据没有全面采集，文凭服务反馈、治疗效果类数据，以及日志、视频、文件等非结构化数据普遍缺失，制约了医保智能监控、支付方式改革等应用的深入开展，难以支撑面向参保人开展精准服务。从部级层面，自2009年开展医保联网监测指标上报以来，各地按月向人社部上报数据，医保主要包括参保、享受待遇、定点医疗机构等基本信息，缺乏业务明细信息。　　二是数据时效性不强。　　医保联网监测数据按月上报，支持了部级基金监管、宏观决策、社会保险参保待遇比对查询等多项系统应用。但按月更新的数据时效难以满足全国统筹、重点业务实时监控等新业务需要。　　三是数据准确性不高。　　从部级联网监测数据来看，虽然数据规模、覆盖人群快速增长，但仍然存在各险种、各业务基本信息、业务状态信息不一致，部分代码使用不标准、不规范，甚至存在不少错误或无效信息等问题，对数据的深入分析和广泛应用带来较大影响。　　2.数据应用尚不充分　　一是数据应用意识不足。　　近年来，人社部门逐渐认识到数据的巨大价值，积极开展数据应用，但相较于人社部门管理的大数据，已开发的数据只是冰山一角，海量数据还在“沉睡”，沉睡数据中的问题不断累积，反过来影响数据应用工作开展。毕竟只有持续应用，才能从根本上促进数据质量提升。　　二是对“问题数据”重视不够。　　明显异常的数据一部分是数据质量低下的垃圾数据，也有部分是客观业务问题导致数据错误。在数据应用过程中，常常首先筛除异常数据，实际上也筛除了可能存在的问题和风险。大数据时代，更要培养重视异常数据的意识，善于从中发现问题、防范风险，逐步减少“问题数据”，提升数据质量。　　三是跨业务数据应用不足。　　目前对数据的开发应用，多集中于单业务板块，跨业务联动应用不足，如社保与就业数据关联分析、就医信息与人员生存状态的结合判断等。数据只有真正融会贯通，才能激发新思路，创造新价值。　　3.安全体系还需健全　　2014年，人社部先后下发了《人力资源和社会保障数据中心应用系统安全管理规范(试行)》(人社厅发〔2014〕47号)和《人力资源和社会保障数据中心数据库安全管理规范(试行)》(人社厅发〔2014〕48号)，从具体操作层面对应用系统和数据库安全提出了规范要求。然而，大数据环境下数据链条变长、数据规模增长、数据来源多样、数据流动性增强，使得数据安全保护难度加大，个人信息泄露风险加剧，传统的安全控制措施面临挑战。　　大数据应用：大数据在医保管理中的应用与面临挑战　　医保大数据的发展方向　　1.汇聚和完善医保大数据　　一是夯实基础信息。　　统筹全民参保登记库和持卡人员基础信息库建设，完善部级人员、单位基础信息库，准确掌握服务对象基本情况，进一步发挥人社基础性信息库作用，实现一数一源、“一人一卡”。　　二是整合信息资源。　　从数据上报时效上，优化联网监测数据上报机制，由按月上报调整为按日实时更新;从数据上报粒度上，扩充上报指标，补充明细业务数据。从数据收集来源上，利用互联网、移动终端等渠道增加信息收集来源，补充医疗服务结果、质量、满意度等类数据，同时推动与医保局、卫健委等部门间数据共享，实现数据融合。　　三是提升数据质量。　　持续抓好数据质量提升，一方面做好与人口库等外部数据比对，核准数据资源。另一方面逐步排查数据异常原因，对可能存在的无效数据，进一步分析比对，发现问题及时督促整改。　　2.加快大数据平台建设　　实现对医保大数据的高效集约管理，建设大数据平台势在必行。　　党的十九大报告提出要“建立全国统一的社会保险公共服务平台”，其内涵是运用“互联网+”、大数据等信息化手段，为群众提供无地域流动边界、无制度衔接障碍、参保权益信息更加公开透明、社保服务更加便捷高效、各服务事项一体化有机衔接的社会保险公共服务。高效的对外服务需要底层大数据平台的强大数据支撑能力，因此，建设适应人社业务，协同、监管、决策、服务的可靠安全人社大数据管理平台，作为大数据产生、汇集、分析和应用的基础，实现数据统一标准、统一管控，提升管理服务效率，为上层应用提供数据支撑服务，是当前的重点任务。　　3.持续助力医保业务发展　　大数据应用的根本出发点和立足点是推动业务发展，提升管理效能，实现决策科学化、监管精准化、服务人本化。　　具体应用如：发挥大数据聚类、决策树等算法优势，支持单病种、DRGs等支付标准设计、测算和评价，推进多元复合式医保支付方式改革工作深入开展;完善药品数据和统一标准，借鉴各地先进经验，探索制定药品支付标准;利用大数据技术，分析并预测基金运行情况，完善筹资与待遇机制;深化医保智能监控系统应用，探索利用人工智能、图计算等前沿技术，提高监控精确度，实现更加智能化的监控;推进电子社保卡研究应用，提供网上费用结算、医保移动支付等服务，打造线上应用服务体系;利用大数据推荐模型，面向参保人提供精准推荐等健康管理服务。　　4.构建数据安全体系　　大数据环境下的数据应用实践，对数据安全和个人隐私保护提出了更高的要求。要切实树立数据安全意识，实现数据全生命周期管理，确保数据安全、完整和一致。　　一是建立数据管理机制，包括信息资源目录、数据分级分类管理、数据安全管理制度、数据共享开放流程等，确保管理过程规范，权责明晰;　　二是加强基础设施保障，启用电子印章、数据加密、生物特征识别等安全技术手段，为数据安全提供基础保障;　　三是确保个人信息安全，提供服务要获得个人授权，保护个人隐私。(景玺、秦靖沂 人力资源社会保障部信息中心)成都加米谷大数据培训机构，个人大数据培训中秋国庆双节报名优惠活动进行中，详情见加米谷大数据微头条！

中国慕课产业的发展离不开世界，世界离不开中国，如何更好的融入全球化发展浪潮，也是慕课未来发展方向。　　2018年1月15日上午，教育部召开2018年首场新闻发布会，进行了首批490门国家精品在线开放课程的情况说明。以北京大学、清华大学、武汉大学、哈尔滨工业大学等知名高校为主建设的344门课程入选，占比70.2%。　　笔者了解到，2017年7月，教育部决定开展2017年国家精品在线开放课程认定工作，在国内各大公共服务平台上公开运行两轮或以上，进行了混合式教学及翻转课堂实践的高校课程均可申报。经过半年的申报、评审，最终468门本科教育课程和22门专科高职教育课程，共计490门课程成为了第一批国家级的在线精品课程。　　笔者通过教育部官方网站，下载了本次推荐490门慕课的表格，发现在这其中，中国大学MOOC入选322门，占据全部490门课程的近7成份额。另外值得一提的是在“最受欢迎的十大国家精品在线开放课程”榜单中，中国大学MOOC占据其中7席。　教育部相关负责人在发言中提到，推出首批490门国家精品在线开放课程目的是进一步促进信息技术与教育教学深度融合，推进我国在线开放课程建设与应用深入发展，推动高等教育教学质量的“变轨超车”，提高教育质量、推进教育公平，实现高等教育高质量内涵式发展。　　在笔者看来，互联网教育的概念风行多年，随着慕课模式的出现，让普惠教育成为了可能，大量的用户、学员有机会通过互联网平台低门槛的接触到最新、最优、最实用的精品课程。而中国大学MOOC能在教育部严格的审核、评选门槛下，拔得头筹独占7成，也释放了中国慕课未来的发展信号，而这也是我们今天所要探讨的话题。　　中国大学MOOC何以突围 十占七成　　中国大学MOOC是高教社携手网易打造的在线学习平台,入选322门，远超其他各大平台总和。目前经过短短几年的发展，中国慕课产业发展迅速，已经成为全球第一大国，涌现出来大量的慕课平台，那中国大学MOOC何以突围，占据精品课程7成呢?在我看来，有以下几个因素。　　一、顶级企业(中国互联网top5之一的网易)+顶级机构(高等教育出版社)合办，优势资源互补。网易是一家市值在400亿美元的科技巨头，而高教社是教育部主管、主办的以出版高等教育、职业教育、成人与社会教育等各级各类教育教学用书为主的大型、综合性出版社。网易掌门人丁磊评价网易教育产品时曾说过“我们做在线教育的目的不是赚钱。当时为什么做这个项目?我就觉得全球的教育资源是不平等的，东方和西方，城市和农村都是不平等的。我们非常希望能够通过互联网这个渠道和手段，打破各种壁垒，让每个人都可以平等地进行教育。”而和高教社合作，能够让网易的理念和愿景落地，为国家精品开放课程等优质课程的转化与深入建设提供强大的助力与支持，向大众免费提供中国知名高校的MOOC课程。　　二、课程优势(名师、名校、社交互动、实用课程等)。中国大学MOOC丰富的名师名校课程来自众多985高校的优质课程，拥有更好更全的大学课程，可以与名师零距离。完成课程学习后，可以获得讲师签名证书。　　三、资金、平台、数据、用户赋能，先天资源优势强。中国大学MOOC作为巨头携手推出的平台，可持续发展的资金问题自然不发愁，而且不管是网易还是高教社其实都是“大数据”公司，高教社60年的发展过程中销量超过20亿，网易旗下教育、音乐、游戏等每天的互动数据更是按亿级别计算，二者的合作加上对用户价值的赋能，未来潜力非常大，我们有理由期待更多课程的出现，并且“千人千面，精准推送到用户”的学习体系也将逐步落地。先天强大的资源数据，以及对数据和资源利用开发的能力，也是这个平台的优势之一。　　与时俱进 前沿课程匹配未来发展　　在线慕课平台有很多，但大部分都是学校教育或者K12教育的延展，或者是时下热门的考研培训等。笔者注意到中国大学MOOC这一次能给获得关注和认可，很大的原因就在于其通过前沿的理念和思维，推出了与时俱进匹配未来的内容。　　比如我们都知道当下科技的未来发展方向是人工智能，包括BAT、联想、华为等在内的巨头都已经入局。在中国大学MOOC我们就看到了相关课程，比如这期《人工智能系列前沿课程》，就认为随着Cortana，Siri等智能助手在人们日常生活场景中应用越来越广泛，人类与计算机用自然语言沟通交流、解决问题的未来似乎并不遥远。在他们的课程中，微软亚洲研究院的研究员们将带来人工智能研究前沿知识，包括多媒体计算、知识挖掘与图计算、自然语言处理、以及微软认知服务技术。同时通过项目实践增强同学们的人工智能技术实践能力。　　另外，我们也发现入局的各大高校也体现出了“行业未来趋势”所在。比如在大学榜单上北京大学的课程“游戏化教学法”，这门课程进行中游戏化神秘物体贯穿始终，将每天发生在教师工作、研究中的日常行为组织成场景，运用舒缓的节奏，以场景为依据逐步推出各个主要人物，这被认为是授课模式创新体现所在;再比如渤海大学的“互联网+”管理学，引导同学们用互联网思维审视、分析与处理管理的理论与实践问题，培养互联网思维与虚拟管理技能，这也体现了未来的管理学发展趋势。　　机遇和问题并存 中国慕课未来发展如何破局?　　虽然当前快速发展的慕课模式存在一些问题，比如用户价值提供、平台盈利等等，但我们纵观中国产业互联网和中国教育的发展未来来看，能给提供类似于线下课程的作业评估体系和考核方式慕课模式，无疑是未来的趋势。　　这一次教育部优中选优，评选出490门国家精品在线开放课程，凸显了我国推进慕课建设与应用的对外开放决心。打造中国在线开放课程品牌，在慕课建设模式、推广应用和标准制订等方面掌握国际话语权，将是未来政策鼓励的方向。　　那中国慕课未来如何进一步深化发展，今天我们不谈产业层面的话题，就从内容(课程)提供四个层面来做一些展望：　　有用：相比其他的互联网教育模式和纯粹以考试为目的的在线课程，慕课首先是要给我们广大的学员提供有用的知识，而不是像时下各种答题APP主导的碎片化的伪知识。比如“C语音程序设计进阶”这种课程，在当前每年有几十万程序员缺口的中国，就非常有必要展开。　　有趣：上文我们提到一种游戏式的教学方式，这在我看来应该大范围推广，让本已经有用但是枯燥的知识，变得生动起来，加强学生主动探知欲。比如一节研究学习古代穿着的课程，如果用“汉代服装穿着浅析”这种标题，生动性就不如像中国大学MOOC上用“电视剧美人心计有哪些穿着不当地地方”这样的标题，由热门影视剧为由头，有案例典型的进行剖析分解，学生自然兴趣高，学的勤。　　多维：随着互联网的发展，“什么是知识”重新出现了定义，曾几何时“区块链”和“共享经济”这样的名词绝对不会以知识的名义出现在我们的教育体系中，但这些概念的的确确在今天深刻的影响到了我们的科技和经济发展。我们把这种称为新知识或者多维的知识，而我们的慕课平台就应该在学校教育之外，多开设这种有价值并且代表未来趋势的新知识课程，让更多的学员赢在未来的起跑线上。　　国际化：中国慕课产业的发展离不开世界，世界离不开中国，如何更好的融入全球化发展浪潮，也是慕课未来发展方向。比如中国大学MOOC引入德国课程，邀请学员和德国科学工程院院士进行课题的探讨;再比如随着孔子学院的全球各地落地，该平台还将通过孔子学院进行慕课教学等等做法，都是慕课国际化的典范。　　写在最后：另外随着产业互联网和社交网络的快速发展，用户的自主意识开始觉醒，我们的慕课乃至所有的教育平台都应该让把用户由“受众”变成“参与者”，发挥用户的作用，让用户全面的参与体系的构建，方才是未来教育可持续发展的根本之道。

​图像合成 (image composition) 是指把一张图片的前景剪切下来，粘贴到另外一张背景图片上，得到一张合成图。广义来讲，把来自不同图片的多个视觉元素嫁接到同一张图片上，都属于图像合成的范畴。图像合成有着广泛的应用场景，比如人像换背景、虚拟社交、艺术创作、自动广告等等。下图展示了得到一张合成图的过程。​通过剪切复制得到的合成图可能会有诸多问题，影响合成图的真实程度和图片质量。这些问题可以归结为合成图中前景和背景之间的不一致性，进一步可分成几何不一致性和外观不一致性。几何不一致性包括前景物体的大小、位置、透视角度不合理。外观不一致性包括前景和背景的颜色光照信息不匹配, 或者前景的阴影缺失或不合理。为了解决外观不一致性，图像和谐化任务 (image harmonization) 旨在调整前景的颜色光照信息，使其和背景看起来更和谐。物体阴影生成 (object shadow generation) 任务旨在根据前景和背景信息为前景物体生成合理的阴影。本文是上海交通大学人工智能教育部重点实验室（MoE Key Lab of Artificial Intellegence）在物体阴影生成领域的工作，论文发表在了 AAAI 2022，并且数据库、代码和模型已开源。​论文链接：https://arxiv.org/pdf/2104.10338.pdf代码链接：https://github.com/bcmi/Object-Shadow-Generation-Dataset-DESOBA​引言物体阴影生成任务旨在给定一张合成图和前景物体掩码，为前景物体生成合理的阴影，可以视为图像到图像翻译 (image-to-image translation) 的任务。为该任务训练深度学习网络需要大量成对的训练数据：没有前景物体阴影的合成图和有前景物体阴影的目标图。然而，这种成对数据在现实世界中极难获取。之前有工作 [1] 用渲染的方式构造成对的训练数据，具体来说，把 3D 模型插入到 3D 场景中，先得到没有前景物体阴影的合成图，然后用渲染软件为插入的 3D 模型生成阴影，得到带有前景物体阴影的目标图。但是，该数据库 [1] 前景数量有限，背景简单，和真实图片相距甚远。研究者尝试把基于该数据库训练得到的模型用于真实合成图，效果很差。为了解决现实世界中难以收集数据，渲染图片和真实图片又有偏差的问题，研究者设计了一种笨拙的方法，推出了首个真实复杂场景下物体阴影生成数据集 DESOBA。他们构建数据库的方式和图像和谐化数据集 iHarmony4[2]类似，都是对真实图片做调整得到伪造的合成图。具体来说，iHarmony4 为了构建成对的和谐图片与不和谐图片，把真实图片作为目标图片，对前景用颜色迁移方法调整颜色和光照，使其和背景不和谐，获得伪造合成图，通过这种方式得到成对的合成图和目标图。该方法也可套用到物体阴影生成任务中，研究者把真实图片作为目标图片，为前景去阴影，把去阴影之后的图片当做伪造合成图，用这种方式获取成对的合成图和目标图。他们还尝试了一些最先进的去阴影算法，可能是因为复杂场景的原因和数据集之间的差异，去阴影效果很差。迫于无奈，研究者雇佣 photoshop 专家手动为图片去阴影，这个过程非常费时费力，编辑一张图片花费半个小时到几个小时不等。为了保证去阴影图片的质量，他们尝试了一些量化指标，但这些指标不能很好地反映图片质量。因此，研究者决定人工确保图片的质量，保证每一张图片去阴影之后原阴影区域的纹理特征尽可能保留，原阴影边界区域的过渡尽可能平滑，原阴影区域难以被识别出来。经过多轮检查，尽可能地保证数据库的质量。虽然人工检查不可能完全保证数据库的准确性，但是研究者发现该数据库能够用来比较不同方法的优劣，并且对真实合成图也有一定的效果。数据集和生成网络研究者基于 Shadow-OBject Association (SOBA)数据集 [3] 构建自己的数据集。SOBA 数据集有 840 张训练图片（包含 2999 对物体和阴影）和 160 张测试图片（包含 624 对物体和阴影）。他们沿用 SOBA 的训练测试集划分，将数据集命名为 DEshadowed SOBA (DESOBA)。因为数据量有限，在训练的时候采用了一种数据增广的方式，随机选择图片中的若干物体打包成一个前景物体，增加前景物体的丰富程度。实验证明了这种数据增广方式的有效性。​DESOBA 数据库里面的样图如下图所示。根据合成图背景中有没有成对的物体和阴影，他们把图片分为 BOS (Background Object-Shadow) 图片（背景中有成对的物体和阴影）和 BOS-free 图片（背景中没有成对的物体和阴影）。对于 BOS 图片，成对的物体和阴影可以为推测光照信息提供强有力的线索。对于 BOS-free 图片，他们期望模型能够根据天空、地面、物体的明暗变化推测出光照信息。下图左半边是 BOS 图片，从左到右依次是合成图、前景物体掩码、背景物体掩码、背景阴影掩码、目标图。右半边是 BOS-free 图片，从左到右依次是合成图、前景物体掩码、目标图。​基于 DESOBA 数据集，研究者设计了一个两阶段的物体阴影生成网络，这是首个两阶段的物体阴影生成网络。整个网络的结构如下图所示，第一阶段负责生成物体阴影的掩码，第二阶段负责填充物体阴影区域。​在第一阶段，研究者用两个编码器分别提取背景和前景的特征。前景编码器的输入是合成图和前景物体掩码，背景编码器的输入是合成图、背景物体掩码、背景阴影掩码。提取前景和背景的特征之后，他们设计了一个交互注意力聚集 (cross-attention integration) 层完成前景特征和背景特征之间的信息交互。在此过程中，前景特征从背景特征中获取了相关有用的光照信息，得到增强的前景特征。增强的前景特征通过解码器预测出前景阴影掩码。虽然交互注意力机制在其他计算机视觉任务中已经广泛使用，但这是首次将交互注意力机制用于阴影生成任务。​实验结果研究者首先在 DESOBA 测试集上验证模型的性能。关于量化指标，他们采用了 RMSE 和 SSIM，分别对全图计算(global RMSE/SSIM) 和阴影区域计算(local RMSE/SSIM)。如下展示了不同方法的阴影生成图片。从左到右依次是: (a)输入合成图; (b)前景物体掩码;(c)Pix2Pix 的结果; (d)Pix2Pix-Res 的结果; (e)ShadowGAN 的结果; (f)Mask-ShadowGAN 的结果; (g)ARShadowGAN 的结果; (h)本文方法 SGRNet 的结果; (i)真值目标图。从图片结果可以看出对比方法生成的阴影残缺不全，甚至没有生成阴影。而文中方法的生成结果明显优于对比方法的结果。​由于 DESOBA 数据集是伪造合成图，为了验证在真实合成图上的效果，研究者制作了 100 张真实合成图并测试不同的方法。不同方法的结果如下图所示，从左到右依次是: (a)输入合成图; (b)前景物体掩码; (c)Pix2Pix 的结果; (d)Pix2Pix-Res 的结果; (e)ShadowGAN 的结果; (f)Mask-ShadowGAN 的结果; (g)ARShadowGAN 的结果; (h)文中方法的结果。注意，真实合成图没有真值目标图。在真实合成图上，文中方法的生成结果也明显优于对比方法的结果。可见 DESOBA 数据集和设计的模型在真实合成图上也有一定的效果。DESOBA 测试集上的更多结果和真实合成图上的更多结果请参见论文和附录。​最后，研究者展示模型输出的一些中间结果，以便于理解模型。从左到右依次是：(a)输入合成图; (b)前景物体掩码; (c)生成的前景阴影掩码; (d)生成的前景阴影蒙版; (e) 生成的前景阴影掩码和阴影蒙版之间的差异; (f)生成的暗图; (g)生成的目标图片; (h)真值前景阴影掩码; (i)真值目标图。​总结​研究者推出了首个真实复杂场景下的物体阴影生成数据集 DESOBA, 用于合成图中的物体阴影生成。另外，它们设计了两阶段的物体阴影生成网络，第一阶段生成前景阴影掩码，第二阶段填充前景阴影区域。物体阴影生成这个任务很有挑战性，任重而道远。研究者表示，虽然他们在正文和附录里展示了一些效果较好的图片，但是实际上大多数测试图片的效果并不理想，甚至惨不忍睹，所以可提升的空间很大。他们的工作实属抛砖引玉，欢迎大家尝试文中的数据集，尝试物体阴影生成任务。参考文献:[1] Liu, D.; Long, C.; Zhang, H.; Yu, H.; Dong, X.; and Xiao, C. 2020. Arshadowgan: Shadow generative adversarial network for augmented reality in single light scenes. In CVPR.[2] Cong, W.; Zhang, J.; Niu, L.; Liu, L.; Ling, Z.; Li, W.; and Zhang, L. 2020. Dovenet: Deep image harmonization via domain verification. In CVPR.[3] Wang, T.; Hu, X.; Wang, Q.; Heng, P.-A.; and Fu, C.-W. 2020. Instance shadow detection. In CVPR.[4] Shor, Y.; and Lischinski, D. 2008. The shadow meets the mask: Pyramid-based shadow removal. In Computer Graphics Forum, 577–586.

【新智元导读】Google研究科学家提出一种可以用于计算图优化的端到端的可传递深度强化学习方法，在显著减少限制的情况下，能够大幅提高图形优化任务的性能，并在泛化性和多任务上表现优越。当今的时代，有越来越多的app依靠在各种加速器上训练的大型复杂神经网络驱动。而通过将高层计算图映射到特定设备的低层可执行的ML编译器，可以达到简化此过程的目的。 为此，ML编译器需要解决很多优化问题，并且会牵扯到启发式算法，从而会带来许许多多的挑战，并在实际操作中常常无法拥有最佳解决方案。近几年，使用基于学习的方法已经显示出不错的效果，但是这些方法依然具有局限性，从而导致在实践中并不可行。 而Google的研究人员在NeurIPS 2020的oral论文“ML编译器的可传递图优化“（《Transferable Graph Optimizers for ML Compilers》）中，提出了一种可以用于计算图优化的端到端的可传递深度强化学习方法。该方法成功克服了以上提到的所有限制，并且具有良好的效果—— 与Tensorflow默认优化相比，研究者证明，该方法在三个图形优化任务上的速度提高了33%-60%，在由多达80，000节点组成的不同表示图集中（包括Inception-v3, Transformer-XL, and WaveNet），在收敛速度提升15倍的同时，该模型的效果比专家优化平均提升了21%，此外，还比现有的技术高了18%。重构决策问题，细化至节点级别在ML编译器中，有三种经常出现的优化任务，这三个优化任务是什么呢？ 第一个优化任务是设备放置。 第二个优化任务是操作调度。第三个优化任务是操作融合。 Google的研究人员将其公式了化为可以使用学习策略解决的决策问题。其中，每个任务对应的决策问题，可以被重构为对计算图中的每个节点作决策。注意力机制和GraphSAGE统统上场，三个关键步骤搭起整体框架在论文中，研究科学家提出了GO。 GO是一个深层的强化学习框架，该框架可以用来解决上面提到的优化问题——可以单独一个个解决，也可以将优化问题联合起来解决。该框架包含三个关键方面：  1 首先，研究者使用图神经网络（特别是GraphSAGE）来捕获计算图中编码的拓扑信息。GraphSAGE的归纳网络利用了节点的属性信息，并将其概括为隐式图，从而在不产生大量训练成本的同时，为非显式数据做出决策。2 其次，许多模型的计算图通常包含超过1万个节点。要在如此大规模的范围内有效解决优化问题，网络需要能够捕获节点之间的长期依赖关系。 GO的体系结构包括一个可扩展的注意力网络，该网络使用了分段循环，来捕获此类远程节点依赖性。  3 ML编译器需要解决来自不同应用领域的各种图形优化问题。如果单纯训练具有异构图的共享策略网络，那么其实并不能充分获取一些特定类型图的特征。为了克服此问题，GO使用了一种特征调制机制，该机制允许网络专门用于特定的图形类型，而无需增加参数数量。  此外，为了共同解决多个相关的优化任务，GO可以为每个任务添加额外的循环注意力层，并在不同任务之间共享参数。具有操作残留关联的循环注意力层，可以达到跟踪任务间的依存关系的目的。疯狂加速15倍，泛化效果强，还不限于单任务在真实硬件配置环境中，研究者给出了在设备放置任务上的单任务加速评估结果，接着，研究者将其泛化到隐式图中，并使用不同GO变量进行了分析。最后，研究者评估了在设备放置和设备调度上共同优化的多任务结合的评估效果： 加速性能： 为了评估这种架构的性能，研究者将GO应用到基于真实硬件评估的设备放置问题上。首先，他们针对每个工作负载分别对模型进行训练，并将其称为GO-one。 实验结果表明，GO-one始终优于专家放置，TensorFlow METIS放置和分层设备放置（HDP）。对于大型图形（如GNMT），GO可以实现优化的图形运行时间分别比HP和HDP快21.7％和36.5％。 总体而言，与HP和HDP相比，GO-one在14组不同图中的运行时间平均减少了20.5％和18.2％。 此外，重要的是，通过高效的端到端single-shot布局，相比HDP来说，GO可以将布局网络的收敛速度加快15倍。 泛化性能： GO使用离线预训练，将图泛化为非显式图，然后对非显式图进行微调。 在预训练期间，研究者在训练图的异构子集中训练GO。在切换到下一批图之前，我们在每批图上训练1000步。然后，使用该预训练模型，在hold-out图上进行微调（GO泛化+微调），此步骤少于50个步并通常需要不到一分钟的时间。 对于hold-out图，GO泛化+微调在所有数据集中的表现，均优于专家级放置，HDP和GO-one的平均配置。在对目标hold-out图没有进行任何微调的情况下，研究者还直接在预训练模型上进行了推理，并将其命名为GO-generalization-zeroshot。 这种未调整模型的性能仅比GO泛化+微调稍差，而稍好于专家放置和HDP。 这表明图形嵌入和学习到的的策略都可以有效传递，从而使模型可以泛化到隐式数据。 共同优化放置，调度和融合任务性能： 如果同时优化设备放置，调度和融合，那么，与未优化的单GPU情况相比，会直接提速30％-73％，与TensorFlow默认配置相比，可以提速33％-60％ 。与单独优化每个任务相比，多任务GO（pl + sch + fu）平均速度优于单任务GO（p | sch | fu）（一次优化所有任务）7.8％。  此外，对于所有工作负载，与对其中两个任务进行优化并同时对第三个任务使用默认策略相比，对三个任务进行共同优化会拥有更快的运行时间。

今天，华东师范大学与阿里云签订战略合作协议，双方将在教育信息化、智慧校园建设、教育科学研究等方面深入合作，共创教育数字化转型的“华东师大模式”。华东师范大学党委书记梅兵出席仪式并表示，希望各方紧密合作，共同促进教育与信息技术的深度融合，引领教育的未来。早在2017年，华东师范大学就与阿里云展开了全方位的数字化合作。基于阿里云搭建了华东师范大学“水杉在线”在线教学平台，支持校内外逾5万人在云上开展50余门课程教学活动。以教育部产学合作协同育人课程合作项目为载体，在华东师大的信息学部和经管学部的多个专业都设有阿里云相关内容课程。双方在数据库、图计算等领域已有多个科研项目合作，并已开展人才的联合培养。此次华东师范大学与阿里云达成战略合作，将共同探索云、大、物、智等新一代信息技术在教育信息化、在线教学、智慧校园建设、教育科学研究等方面的创新应用，协作推进“硬核”教育科技的研究，打造教育数字化转型的“华东师大模式”。在科技研发方面，双方将基于新一代科研云继续合作攻坚。此外，双方还将深化人才联合培养，特别是探索社会急需的师范类人才的新型培养模式，推动更多学校与教育从业者进行数字化转型升级，利用数字创新技术让优质的教育资源普惠到更多区域和人群。签约仪式上，我们还联合宣布了两个好消息：◎ “全国教育数字化改革学校联盟”成立“全国教育数字化改革学校联盟”正式在华东师范大学发布启动。首批发起方包括华东师范大学、复旦大学、四川大学、重庆谢家湾学校、上海市徐汇中学、阿里云等十多家单位，覆盖基础教育、高等教育和职业教育等领域。联盟旨在探索创新信息科技与教育改革的结合，重塑和完善教育管理流程，提高教育教学质量，实现教育治理现代化，形成教育数字化改革的新范式。全国教育数字化改革学校联盟成立◎ 捐赠“达摩院古籍数字化系统”适逢华东师范大学七十周年校庆之际，阿里云向华东师范大学捐赠了“达摩院古籍数字化系统”。该系统基于达摩院OCR光学字符识别技术，能批量识别百本古籍，并已沉淀覆盖3万多字的古籍字典。此前，该系统以97.5%的准确率完成了对伯克利东亚图书馆20万页古籍的整体识别。该系统将有助于推进高校在中文语言教育、汉字汉语、数字人文方面的研究和人才培养。阿里云智能总裁、达摩院院长张建锋表示，华东师大是教育行业的领军者，联盟成员皆是教育数字化的先行者。各方紧密合作是教育与科技的一次重要结合，希望以科技创新深度助力教育事业发展，为实现教育强国、科技强国做出贡献。备注：来源| 阿里云公众号

腾讯开源项目Angel 近日从LF AI基金会毕业，也是中国首个从LF AI基金会毕业的开源项目。LF AI基金会（Linux Foundation Artificial Intelligence Foundation）是Linux基金会旗下面向AI领域的顶级基金会，这意味着，Angel得到全球技术专家的认可，成为世界最顶级的AI开源项目之一。LF AI基金会执行总监Ibrahim Haddad表示：“在Angel从孵化到毕业的过程中，我们能看到Angel在新功能完善和应用场景落地方面惊人的速度。随着3.0版本的发布，Angel在功能、适用性和对社区的贡献等都有了非常优秀的表现。这也是整个AI开源社区在走向成熟并具备工业级生产能力的方向上迈出了一大步。”Angel是腾讯的首个AI开源项目，于 2016 年底推出、2017年开源。作为面向机器学习的第三代高性能计算平台，Angel致力于解决稀疏数据大模型训练以及大规模图数据分析问题。腾讯在2018年成为LF AI基金会的创始白金会员之一，并于同年向基金会贡献了开源项目Angel。腾讯云副总裁、腾讯数据平台部总经理蒋杰表示：“毕业是Angel新的开始，未来我们将进一步开放Angel在图计算和联邦学习领域的核心能力。”据LF AI 基金会董事、腾讯AI专家肖涵介绍，LF AI基金会对开源项目的毕业流程有非常严格的规定，基于项目的技术含量、开源生态、社区互动等维度，严格评估项目的成熟度，最终由董事会投票决定能否准予毕业。能够从LF AI毕业，意味着项目已经得到全球技术专家的认可，成为最顶级的AI开源项目。Angel在基金会的孵化过程中获得了快速发展，并完成了从2.0版本到3.0版本的跨越，从一个单纯的模型训练系统进化成包含从自动特征工程到模型服务的全栈机器学习平台。LFAI & Angel腾讯首个AI开源项目Angel：重点研发图机器学习Angel的特征工程模块基于Spark开发，增强了Spark的特征选择功能，同时使用特征交叉和重索引实现了自动特征生成。这些组件可以无缝地整合进Spark的流水线。为了让整个系统更加的智能，Angel 3.0新增了超参数调节的功能。在模型服务方面，Angel 3.0提供了一个跨平台的组件Angel Serving，不仅可以满足Angel自身的需求，还可以为其他平台提供模型服务。在生态方面，Angel也尝试将参数服务器（PS）能力共享给其他的计算平台，目前已经完成了Spark On Angel和PyTorch On Angel两个平台的建设。图计算体系架构在3.0版本中，Angel重点研发了图机器学习功能，包括图表示和图神经网络学习模型，同时提供预处理、图挖掘等端到端数据处理能力，具有丰富的算法库，提供了同构图、异构图多种图计算范式和不同种类的图算法。经过腾讯内部业务的大规模实践，Angel在图算法性能上同样表现出众，例如十亿节点、千亿边规模的图结构，运行算法时能以Spark GraphX三分之一的计算资源，达到十倍处理性能。 图计算性能对比除了技术功能上的完善，Angel在社区生态上也日趋成熟。据了解，在全行业Angel拥有超过 100家公司和机构用户，其中包括微博、华为、微众银行、小米、滴滴等大型互联网企业。基于Angel构建的一站式机器学习应用平台智能钛TI，支持了包括微信支付、腾讯广告、微视等在内的诸多腾讯内部产品，同时也通过腾讯云对外开放为更多行业企业提供服务。截止目前，Angel在GitHub上已经获得了5500 Star，1400 Fork，在技术、应用、生态等方面的优秀表现均得到了开源社区的认可。此前在腾讯2019 Techo开发者大会上，蒋杰还宣布了资源管理平台核心TKE和分布式数据库TBase的正式开源。腾讯正在成为大数据领域开源最全面的公司。Angel 3.0：全栈机器学习平台 Angel是腾讯开源的大规模分布式机器学习平台，专注于稀疏数据高维模型的训练。目前Angel是Linux深度学习基金会孵化项目，相比于TensorFlow,PyTorch和Spark等业界同类平台，她有如下特点：Angel是一个基于Parameter Server（PS）理念开发的高性能分布式机器学习平台，它具有灵活的可定制函数PS Function（PSF），可以将部分计算下推至PS端。PS架构良好的横向扩展能力让Angel能高效处理千亿级别的模型。Angel具有专门为处理高维稀疏特征特别优化的数学库，性能可达breeze数学库的10倍以上。Angel的PS和内置的算法内核均构建在该数学库之上。Angel擅长推荐模型和图网络模型相关领域（如社交网络分析）。图1是Angel和几个业界主流平台在稀疏数据，模型维度，性能表现，深度模型和生态建设几个维度的对比。Tensorflow和PyTouch在深度学习领域和生态建设方面优势明显，但在稀疏数据和高维模型方面的处理能力相对不足，而Angel正好与它们形成互补，3.0版本推出的PyTorch On Angel尝试将PyTorch和Angel的优势结合在一起。图1 Angel与业界主流平台的对比Angel系统架构Angel 3.0系统架构如图2所示。 图2 Angel 3.0架构 Angel自研的高性能数学库是整个系统的基础，Angel的PS功能和内置的算法内核均是在这个数学库基础之上实现的。Angel PS提供了高效，稳定和灵活的参数存储和交换服务。在3.0版本中，我们对Angel PS功能进行了扩展，使得它可以存储任意类型的对象，一个典型的例子是在图算法的实现过程中，我们使用Angel PS来存储了大量复杂的对象。MLcore是Angel自研的一套算法内核，它支持自动求导，可以使用JSON配置文件定义和运行算法。除此之外，在3.0版本中，Angel还集成了PyTorch作为计算引擎。在计算引擎层之上是计算框架，它们可以看作计算引擎的容器，目前支持3种计算框架：原生的Angel，Spark On Angel（SONA）和PyTorch On Angel（PyTONA），这些计算框架可以使得Spark和PyTorch用户可以无缝切换到Angel平台。最上层是两个公共组件：AutoML和模型服务。Angel开源图5 GitHub上Angel的统计信息以及Angel发表的论文 从2017年6月开源以来，Angel受到了较多的关注，目前在GitHub上Star数超过4200，Fork数超过1000。Angel项目目前总共有38为代码贡献者，其他包括8位committer，他们总共提交了超过2000个commit。 从1.0到3.0，Angel发生了巨大的变化，它从一个单一的模型训练平台发展到涵盖机器学习各个流程，包含自己生态的通用计算平台，代码量也超过了50万行。为了后续维护和使用的方便，Angel拆分成8个子项目，统一放在Angel-ML目录下（https://github.com/Angel-ML）：angel，PyTorch On Angel，sona，serving，automl，mlcore，math2和format，这些子项目会在下文详细介绍。 Angel 3.0新特性图6 Angel 3.0概览（红色的表示新增特性，白色的表示已有的但在持续改进的特性） 图6提供了一个Angel 3.0特性的整体视图。Angel 3.0试图打造一个全栈的机器学习平台，它的功能特性涵盖了机器学习的各个阶段：特征工程，模型训练，超参数调节和模型服务。 自动特征工程特征工程，例如特征交叉和选择，对于工业界的机器学习应用具有重要意义。Spark提供了一些特征选择算子，但是仍有一些局限性。Angel基于Spark提供了更多的特征选择算子：基于统计的运算符，包括VarianceSelector和FtestSelector基于模型的运算符，包括LassoSelector和RandomForestSelector 大多数在线推荐系统经常选择线性算法，例如逻辑回归作为机器学习模型，但逻辑回归需要复杂的特征工程才能实现较高的精度，这使得自动特征合成至关重要。但是，现有的自动化的高阶特征合成方法带来了维度灾难。为了解决这个问题，Angel实现了一种迭代生成高阶合成特征的方法。每次迭代由两个阶段组成：扩增阶段：任意特征的笛卡尔积缩约阶段：特征选择和特征重索引 以下是迭代步骤：首先任意的输入特征之间通过笛卡尔积生成合成特征。该步骤后，特征数量将以二次方式增加接下来，从合成特征中选择最重要的特征子集（使用例如VarianceSelector和RandomForestSelector）然后，重新索引所选择的特征以减少特征空间最后，合成特征与原始特征拼接在一起 图7自动特征工程流程 如图7所示，这种特征合成方法线性地增加特征数量，避免了维度灾难。在Higgs数据集上的实验表明合成的特征能有效地提高模型精度（如表1所示）。LRFMOursAUC0.680.690.70表 1特征合成效果 Spark On Angel (SONA)在Angel 3.0中，我们对Spark On Angel做了大幅度的优化，添加了下面这些新的特性：Spark On Angel中集成了特征工程。在集成的过程中并不是简单地借用Spark的特征工程，我们为所有的运算支持了长整型索引的向量使其能够训练高维稀疏模型与自动调参无缝连接Spark用户能够通过Spark-fashion API毫不费力的将Spark转换成Angel支持两种新的数据格式：LibFFM 和Dummy图8 Spark On Angel架构除了这些大的特征，我们也在持续完善Spark On Angel的算法库：添加了一些新的算法，如：Deep & Cross Network (DCN) 和 Attention Factorization Machines (AFM)等；同时对已有的算法做了大量的优化，例如对LINE和K-Core算法进行了重构，重构后的算法性能和稳定性都有大幅度提升。从图9中可以看出，Spark On Angel中的算法与Spark中的算法存在显著的不同，如：基于Spark On Angel的算法主要是针对推荐和图领域，然而Spark中的算法更通用。图9 Spark与Spark On Angel算法比较图10 Spark On Angel算法示例 图10提供了一个基于Spark On Angel的分布式算法示例，主要包含以下步骤：在程序开始时启动参数服务器，程序结束时关闭参数服务器将训练集和测试集以Spark DataFrame形式加载定义一个Angel模型并以Spark的参数设置方式为其设置参数。在这个示例中，算法是一个通过JSON定义的计算图使用“fit”方法来训练模型使用“evaluate”方法来评估已训练的模型 在训练完成后，Spark On Angel将会展示多种模型指标，如：准确率, ROC 曲线, AUC等。用户可以保存训练好的模型以便下次使用。 图11 Spark On Angel和TensorFlow性能比较 我们在两种流行的推荐算法Deep & Wide 和 DeepFM上使用了相同的资源和数据集比较了Spark On Angel和Tensorflow的性能。如图11所示，在Deep & Wide算法上Spark On Angel比Tensorflow快3倍，而在DeepFM算法上Tensorflow运行稍快一些。PyTorch On Angel（PyTONA）PyTorch On Angel是Angel 3.0新增的特性，它主要是为了解决大规模图表示学习和深度学习模型训练问题。在过去几年时间，图卷积神经网络（GNN）快速发展，一系列的研究论文以及相关的算法问世：例如GCN，GraphSAGE和GAT等，研究和测试结果表明，它们能够比传统图表示学习更好的抽取图特征。腾讯拥有庞大的社交网络（QQ和微信），同时拥有大量对图数据进行分析的需求，而图表示学习正是这些分析的基础，因此腾讯内部对GNN有着强烈的需求，这也是我们开发PyTorch On Angel的主要原因之一。大规模图的表示学习面临着两个主要的挑战：第一个挑战来自于超大规模图结构的存储以及访问，这要求系统不仅能存得下，还需要提供高效的访问接口，例如需要提供高效的访问任意节点的两跳邻居的接口；第二个挑战来自于GNN计算过程，它需要有高效的自动求导模块。通过对Angel自身状况以及对业界已有系统的分析，我们得到如下结论：TensorFlow和PyTorch拥有高效的自动求导模块，但是它们不擅长处理高维度模型和稀疏数据Angel擅长处理高维度模型和稀疏数据，虽然Angel自研的计算图框架（MLcore）也可以自动求导，但是在效率和功能完整性上却不及TensorFlow和PyTorch，无法满足GNN的要求 为了将两者的优势结合起来，我们基于Angel PS开发了PyTorch On Angel平台，基本思路是使用Angel PS来存储大模型，使用Spark来作为PyTorch的分布式调度平台，也就是在在Spark的Executor中调用PyTorch来完成计算。PyTorch On Angel的架构如图12所示：图12 PyTorch On Angel系统架构 PyTorch On Angel拥有3个主要的组件：Angel PS：存储模型参数，图结构信息和节点特征等，并且提供模型参数和图相关数据结构的访问接口，例如需要提供两跳邻接访问接口Spark Driver：中央控制节点，负责计算任务的调度和一些全局的控制功能，例如发起创建矩阵，初始化模型，保存模型，写checkpoint以及恢复模型命令Spark Worker：读取计算数据，同时从PS上拉取模型参数和网络结构等信息，然后将这些训练数据参数和网络结构传给PyTorch，PyTorch负责具体的计算并且返回梯度，最后Spark Worker将梯度推送到PS更新模型 当然，这些细节都是封装好的，算法开发人员和用户并不需要了解。在PyTorch On Angel平台上开发新算法，只需要关注算法逻辑即可，与开发单机的PyTorch算法并没有太大区别。下面给出一个2层GCN算法的实现例子：图13 在PyTorch On Angel上实现GCN的例子算法开发完成后，将代码保存为pt文件，然后将pt文件提交给PyTorch On Angel平台就可以实现分布式训练了。我们已经在PyTorch On Angel上实现了许多算法：包括推荐领域常见的算法（FM，DeepFM，Wide & Deep，xDeepFM，AttentionFM， DCN和PNN等）和GNN算法（GCN和GraphSAGE）。在后续的版本迭代中，我们将会进一步丰富PyTorch On Angel的算法库。由于结合了PyTorch和Angel的优点，PyTorch On Angel在算法性能方面有很大的优势：对于推荐领域常见的深度学习算法，性能可以达到TensorFlow的4倍以上；对于GNN算法，性能也远好于目前业界开源的同类型平台（具体的性能数据会在开源社区陆续公开）。下图是在公开的数据集criteo kaggle2014(4500万训练样本，100w特征)上做的对比测试：图14 PyTorch On Angel和TensorFlow性能对比测试 除了性能方面的优势，PyTorch On Angel还有一个比较大的优势就是易用性好。如图12所示：PyTorch运行在Spark的Executor中，可以实现Spark图数据预处理和PyTorch模型训练的无缝对接，在一个程序中完成整个计算过程。 自动超参数调节传统超参数调节的方式有两种（如图15所示）：网格搜索：网格搜索将整个搜索空间切分为网格，假设超参数是同等重要的。这种方式虽然直观，但有两个明显的缺点：1）计算代价随参数数量的增长而呈指数增长；2）超参数的重要程度常常是不同的，网格搜索可能会花费太多精力来优化不太重要的超参数随机搜索：随机采样超参数组合，并评估抽样组合。虽然这种方法有可能关注更重要的超参数，但是仍无法保证找到最佳组合图15 网格搜索和随机搜索 贝叶斯优化与传统的无模型方法不同，使用计算成本较低的代理函数（surrogate function）来近似原始目标函数。在贝叶斯优化中，代理函数生成超参数组合的概率均值和方差。然后，效用函数（acquisition function）将评估超参数组合的预期损失或改进。这样的概率解释方法使贝叶斯优化能够使用少得多的开销找到目标函数的较优解。Angel 3.0包括传统的两种方法和贝叶斯算法优化。对贝叶斯优化，Angel实现了以下的功能：代理函数。除了常用的两种模型（高斯过程和随机森林），也实现了EM + LBFGS优化高斯过程内核函数中的超参数效用函数：实现了PI（Probability of improvement），EI（Expected Improvement）和UCB（Upper Confidence Bound） 由于每次评估目标函数的计算开销可能较大，如果观察到候选的超参数组合在开始的若干轮迭代中表现不佳，可以提前停止这些候选超参数组合。Angel 3.0版本中实现了这种早停策略。表2是在逻辑回归算法的实验，调节的超参数是学习速度和学习速度衰减率，结果显示贝叶斯优化的性能优于随机搜索和网格搜索，而随机搜索的结果略优于网格搜索RandomGridGPAUC0.9260.9240.933表 2不同超参数自动条件方法的效果对比 Angel Serving为了满足在生产环境中高效地进行模型服务的需求，我们在Angel 3.0中实现了Angel Serving子系统，它是一个可拓展性强、高性能的机器学习模型服务系统，是全栈式机器学习平台Angel的上层服务入口，使Angel生态能够形成闭环。图16展示了Angel Serving的架构设计。图16 Angel Serving架构 Angel Serving主要特征包括：1）支持多种类型的API访问服务，包括gRPC和Restful 接口；2）Angel Serving是一个通用的机器学习服务框架，可插拔机制设计使得来自其他第三方机器学习平台的模型可以很容易使用Angel Serving来服务，目前已经支持三种平台的模型：Angel，PyTorch和支持PMML模型格式的平台（Spark、XGBoost等）；3）受TensorFlow Serving的启发，Angel Serving还提供细粒度版本控制策略：包括使用模型的最早，最新以及指定版本进行服务；4）Angel Serving还提供丰富的的模型服务监控指标，包括：QPS: 每秒请求数总的请求数以及成功请求总数请求的响应时间分布平均响应时间 Angel ServingTensorFlow Serving总耗时(s)5659最小响应时间(ms)11平均响应时间(ms)2299% 分位响应时间(ms)23QPS19001800表3 Angel Serving和Tensorflow Serving性能对比            表3展示了Angel Serving和TensorFlow Serving性能对比结果，我们使用具有100万个特征的DeepFM模型，向服务发送100,000个预测请求。Angel Serving和TensorFlow Serving的总耗时分别为56秒和59秒。两个服务系统的平均响应时间都为2毫秒。Angel Serving的QPS是1,900，而TensorFlow Serving的QPS是1,800。上述结果表明Angel Serving与TensorFlow Serving性能相当，甚至更好。小结本文主要介绍了Angel在腾讯内外的使用情况和3.0版本的新特性。Angel在腾讯内外的使用情况：腾讯内部：用户数和任务数增加1.5倍腾讯外部：超过100多家公司和机构使用Angel开源贡献：4200多个star, 8个子项目，1100多个fork，2000多次commits Angel 3.0新特性：自动特征工程：新增特征选择和组合方法，将特征合成、选择和重新索引以pipeline的形式呈现，用来迭代生成高阶合成特征新的计算引擎：SONA(加强):特征工程支持索引为Long类型的向量；所有的算法被封装成Spark风格的APIs；SONA上的算法可以作为Spark的补充PyTONA(新）：PyTONA作为图学习算法的引擎被引入，目前支持GCN和GraphSage，同时也支持推荐领域的算法。PyTONA采用Python作为交互，因此是用户友好的自动机器学习:Angel3.0引入了3种超参数调节算法：网格搜索、随机搜索和贝叶斯优化Angel模型服务：Angel提供一个跨平台的模型服务框架，支持Angel、PyTorch和Spark的模型，性能上与TensorFlow Serving相当支持Kubernetes:Angel3.0支持Kubernetes，从而可以在云上运行Angel开源项目地址：https://github.com/Angel-ML/angel

关于CCKS✦CCKS（China Conference on Knowledge Graph and Semantic Computing，全国知识图谱与语义计算大会）是国内知识图谱、语义技术、链接数据等领域的核心学术会议，聚集了知识表示、自然语言理解、知识获取、智能问答、链接数据、图数据库、图计算、自动推理等相关技术领域的专家、实践者和研究人员。CCKS每年举办的评测竞赛都会吸引大量的研究人员参加，2021的CCKS共发布了14个评测任务，为历年之最，更是创纪录地吸引了上万人报名参赛，可谓是盛况空前，让我们一起来康康天池数据集开放的CCKS数据集吧～萌喵按照应用领域为大家整理如下行业数据集，希望对大家有用。地址领域通讯地址广泛存在于物流、政府登记、金融、交通等领域。对通讯地址的分析、聚合服务已经是一项互联网重要基础服务，支撑着诸多应用场景，比如地图搜索、物流分析等。阿里达摩院机器智能技术团队在CCKS2021大会发布的地址评测共包括两个数据集任务，分别是: “中文地址要素解析任务”和“地址文本相关性匹配任务”。本次开放的大规模标注语料是国内首个地址交通领域的标准数据集。数据集的推出一方面解决了中文地址领域缺乏标准评测数据集的现状，另一方面也希望推动地址分析技术的进步。注：本次开放的标注数据集语料均源于公开的地址信息（如黄页网站等）1. 中文地址要素解析数据集研究方向：命名实体识别（NER）、信息抽取地址要素解析是将地址文本拆分成独立语义的要素，并对这些要素进行类型识别的过程。中文地址要素解析任务的目标即将一条地址分解为几个部分的详细标签，举个栗子：数据集更多详情/下载数据集请戳：https://tianchi.aliyun.com/dataset/dataDetail?dataId=1093392. 中文地址相关性数据集研究方向：语义相似度、地址相关性地址文本相关性主要是衡量地址间的相似程度，在现实世界中存在着广泛的应用场景，如：基于地理信息搜索的地理位置服务、对于突发事件位置信息的快速搜索定位、不同地址信息系统的对齐等等，具有很大的社会价值和商业价值。示例如下：数据集更多详情/下载数据集请戳：https://tianchi.aliyun.com/dataset/dataDetail?dataId=110146金融领域事件（event）是知识图谱的重要组成部分，事件抽取是进行图谱推理、事件分析的必要过程。蚂蚁集团和中科院自动化所在CCKS2021大会发布的金融事件抽取评测任务包含2个数据集任务：“篇章级事件元素抽取任务”和“篇章级事件因果关系抽取任务”。注：数据集的文本语料来自于互联网上的公开新闻、报告。1. 金融领域事件因果关系抽取数据集研究方向：事件因果关系抽取    该数据集任务旨在从文本中抽取具有因果关系的两个事件：原因事件和结果事件，并通过事件的四要素（事件类型、影响地域、行业、产品）来表示原因事件和结果事件。举例如下：数据集更多详情/下载数据集请戳：https://tianchi.aliyun.com/dataset/dataDetail?dataId=1109012. 金融领域篇章级事件元素抽取数据集研究方向：事件元素抽取事件通常用“事件类型”和“事件要素”来表示，该数据集任务旨在从给定的长文本中抽取出事件的13个要素（要素的定义详见数据集链接）。示例如下：数据集更多详情/下载数据集请戳：https://tianchi.aliyun.com/dataset/dataDetail?dataId=110904保险领域保险领域低资源文档信息抽取数据集研究方向：结构化信息抽取使用信息抽取技术从文档中挖掘大规模图谱知识已经成为了一个研究热点，然而当前信息抽取任务多关注于从无结构化文本中抽取知识，忽略了文档中丰富的格式信息。同时，在真实的业务场景下，文档级信息抽取标注数据的获取成本十分高昂，现有信息抽取方法在少量标注样本下的表现性能不佳，已经成为行业知识图谱规模化应用的主要瓶颈之一。阿里巴巴小蜜团队和中国人寿在CCKS2021上组织的面向保险领域低资源文档信息抽取数据集就是在这样背景下产生的，希望助力中文文档信息抽取技术的发展。该数据集面向真实业务场景下的商业文档理解需求，提供保险领域的少量标注数据和大量无标注数据，示例如下：数据集更多详情/下载数据集请戳：https://tianchi.aliyun.com/dataset/dataDetail?dataId=110099电信领域运营商知识图谱推理问答数据集研究方向：KBQA当前知识图谱问答系统在简单句（单实体单属性）上已经取得比较好的效果，而在约束句：条件约束句、时间约束句，以及推理型问句：比较句、最值句、是否型问句以及问句中带有交集、并集和取反的问句等，其逻辑推理能力还有待提升。阿里巴巴小蜜团队与中移在线服务有限公司在CCKS2021上组织的运营商知识图谱推理问答数据集就是在这样背景下产生的，目标是促进复杂约束下KBQA技术的研究。以电信运营商场景为例，比如：“不含彩铃的套餐有哪些？”、“支持长途漫游，价格低于100元的套餐有哪些？”、“神州行B套餐是5G套餐吗”等，这类需要推理的查询目前的问答系统难以回答。输入样例：q1: 流量日包的开通方式？q2: 不含彩铃的套餐有哪些？输出样例：a1: “KTLLRB”a2: “流量月包|流量年包”数据集更多详情/下载数据集请戳：https://tianchi.aliyun.com/dataset/dataDetail?dataId=109340

在共同推进国产化生态发展的进程下，墨天轮正式推出“国产数据库沙龙”系列直播活动，在12月9日举办的第二期“图数据库专场”活动中，阿里云数据库高级产品专家杨哲超分享了《阿里云图数据库GDB：帮助业务升维思考、智能决策》主题演讲，本文为整理内容。导读无论是学术界还是产业界，都对图数据库有比较高的预期。Gartner发布的《2021年十大数据和分析技术趋势》中提到：“到2025年图技术在数据和分析创新中的占比将从2021年的10%上升到80%。”今天我想与各位分享三点思考：我们为什么要用图数据库，它究竟能够解决哪些问题？以及在图数据库的选择上，有哪些可以考虑的空间和范围？业务价值1、为什么要用图数据库？首先我想从业务价值方向来说明为什么要用“图数据库”。随着互联网时代的快速发展，企业的数据呈现爆发式的增长，数据之间的关联也越来越复杂，图数据库应运而生。最重要的是如何运用技术方式帮助业务发挥辅助的决策作用，从而运用到新冠疫情、社交推荐、信用卡交易反欺诈等场景中。技术创新与产业应用，遵循着双螺旋上升的发展趋势，促使图技术到达了爆发式增长的边缘。从技术角度出发，图数据库的运用是针对解决数据的高度关联带来的严重的随机访问问题；从业务角度出发，图的价值在融合数据、技术、于打破生态位屏蔽产生高维认知。2、图数据库与知识图谱在了解图数据库时，我们不得不提到“知识图谱”这个概念。计算机在智能发展路径上，遵循着从数据-信息-知识-智慧的演进过程，知识图谱是其中认知智能发展的基础，而图数据库是承载知识图谱的最佳底座，帮助我们实现智能决策。应用场景图数据库目前已经应用在金融、社交、互联网等领域，这个部分我会更多分享阿里巴巴的图数据库的应用场景，希望与各位更多探讨如何利用图帮助客户解决问题。1、在社交关系中的应用以社交关系为例，图技术在好友查询中仅需要几毫秒的时间，它将好友定义成节点，将好友与好友之间的关系定义成边，图数据库这样以“点、边”的查询方式，速度远远快于关系型数据库。不仅是好友查询，在“初始用户推荐、好友精细推荐、点赞查询、关联话题推荐”等场景中都能运用图来建模。2、在智能营销中的应用图神经网络等图技术已经是阿里巴巴智能营销中必不可少的组件。接下来我将分享两个在智能营销中的图技术应用。第一个是One-ID，它的核心思路是借助联通子图等图算法，将不同数据源的多个实体实际代表的是同一个真实实体进行合并，从而识别到不同行为路径的ID隶属于同一个用户。第二个是智能营销。它的本质是是协同过滤算法思想为核心，通过计算共同邻居数进行相似节点推荐。3、在欺诈检测中的应用同时图技术还运用在金融领域中，实现信用卡欺诈检测。4、在保险欺诈检测中的应用与此同时，图技术也在保险反欺诈中发挥了作用。在某头部保险公司的案例中，运用图技术的测算，使得关联查询性能是原有保险反欺诈方案的10-100倍。产品介绍1、GDB为企业提供一站式智能决策方案为了帮助企业更好地解决业务问题进行智能决策，阿里云GDB从“知识存储”到“推理分析”，为企业提供了一站式智能决策方案。今天，制约图数据库技术发展的主要因素，与其背后关联数据的齐备程度、人才储备都相关，但我认为，更为重要的是图查询思想。我们知道，关系型数据库是通过统计学思想为指导核心，而今天传统图数据库还停留在让用户“探索数据”的阶段。在第一部分谈到了知识图谱与图技术之间的关系。那么在知识图谱技术在解决智能决策的问题过程中，包含着四个重要的环节：知识构建、知识存储、推理分析、可视化展示。在知识存储的环节中，我们需要将提取出来的信息进行有效存储与管理，以及使用时能够快速筛选及查询。最为复杂环节是推理分析，如何在相互关联的信息中抽取并推理分析出高度有价值的信息，最后要在数据分析推理后如何进行可视化展示。这其中知识存储产品化程度最高，推理分析价值潜力最大。2、GDB是阿里云自主研发的图数据库引擎作为阿里云自主研发的图数据库引擎，GDB拥有以下三个独特的优势：兼容并包，集多种图查询语言于一身快速弹性、高可用、易运维、尽享云原生技术惠普低构建成本、灵活计费、满足不同成本需求3、国内唯一进入Forrest Wave评测报告的图数据库产品Forrest Wave在2020年底公布了一次评测报告，在全球中遴选了十余款图数据库产品进行评审，其中阿里云GDB是国内唯一进入评测报告中的图数据库产品，同时在高可用于灾难恢复评测项目中取得了最高的成绩。4、GDB内嵌常用图计算算法GDB内嵌常用图计算算法，其中包含路径、社区分析、中心度、统计、相似度等不同类别，能够通过内嵌图计算函数结合开元DSL查询语句，实现主流图计算算子。5、查询性能超越友商产品以下是客户所做的测评，将Neo4j与GDB进行性能测试对比。6、Graph + AI，从数据升维到规律总结图数据库要解决的问题是将大规模，多元异构的数据有效连接起来之后产生高维决策。不同于关系型数据库，图数据库背后目前没有指导进行决策的思想与规则，也是导致图数据库技术至今没有被大规模应用的核心原因。图的意义在于信息升维，因此我们将图技术与自动机器学习结合，使用机器学习算法，探寻数据规律并找到最佳分析路径，实现数据升维到规律总结。7、降低模型研发周期通过GDB自动学习机器的任务，可以实现在不写任何代码的情况下，去帮助开发选取业务模型、实现模型调优，从而形成相应的超级模型。以此帮助客户进行辅助判断，降低模型研发周期。8、基于知识图谱的智能搜索推荐我们将阿里内部的电商推荐算法结合业务经验策略打包封装，形成了基于知识图谱的智能搜索推荐方案，帮助客户在几分钟之内构建自己的搜索引擎和推荐引擎，激活业务增长潜力。该产品即将在公有云发布，目前正在封闭邀测阶段，有兴趣的同学欢迎联络咨询。以上就是我今天分享的内容，谢谢大家！更多精彩内容，欢迎大家观看现场视频回放与会议资料视频回放：https://www.modb.pro/video/5666PPT资料：https://www.modb.pro/doc/52165

作者 | 关涛编辑 | 蔡芳芳2021 年，大数据领域发展到哪一阶段？2021 年是大数据发展的第 21 个年头（从 Google 开始构建大数据平台做搜索业务算起）。针对一个技术领域的发展趋势，参照 Gartner Hype Cycle 来描述会更加直观。（图：Gartner Hype Cycle mode / Reference: Hype Cycle for Data Management 2021）Gartner Hype Cycle 把整个发展周期分成 5 个部分，第一个部分叫做“技术的创新期”，在这个点上技术开始兴起，可能只是一个纯粹的小众技术；然后是“技术的狂热期”，每个人都在讨论，很多企业会开始投资；经历了第二个阶段的发展之后，会进入到“技术的冷静期”，大家开始审慎思考，也许这是很酷的技术，但是不是真的有产品和业务价值？很多技术其实在这个阶段之后就衰败了，因为大家可能觉得它并没有太多的用处，或者很难形成进一步的突破。而有一些技术会走过第三阶段，真正开始进入到“技术的复兴期”，开始有部分技术和产品得到业务认可，形成至少 5% 的 Adoption。这些技术最终会走到所谓的“技术的普惠期”，开始有足够好的产品和业务发展。能走到这个阶段的企业和技术，也从红海竞争中存活下来了，他们开始得到更大的市场份额，并形成好的商业价值。大数据技术体系 1.0 基本建成最近这几年，大家可以看得到很多因数据而生的创业公司逐步进入到 IPO 阶段，并开始成为市场上的业务营收明星。从这个角度看，大数据平台可以认为已经开始进入复兴期和普惠期。很多人会问，既然已经走到了第 4/5 阶段，再往后是不是就意味着消亡了？其实并非如此。从图中可以看到，数据领域中不同技术正处在不同阶段，很多新兴技术（例如湖仓一体、边缘计算、区块链账本）开始自第一阶段诞生，在继续推动领域迭代发展，带来蓬勃的生机。从技术角度看，整个领域进入第 4/5 阶段，意味着技术整体完成了 1.0 的建设。领域内几乎每一个子领域都有相应的技术去匹配，很多领域可能有多个技术同时在发展，然后经过红海竞争之后开始慢慢消亡或胜出。大数据平台领域技术整体完成 1.0 建设，就会开始向 2.0 的方向演进。这个演进过程通常是 1.0 的替代过程，因此要求 2.0 在技术上做到更好的技术分层和更强的专业化。数据平台赛道价值显性化，带来大量投资和创业机会数据普惠化并不是一个新话题，但领域规模和增长情况究竟怎样，一直未有明确的判断（在 Snowflake 上市之前，主流商业数据平台发展情况均被云厂商隐藏在后台）。一年前上市的 Snowflake，将数据平台这个领域的商业价值第一次完整地暴露给公众。其 10 亿美金以上的营收规模、110% 的高增长率和 70% 的高毛利率（与 Tesla 对比，据最新财报，Tesla 的增长率和毛利率分别为 57% 和 30.5%），让公众和投资者第一次通过数据看到数据领域的价值和发展前景。这进而在接下来一年引爆了一轮围绕数据平台领域的投资和创业热潮。2021 年 6 月 25 日，Apache Kafka 商业化公司 Confluent 正式登陆纳斯达克，首日开涨 25%，市值超过 110 亿美元。2021年 8 月 29 日，Apache Iceberg 的创建者 Ryan Blue、Dan Weeks 和 Netflix 数据架构总监 Jason Reid 宣布从风投 a16z 处拿到了 A 轮融资，正式成立围绕 Apache Iceberg 构建新型数据平台的商业公司 Tabular。2021 年 8 月 31 日，大数据初创公司 Databricks 宣布获得 16 亿美元 H 轮融资，最新估值飙升至 380 亿美元，距离上一轮 10 亿美元的 G 轮融资仅仅过去 7 个月时间。2021 年 9 月 20 日，ClickHouse 的创建者 Alexey 正式从 Yandex 独立出来并成立了一个公司：ClickHouse, Inc。同时 ClickHouse 公司获得由 Index Ventures 和 Benchmark 领投的 5000 万美元 A 轮融资，Yandex 也参与其中。2021 年 10 月 12 日，基于开源的 Apache Pulsar 的商业化公司 StreamNative 宣布获得 2300 万美元 A 轮融资。2021 年，Clickhouse、Tebula（Apache Iceberg 背后的商业公司）、Firebolt 以及国内诸多新兴创业公司为这一领域带来了很好的讨论度。2022 年，也许会成为企业级大数据平台 / 服务一个新兴周期的“元年”。客户开始明确分层，带来平台架构的不同取舍处于技术发展不同阶段的客户，对于技术的诉求通常不同，大数据平台技术也不例外。随着领域技术冷静期到来，越来越多企业开始放弃自建平台，转而采购商业化云产品 / 服务，以实现规模灵活和总成本低的目标。笔者在之前多年的工作中，接触 / 支持过很多不同类型的客户，客户大致可以分成如下三类：头部互联网技术公司，以 Top30-50 一线互联网公司为代表。技术栈上，以自建平台为主，且大部分公司采用以开源为基础的自建方式（其中少数 Top10 头部厂商会投资 0 到 1 自研）。中腰部技术公司，其中又可以细分为两类：中腰部互联网公司，这类型公司大多数诞生于云时代（近 8 年），通常处于成长期并聚焦自身业务发展，对基础设施投资有限，同时追求更低的 TCO（包含硬件和人力的总成本），倾向直接采用公共云平台架构并购买 PaaS 服务。（注：这类型客户是 SnowFlake 的典型客户）。有技术能力的非互联网公司，以银行 / 通信等领域企业为主。因监管或者资管要求，通常采用专有云或者混合云模式，企业具备数据开发人员，能够在数据平台上完成数据应用 / 解决方案的开发。这类型客户通常负责关键业务，对平台的企业级能力（包括稳定性、安全性、免运维能力）要求很高。纯甲方应用型客户，以线下大型非技术型企业为主。这类型客户通常没有数据开发和应用建设的经验和团队，对数据类应用的需求多通过与合作伙伴（ISV）合作或者外包方式完成。对技术栈和技术选型通常不敏感，但对稳定性要求很高。客户的分层，必然会带来平台架构设计的不同取舍。从技术架构角度看，第一代大数据技术（以 Hadoop 为基础）基本做到“能用 / 可用”，完成了 0 到 1 的奠基。Snowflake 等新兴产品，开始推动数据平台从“能用 / 可用”向“高效 / 易用”进化（进而让更多不太精通数据技术的人 / 企业能用上数据平台）。2021 年的很多趋势已经预示，2022 年数据平台技术领域注定火热。正值 2021 年末，应 InfoQ 编辑邀约，笔者尝试结合自身经历和经验，总结 2021 的技术热点、领域趋势和面临的挑战。下文部分内容来源于笔者 2021 年 11 月在 ArchSummit 全球架构师峰会（深圳站）2021 主论坛的演讲。**大数据领域仍然处于发展期，部分技术收敛，但新方向和新技术层出不穷。本文内容和个人经历相关，洞察来自个人视角，难免有缺失或者偏颇，同时限于篇幅，也很难面面俱到。仅作抛砖引玉，希望和同业共同探讨。**当下技术架构的五个热点引擎架构的进化，向进一步解耦和池化发展整个大数据领域里有非常多不同的引擎设计。整个引擎的架构，可以分成三种体系：Shared-Nothing（MPP）、Shared-Data、Shared-Everything。目前架构整体在向更解耦和灵活的 Shared-Everything 架构演进。（图：三种大数据体系架构）第一种 Shared-Nothing 架构，是从传统数据库做分布式演化而来，也叫做 MPP 模式。它的优点在于存储计算一体化之后带来很好的性能优化。但因其数据和计算的绑定，会带来扩展性和弹性问题，整体在转向 Shared-Data 架构。第二种 Shared-Data 架构是 MPP 架构的演进，通过计算与存储系统解耦（即存储计算分离），存储完全做成一个独立的池化形态，不仅做到了存储器的分离，还做到存储的共享。它解决了 MPP 架构耦合导致的扩展性问题，因而得到广泛欢迎，Snowflake 是其中的代表。第三种架构叫做 Shared-Everything，这类架构是随着大数据技术兴起的。不仅仅是存储共享，所有的资源都统一共享。通过进一步解耦带来更好的扩展性、灵活性和资源利用效率。Hadoop/Spark、Google BigQuery、阿里云 MaxCompute 等系统都采用了这种架构。面向未来，我们可能会看到独立的分布式内存池（Disaggregated Memory Pool）、分布式 Cache 池等等。面向云原生、云中立的系统架构设计（图：CloudNative Applications，来源：https://www.vamsitalkstech.com/architecture/the-seven-characteristics-of-cloud-native-architectures/）第一点中谈到的资源解耦和存储计算分离其实离不开云技术，因为云技术实现了更好的规模化、弹性扩展性，并以及集约化带来了更低的成本，所以它会全面替代 IDC。因此现在几乎所有数据平台的设计已经不再是面向硬件直接设计的，而且是面向云平台。目前云基础平台的 IaaS 层经过十几年发展，已经逐步标准化和统一化。基本以对象存储、基于 Kubenates+ 容器的资源调度、VPC 云网络为统一标准。因此 IaaS 之上的数据平台可以设计得越来越“云中立”。特别值得一提的是，因为各种原因，很多客户实际还是需要线下自建机房，但当代线下 IDC 的建设其实也会用到云的技术和思想，比如说做分层的解耦，把 IaaS 层的各个层次区分清晰，实际也促进了整个数据平台设计逐步深化并变得更为全面。数据湖与数据仓库技术相互融合：湖仓一体上面谈到的两点主要是从系统架构角度出发，但整个大数据平台的发展实际上还涉及另外一个维度，就是数据组织和管理，这就不得不谈到两个概念，一个叫做数据湖，一个叫做数据仓库。关系型数据仓库在过去几十年一直是主流技术，现在业界大多数企业级产品几乎都是这个形态，比如 AWS 的 RedShift、谷歌的 BigQuery、Snowflake 都是以数据仓库的形态提供服务。同时，以开源 Hadoop 为轴的大数据体系是以数据湖的形态发展起来的，它强调的是存储与计算分离，以及各种组件灵活组合。比如存储系统、资源调度系统、多种不同的计算引擎其实都可以灵活地组合。这两种不同的数据技术和形态在过去十年里一直并行发展，而且两边的发展趋势都不错。有些人会问，开源的技术几乎都更偏向数据湖，然后企业级的付费服务更偏向于数据仓库，背后有什么原因吗？其实是这样的：很多企业级平台面向的是企业级用户，这些用户很多原来是数据库的用户，对数仓系统更熟悉，同时，企业级数据服务的设计更偏向于托管化和更好的数据组织方式，因此数据仓库的体系其实更适合这类场景。而开源体系更偏向灵活组装、偏模块化，更匹配数据湖的技术发展。在过去大概两三年的时间里，这两项技术开始出现非常强的相互融合的趋势，各自吸取对方的长处，进入到湖仓一体这样一个时代，这是当前的第三个技术热点。（图：数据湖与数仓技术优势对比）这里稍微介绍一下两种设计的不同，上图按照 5 个维度对比了数据湖和数据仓库体系。第一个维度是方法论，数据湖其实是一个文件存储系统，用户可以往里面放任何一种文件或者数据，它的一个典型特点是事后建模，它的方法论是用户先把数据放上来，然后再考虑如何使用，也叫做 SchemaOnRead。数据仓库正好相反，它是事前建模的模式，当你在把数据推进数据仓库的时候，要求先 CreateTable/Schema，这是方法论上的不同。在存储的形态上，数据湖存储的是文件，数据仓库存储的是表（具体表如何存储对用户不可见）。数据仓库是面向结构化关系表达设计的，因此面向 AI 这种非结构化数据，存在很大挑战，它几乎不支持音视图类型的数据。而数据湖可以存储所有类型，更灵活更有优势。面向计算引擎，数据湖天然是一种更开放的架构，适配更容易，但是几乎也很难做到非常好的端到端优化。举个例子，当客户把数据上传到数据湖上，可能是一个行存的 Log 文件格式，上层的分析引擎几乎很难跟它做非常好的优化分析（因为非列存、缺乏统计信息和索引的支持）。而数据仓库因为是偏端到端的设计，很难做到开放，但是端到端的优化更容易。从成本层面看，数据湖非常容易上手，它就是个存储系统，你只要把数据放上去就形成了一个数据湖。但随着数据量的增长，运维管理会越来越困难，所以有很多数据湖最终有可能变成数据沼泽（比如，大家也不知道这个数据属于谁，该被谁来用，能不能删掉，应该怎么治理），这是数据湖面临的一个问题。而数据仓库在把数据上传之前要事先建模，而且大多数数据仓库建立之初要有一个有关整体数据模型的顶层设计，所以数据仓库的启动的成本很高。但是这种很好的顶设规划，会使数据仓库在日后扩展时的运维和管理成本变得更低，使得它长线的成本优势变得非常明显。从这个层面看，数据仓库的数据质量高，也容易管理和治理，数据湖相对难一些。从上述五个对比维度去看数据湖和数据仓库，这两个体系可以说是硬币的两个面。现在很多厂商开始考虑怎么在数据湖上应用更多数据仓库技术，反过来数据仓库厂商也希望用数据湖的技术使自己更开放，这两个技术在互相学习和融合，最终催生了一个新的技术热点，也就是湖仓一体。实际上湖仓一体有两个流派，第一个流派是以数仓这种方式诞生的，它是一个左右派，左边是一个数据仓库，右边是一个数据湖，中间以高速网络相连形成一个反对式的联动；第二个流派是从数据湖向数仓演进，整体架构是在数据湖上搭建数据仓库。这两个流派的代表分别是 AWS Redshift/ 阿里云 MaxCompute，以及 Databricks，目前这两个流派都还在发展中。虽然湖仓一体是目前的热点，但它仍然是一个新兴方向，还有非常多未知的问题要解决。AI 成为数据平台的一等公民大数据平台的发展在很长一段时间几乎都是以分析（BI）为轴的，主流接口是 SQL，侧重结构化的数据和二维关系表达的运算模式。数据来源以历史数据为主，在之上做统计和分析。例如，统计今年圣诞节某电商平台各个厂商总销售额，这其实是一个基于历史信息的统计。但如果我们希望知道：明年同期营收大概是怎样的？数据分析几乎很难回答这个问题，它需要机器学习算法做一个向前的预测。所以从这个层面看，数据分析和 BI 更侧重于历史数据的总结，而算法 /AI 具备越来越好的面向未来做预测的能力，也能给大家带来更多决策支撑。特别要提的是，非结构化数据的处理过去其实一直是瓶颈，但 10 年前诞生的深度学习技术突破了这样一个瓶颈。所以在过去五年里，算法类负载在数据中心里从一个很低的比例增长到了 10 %-30%。AI 正成为数据平台的一等公民。既然 AI 成为一等公民，面向 AI 的平台设计和优化就开始变得关键。从存储到元数据到计算模式都需要重新思考。从这个层面上说，笔者认为当下技术发展的第四个热点是平台如何更好地支撑 AI。“1+N+1”的系统架构一个数据平台通常包括多个组件，不同的组合会带来多种系统架构形态。经过多年发展，笔者看到很多大厂和云上的客户最终迭代诞生出来了“1+N+1”这样一个系统架构。第一个 1，代表存储和资源的统一。从底层看，统一的存储系统把数据统一在一起，它有可能是数仓，有可能是数据湖，甚至有可能是湖仓一体的。然后再向上是统一调度层，所有的资源统一（很多大厂的混部项目，都是为了统一资源池）。中间的 N 指代的是多种运算引擎和模式，例如批处理、流处理、机器学习、图计算等等，不同的计算引擎共享底层的数据和资源池。最后一个 1，是指统一的接入层和数据开发应用层，这个层次是可选的。有些企业选择统一入口管理的架构，做更好的权限管理等。有些企业和厂商选择不再收敛了，引擎可以被各种团队或者各种用户独立使用。面向未来的四个发展趋势实现从离线到实时的全频谱批处理、流处理、交互分析领域已经基本成熟，最近两年，以 Apache Delta、Hudi 为代表的近实时化技术逐渐兴起，给了用户在数据新鲜度和资源消耗平衡中的一个新选择（更偏重成本）。从批处理、流处理到交互分析，每个系统都有各自的特点，但场景相互交织。用户如果想要搭建一套完整的平台，往往需要自己组合多个系统，这种组合工作给用户带来了额外的挑战。面向未来，新一代数据平台系统需要形成一个从离线到实时的全频谱计算能力，并在 Data Freshness、Resource Costs 和 Query Performance 的不可能三角里边给用户提供多种不同平衡的选择。面向未来的系统应该能够做到一套系统一套数据一套资源，针对上述三个方向的不同平衡点，为用户提供多种选项，实现从离线到实时的全频谱。IoT 类数据处理成为新热点目前大数据系统处理的数据主要来源是人的行为的数据日志。比如说人的浏览记录、用户在手机上对 App 的点击等操作，都会以日志的形式传到系统里，反馈给推荐系统、广告系统。面向未来，随着通信（5G）技术和硬件设备的智能化，大量硬件设备的数据会接入进来，硬件设备的数量慢慢会超过人的数量，这些数据会超过人产生的数据，形成一个更大数据规模、更低数据密度的新数据来源。同时，设备产生的数据特性不同，比如大多数时候设备数据并没有太多意义和价值，只有出问题的时候数据才会产生波动，在这种情况下如何有效收集设备产生的数据，如何处理这种海量的无法全量上云、需要在边端做一定处理的数据，就成了新的需求。为了解决这些问题，云边端协同的计算模式会成为热点，统称 IoT。数据安全、共享与隐私保护的矛盾需要新解法数据本身已经成为一种资产，有非常好的资产变现或产生额外价值的能力和需求。同时数据很可能涉及隐私泄露（前段时间国家发布了数据安全相关的保护法规），这就形成了有关数据安全、隐私保护和数据共享的矛盾。如何在保证数据安全和隐私的情况下，做到更好的数据共享和数据变现成为新热点。数据安全不仅仅是一个权限问题，还涉及很复杂的系统架构，包括权限管理、用户隔离、存储加密、异地备份、敏感数据 / 风险行为的识别等等。数据安全共享这个方向包括两个核心场景：一方数据对外共享，多方数据共同计算。一方数据共享，典型场景是企业自己拥有完整的数据产权，同时又希望通过共享获得价值。目前在主流的云数仓产品里，很多平台都开始提供数据共享方案，比如说 Snowflake 推出的 DataSharing 功能。多方数据共同计算，典型场景是每一方可能都不具备完整数据，但希望跟不同的数据源通过数据求交或共享的形式获得价值，这就是多方的数据交叉计算或者叫联邦计算。这里面包含两项核心技术，一个是基于隐私计算的数据交互，一个是基于联邦学习（Federated Learning）的数据交互。不论是一方域内多租的安全模式，还是跨域多方的安全共享模式，目前都是领域热点。AI for System （DW Automation）随着大数据领域逐步发展和普惠化，主流客户其实都可以做到 PB 级的数据规模，甚至很多客户可以达到百 PB 规模。国内最大的互联网公司，内部数据量均在 EB 级别，作业量在每天百万级别以上。面对这么大的数据规模，传统 DBA 以人为轴的数据管理和优化方式不再胜任。这种复杂的数据组织和优化需要更多基于机器学习、深度学习的自动化技术来完成。比如，通过机器学习自动进行数据分层，依据访问的统计判断什么样的数据更重要、什么样的数据其实不重要，哪些作业可以放在冷存储上，哪些是关键作业需要放在更高优先级的存储上。当作业量达到百万量级时，这些决策应该由机器来自动完成，而不应该由人来完成。这个方向在学术届非常火热，已经有大量研究工作和论文发表（例如，Learned Index、CloudView 自动中间结果统计，Ottertune 参数自动化调优等等）。工业界也有很多这方面的工作在推进，不过主要集中在大厂里面，因为这部分工作需要海量数据支持。目前这个方向整体处在相对早期的阶段，如果我们用自动驾驶类比 AutoDW，现在大多数系统可能都处在 L1 或者 L2 的水平，有些系统能达到初步的 L3，未来还有非常大的发展空间和潜力。三个未解的挑战如上所述，初代大数据体系已经基本建成。同时，在笔者看来，还有很多未解问题摆在从业者面前。疑问 1：引擎多样化，最终是否能诞生一套 OneSizeForAll 引擎满足多样的计算需求，并兼顾通用性和效率？现在大家几乎还是通过拼接不同引擎来搭建自己的计算平台。如果采用开源系统，可能就是 Spark 做批处理、Flink 做流处理、Clickhouse 做交互分析，这是最简单的一套。再复杂一点，可能还要部署 HBase 做 KV 查询，用 ElasticSearch 做文本检索。虽然每个单独产品都已经比较成熟，但整个系统的复杂度非常高。因此很多客户期待能简化架构，用一套 OneSizeForAll 的系统解决多个场景问题，这也是面向从业者的一个关键挑战。疑问 2：基于开源自建与直接选购企业级产品，谁更能获得用户的认可？很多客户都问过笔者这样一个问题：我是应该用开源系统自建一个大数据平台，还是应该去买一个企业级服务？于我而言，这个答案可能需要结合客户分层来看。如前文讲到的，不同层次的客户可能会选择不同产品，开源自建软件几乎都是免费的，但是你可能需要一个独立的团队去支撑这样一个大数据平台的部署和运维，带来了相对较高的维护成本（一个简单的经验公式是，对于百台规模的平台，基于开源软件自建的总 TCO= 物理硬件成本 + 开发和维护人力成本 = 物理硬件成本 *2）。对于头部的互联网技术公司，大多在数据基础设施方面有大量投入且具备较高的技术能力，能够组装和改造好开源产品，形成为自己量身定制的平台。而且他们规模比较大，人力边际成本低。对于很多非头部互联网企业，直接购买 SaaS 化的企业级平台，综合成本反而更低。同时还能享受到更好的性能、安全性、稳定性和兜底能力。但也会面临技术黑盒以及改造的高成本（需要平台厂商来做）问题。Snowflake 作为开箱即用的全托管平台大受欢迎，Databricks 以开源生态为主线也形成了广泛客户群体。“散件组装攒机”VS “直接买笔记本电脑”，最终答案还是在客户手里。疑问 3：关系模型之外，是否会发展出其他主流计算范式？数据库和数仓已经发展了 40 多年，主流的计算范式就是二维关系表达。近 10 年，深度学习带来了一个新的计算方式。那除此以外，还有没有一个更新一代的计算方式会产生？图计算是目前最被看好的方向，它是点边模型，与二维关系表达并不相同。但是数据库技术发展过程中也诞生了图计算模式，并且已经发展多年，但目前仍然不是主流。笔者并不确定，随着图学习 GraphEmbedding 技术的兴起，图计算是否能焕发新生变成一个主流的计算范式。但是我们仍然期待随着大数据体系的发展，能够看到更多计算范式诞生，并进一步推动数据价值发掘。写在最后笔者引用了 19 世纪物理学的一个说法作为开篇的题目。19 世纪末期，物理学界普遍认为物理学的体系几乎已经建成，但头上仍有两朵乌云。事实上那两朵乌云是现代物理学诞生最重要的两个标志，也就是量子力学和相对论，它们标志着经典物理学向现代物理学的演进。笔者用这个题目做完 2021 的总结，也是希望能表达类似的观点：以 Hadoop 为基础的第一代大数据体系架构已基本建成，但是面向未来的更现代的数据平台架构仍有非常多的疑问还没有得到解答。值此年终年初，期待能和所有的读者 / 从业者一起，把大数据平台体系向新一代推进。作者介绍：关涛，分布式系统和数据研发平台专家。2006 年至今，经历了大数据平台技术发展后 15 年，是大数据核心技术最早期的研究和实践者之一。曾任阿里巴巴技术委员会计算平台组负责人，阿里云架构组大数据组负责人，阿里云通用计算平台（MaxCompute/Dataworks）负责人。微软 Azure 云大数据平台研发经理。深度主导 / 参与微软和阿里云大多数核心大数据平台项目的初创和迭代发展。ArchSummit 全球架构师峰会（深圳站）2021 明星讲师和优秀出品人。

在全球化的互联网化趋势，以及全面展开的数字化转型大潮中，网络安全重新站在了风口浪尖。 无可否认，我们今天生活的世界，已经被终端设备和移动互联网包围。我们依赖互联网越多，就面对着更多的安全隐患。但是，移动互联网已经改变了我们的生活，移动办公颠覆了传统工作流程，互联网化正成为企业向互联网转型的方向，既然做不到离互联网更远，就必然要走向更安全。 但遗憾的是，很多人甚至企业并没有意识到今天日益加剧的安全威胁。2017年，互联网脆弱的安全防线，被WannaCry这只“小蝴蝶”轻轻的挥动了一下翅膀就被击穿。 正如周鸿祎所说，“网络遍布全球各个角落、互联网成为人类生存和发展的基础设施，网络攻击以及网络战争已经成为国家、社会、产业甚至人类生命的重要威胁。”他认为，全球的安全时代已经从信息安全时代进入了大安全时代。而这，也是360安全大脑的由来。在11月7日，乌镇的世界互联网大会上，周鸿祎携360“安全大脑”来到世界互联网大会科技成果发布的讲台。如周鸿祎所说，“安全大脑”将成为未来5到10年，解决网络安全问题的一种技术思路或技术方向。 安全大脑的诞生是为了应对大安全时代 诚如周鸿祎所言，如今的网络安全，已经不能孤立的只谈信息安全或者代码安全、设备安全，而是要看到网络安全的边界在变宽，已经延展到从国家安全、国防安全，社会安全、基础设施安全、甚至人身安全。特别是，随着近几年物联网、工业互联网、车联网的发展，带来便利生活的同时，这些网络技术把物理世界和虚拟的网络空间联到了一起，使得所有在网络空间里的攻击都可以造成物理的伤害。 所以，网络安全应该首先上升到国家战略层面，比如英国就已经成立了国家层面抵御网络攻击的网络安全中心，印度将网络安全视为国家战略，同时日本也在7月份推出了国家网络安全战略。可见，在中央要求加强网络强国建设的同时，网络安全的确应该成为国家级的战略。 其次，网络安全应该有全局性的安全观。以企业安全建设为例，在信息化时代，企业在不同时期采购了大量不同的安全产品和服务，这些分散的孤岛，实际上为网络安全埋下很多的隐患，应该从最初就建立起全局的安全观。 第三是主动式的安全防御，因为网络环境变得越来越复杂。周鸿祎说，“唯一可以当攻击发生的时候进行感知和溯源的技术就是靠网络安全大数据，对网络行为和网络的数据进行记录，然后从这些浩如烟海的数据终进行分析和挖掘，快速的发现高级威胁。”可见，主动式的安全防御必须建立在大数据的基础上，并利用人工智能的技术去提升大数据的处理能力。 这些网络安全的趋势，就自然而然的形成了安全大脑的理念。360这家公司如周鸿祎的性格一样，从不屑玩弄概念，安全大脑和当下各式各样的大脑不同，它首先拓宽了网络防御的边界，其次利用了人工智能和大数据的核心技术，最后站在了整体安全的全局视角提出了解决方案。所以，安全大脑本身就是对应大安全时代所诞生的。 安全大脑终将服务于整个行业 360是在今年5月第二届世界智能大会上正式发布的安全大脑，简单地说，“安全大脑”就是大数据加人工智能，是一个具有感知能力、学习能力、推理能力、预测能力和决策能力的分布式智能安全系统。 与其把安全大脑理解为一个解决方案，不如把他理解为一个平台或是一种生态。360之所以会推出安全大脑是出于两个主要的原因。 在外因上，现在的APT攻击针对性越来越强，安全问题已经涉及到国防安全、城市安全、社会安全和金融安全等等一系列问题，这导致传统的安全防护手段很难去适应现在自动化、智能化的网络攻击手段，所以基于这种愈发艰难的大安全态势，360想到了设计安全大脑。 而内因则是360多年沉淀出的全球最完整的安全大数据，10万+台服务器的计算能力，百亿级特征处理能力和千亿级图计算等智能算法支撑。以及360人工智能团队曾在过去八年荣获十次国际冠军/提名奖项积累的安全人才团队，正是在这些技术基础之上360才有了今天的安全大脑。周鸿祎说，“安全大脑生态体系总体架构包括了生态感知系统，中枢神经系统，控制反馈系统，以及保护整个大脑安全的安全免疫系统，由这几个系统构成才形成了整个安全生态。” 实际上，360已经为安全大脑设计了完整的技术体系： 首先安全大脑，利用网络安全大数据，形成全天候、全方位的网络安全态势感知能力，实时监测网络威胁；其次，“安全大脑”拥有强大的关联分析和智能推理能力，能够对复杂网络攻击进行跟踪分析和追踪溯源，并锁定幕后实施的组织和个人，从而震慑敌对分子；第三，可以监测网络空间发生的扫描行为，发现攻击前兆并及时预警；第四，采用了深度学习的人工智能技术，具备超强的“自学习、自进化”能力，能够不断提升安全能力；第五，“安全大脑”还具有强大的漏洞分析和高效挖掘能力，将“安全大脑”和安全专家结合，弥补安全专家的不足，可以实现规模化、自动化的漏洞挖掘。 而除了技术上提供的完整能力之外，360还在积极让技术与场景相结合，正在对行业进行赋能比如与国内汽车企业共同打造的“汽车安全大脑”，再比如360与雄安新区签订战略合作协议，用安全大脑来保证雄安新区建设当中城市网络安全等等。 如周鸿祎所说，“360创建了安全大脑，但是安全大脑并不只属于360，我们还希望能建立一个开放生态，来服务于国家、服务于整个产业。” 移动安全大脑落地，让专业的公司做专业的事 在今年的 ISC2018互联网安全大会期间，360发布的全新产品——主攻移动安全的品牌“天御”和威胁感知平台“问天”。据我了解，这两款产品是建立在安全大脑系统当中，针对移动互联网的关键应用。从它们的行业落地，我们可以从侧面理解安全大脑的现实意义。 三六零天御和三六零问天的产品负责人刘存说，“应用是现在在终端上能实现功能的最小点，所有功能都是靠应用来实现的，所以我们就要抓住这个功能实现的源头也是安全实现的源头，作为切入点。” 以360的客户乐视为例，乐视高级技术总监陈浩表示，“乐视用很高的成本去买视频版权，这些付费视频如果被聚合类APP盗用，成了让别人免费看的视频，不仅损失了收益，还造成了更高的带宽压力和粉丝流失，会产生很大的损失。” 那么，三六零天御针对乐视遭受的行业痛点，定制研发了so文件融合，把加固的so与客户的so合并成一个新的so，有效避免了盗链行为。天御这种“润物细无声”的安全服务，实则已经为很多像乐视这样的视频APP抵御了大量盗链的风险。 再比如蜻蜓FM会有很多付费的内容，这部分资源也是蜻蜓FM在业务发展的过程中，较为重视的部分，蜻蜓FM推广总监王立勇说，“我们签订了很多优质内容，买到许多好版权，如果源代码被破解，就会遭受不小的损失”。 的确，作为移动APP，首先从安全角度考虑就是担心源码泄露，辛辛苦苦投入研发的成果直接被窃取，尤其是Android平台有免费和开源的特点，容易遇到被反编译、恶意篡改、二次打包的风险。那么，三六零天御提供的核心加密技术可以保护应用远离恶意破解、反编译、二次打包，内存抓取等威胁，同时给应用提供数据加密、签名校验、防内存修改、完整性校验、应用安全检测等保护。 客观的说，互联网企业的业务增长速度很快，基本上没有能力在专注业务系统的同时，为安全系统分散精力，这正是360这样的专业安全公司存在的价值：让专业的人做专业的事，让企业可以拜托网络安全的困扰，专注于业务。