【新智元导读】最近，周志华教授和业内多位不同领域的知名学者共同提出了「反绎学习」（abductive learning）范式、流数据在线学习动态遗憾率的最优下界等多个原创理论。并围绕可塑模型学习、可视数据表达和可用知识处理3个关键科学问题，详细论述了在大数据分析方面取得的最新研究进展。
大数据是推动创新型国家建设的重要战略资源，大数据对经济发展、社会治理、国家管理、人民生活都产生了重大影响。然而，目前出版的关于大数据分析的图书大都是基于科普和基础理论的论述，没有涉及核心技术方法和应用平台。由人工智能重要顶尖级学者周志华教授领衔，张敏灵、巫英才、瞿裕忠、姜育刚等业内知名学者共同编写《大数据分析研究进展》。
该书依托国家重点研发计划项目「大数据分析的基础理论和技术方法」的研究成果，论述作者在大数据分析的基础理论与技术方法方面的部分代表工作和取得的最新研究进展。主要包括：大数据机器学习理论与方法，大数据可视分析理论与方法，多源不确定数据挖掘方法与技术，自动深层化知识处理方法与技术，大数据分析平台、标准与应用示范等方面内容。
秉承科学严谨、专业权威的图书编写理念，不同领域的内容均由该领域知名学者撰写。该书为机器学习、可视分析、知识处理、数据挖掘及相关领域的研究人员提供有益参考。
大数据分析
首先给出大数据分析框架（图1），从机器学习、可视分析、知识处理、数据挖掘四个关键内容详细论述大数据分析的基础理论与技术方法。其中，机器学习和可视分析协同支撑，为数据挖掘和知识处理提供必要的支撑技术；数据挖掘和知识处理互促利用。四个方面的技术结合起来，共同加以应用，得到数据价值。
图1 大数据分析框架作者在对整个大数据分析框架梳理后，经过长时间的思考，凝练出三个关键的科学问题：可塑模型学习、可视数据表达和可用知识处理。针对这三个科学问题，梳理出大数据分析研究思路和研究内容（图2）。首先，整个任务包含数据层、知识层和价值层。数据层主要通过机器学习和可视分析支撑原始数据到知识信息的有效凝练，随后知识层通过利用知识处理和数据挖掘来实现领域知识到核心价值的有效转化。从环境、模型、任务三者的角度，大数据环境提供了一个内因驱动，现实任务提供了一个外需牵引，内外相结合确定最终需要得到的分析模型。
图2 大数据研究思路本书围绕上述科学问题详细论述在大数据分析的基础理论与技术方法取得的最新研究进展：在范式方面，提出「反绎学习」（abductive learning）范式（图3），突破了「重推理轻学习」或「轻推理重学习」既有框架，使机器学习与知识推理能够循环互促，其性能优于深度神经网络，甚至超过了人类平均能力。
图3 反绎学习示意图在理论方面，详细阐述了流数据在线学习动态遗憾率的最优下界，建立了面向增强现实可视表达的虚实融合关系理论，发展了面向非独立同分布噪声的自适应误差建模理论、计算资源受约束条件下具备常数级迭代复杂度和线性收敛的随机优化理论。在方法方面，详细阐述了满足最优遗憾下界的在线学习方法、促进大数据沉浸式展现的渲染绘制与直观可视设计方法（图4）、基于可视分析的可解释机器学习，介绍了适用于数据低层表示的在线自适应多度量模型融合方法（图5）、面向不确定标记信息的主动迁移模型、面向多模态的自动知识表征学习方法（图6）、基于图谱存在性约束的复杂问题求解方法。
图4 沉浸式城市数据可视化模型下VR 与MR 环境
图5 自适应局部度量提升（LIFT）框架示意图
图6 多模态实体对齐（MMEA）模型在平台系统方面，介绍基于创新的大数据分析理论、方法与技术，助力科学技术研究的开源系统与工具，面向求解实际问题的标准化大数据分析平台以及相关的基准测试，形成了《信息技术 大数据 大数据系统基本要求》（GB/T 38664－2020）多项国家标准；针对特定行业与社会治理，构建效力社会经济发展的应用示范系统，具体给出两项应用示范：智慧法院深度知识挖掘及精准分案（图7）；面向公共安全的视频目标关联与态势感知（图8）。
图7 基于反绎学习的盗窃案件预测模型框架
图8 基于背景分割的车辆再识别算法流程
