《中国人工智能学会通讯》——11.75 复杂数据融合与高效学习

简介: 本节书摘来自CCAI《中国人工智能学会通讯》一书中的第11章,第11.75节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。

11.75 复杂数据融合与高效学习

在实际应用中,往往存在多种类型的数据,如符号型、数值型、集值型和缺失数据等。粗糙集作为数据建模与规则提取的重要方法之一,已经取得了长足的进步,而其优点在于无需利用先验知识就可以进行知识发现。但是,在面临复杂数据时,往往不能很好地进行数据融合。而且,当复杂数据同时又高维、海量时,与其他建模方法一样,拥有时间消耗过长的缺点,乃至无法处理。为解决此类问题,我们引入了复合关系,提出了复合粗糙集模型[7] 。图 3 给出复合粗糙集模型,可以说,复合关系是多种二元关系的复合,它采用不同的二元关系应对不同的数据类型,如等价关系处理类别型数据、邻域关系处理数值型数据、相容关系处理集值型数据、特性关系处理不完备数据等。进一步地,根据复合二元关系,定义了复合粗糙集中概念近似集的计算方法[7] 。image
我们知道,概念近似集与二元关系的计算是基于粗糙集的属性约简和知识发现方法的核心步骤,高效计算近似集有助于此类技术有效应用于大数据。为解决这个问题,首先提出了复合粗糙集下基于矩阵的概念近似集计算方法。为应对高维、海量数据,又进一步提出基于 GPU 和 Multi-GPU 的并行计算概念近似集的算法。图 4 给出了并行概念近似集计算流程图。首先,我们将论域 U B 切分成若干块,每个子块表示为 ,每个子块可以计算得到二元关系子矩阵 ,根据复合粗糙集定义可以计算得到上近似集子矩阵和下近似集子矩阵并汇总,最终得到上近似集矩阵 和上近似集矩阵 。具体实现中,我们可以用单个 GPU 来并行计算关系子矩阵 和近似集矩阵的子矩阵。进一步地,我们采用多个 GPU 来同时处理多个子块的计算。image
我们在多个高维数据下进行了实验验证,表明基于 Multi-GPU 的并行算法可以获得百倍以上的性能提升。

相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
相关文章
|
机器学习/深度学习 人工智能 算法
普通人怎么学人工智能?这些隐藏学习秘籍大揭秘,生成式人工智能认证(GAI认证)来助力
在人工智能(AI)快速发展的今天,普通人学习AI已成为必然趋势。本文从明确学习目标与路径、利用多元化资源、注重实践应用、关注GAI认证及持续自我提升五个方面,为普通人提供系统化的AI学习指南。通过设定目标、学习编程语言、参与项目实践和获取专业认证,普通人可逐步掌握AI技能,在未来职场中占据优势并开启智能时代新篇章。
1112 11
|
人工智能 算法 安全
深度:善用人工智能推动高等教育学习、教学与治理的深层变革
本文探讨人工智能技术与高等教育深度融合带来的系统性变革,从学习进化、教学革新与治理重构三个维度展开。生成式AI作为技术前沿代表,正通过标准化认证体系(如培生的Generative AI Foundations)提升职场人士、教育者及学生的能力。文章强调批判性思维、高阶认知能力与社交能力的培养,主张教师从经验主导转向数据驱动的教学模式,并提出构建分布式治理结构以适应技术迭代,最终实现人机协同的教育新生态,推动高等教育在智能时代焕发人性光辉。
|
机器学习/深度学习 数据采集 人工智能
深入探索人工智能与大数据的融合之路
本文旨在探讨人工智能(AI)与大数据技术如何相互促进,共同推动现代科技的进步。通过分析两者结合的必要性、挑战以及未来趋势,为读者提供一个全面的视角,理解这一领域内的最新发展动态及其对行业的影响。文章不仅回顾了历史背景,还展望了未来可能带来的变革,并提出了几点建议以促进更高效的技术整合。
|
机器学习/深度学习 人工智能 算法
人机融合智能 | 以人为中心人工智能新理念
本文探讨了“以人为中心的人工智能”(HCAI)理念,强调将人的需求、价值和能力置于AI设计与开发的核心。HCAI旨在确保AI技术服务于人类,增强而非取代人类能力,避免潜在危害。文章分析了AI的双刃剑效应及其社会挑战,并提出了HCAI的设计目标与实施路径,涵盖技术、用户和伦理三大维度。通过系统化方法,HCAI可推动AI的安全与可持续发展,为国内外相关研究提供重要参考。
1002 3
|
机器学习/深度学习 人工智能 自然语言处理
人机融合智能 | 数据与知识双驱动式人工智能
本章系统介绍了数据驱动、知识驱动及双驱动人工智能的理论与应用。数据驱动方法依赖大数据和深度学习,在图像识别、自然语言处理等领域取得突破,但面临标注成本高、可解释性差等问题。知识驱动方法通过知识表示与推理提升系统理解能力,却在泛化性和适应性上受限。为弥补单一范式的不足,数据与知识双驱动融合两者优势,致力于构建更智能、可解释且安全可靠的AI系统,兼顾伦理与隐私保护。文章还回顾了AI发展历程,从早期神经网络到当前大规模语言模型(如GPT、BERT)的技术演进,深入解析了各类机器学习与深度学习模型的核心原理与应用场景,展望未来AI发展的潜力与挑战。
892 0
|
数据采集 机器学习/深度学习 人工智能
数据驱动智能,智能优化数据——大数据与人工智能的双向赋能
数据驱动智能,智能优化数据——大数据与人工智能的双向赋能
812 4
|
数据采集 人工智能 缓存
深挖“全栈智算”之力 中兴通讯开启AI普惠新纪元
深挖“全栈智算”之力 中兴通讯开启AI普惠新纪元
383 1
|
人工智能
云工开物合作动态丨中央美术学院与阿里云签约,推动人工智能和艺术与设计学科融合发展
2024年12月8日,中央美术学院与阿里云在厦门签署合作协议,双方将结合艺术与技术优势,在人工智能与艺术交叉学科的课程共建、学生实践等方面展开合作。阿里云通过“云工开物”计划提供算力资源和PAI ArtLab平台,助力师生高效创作,推动艺术与设计类人才培养新模式的探索。
|
机器学习/深度学习 人工智能 算法
探索人工智能与机器学习的融合之路
在本文中,我们将探讨人工智能(AI)与机器学习(ML)之间的紧密联系以及它们如何共同推动技术革新。我们将深入分析这两种技术的基本概念、发展历程和当前的应用趋势,同时讨论它们面临的挑战和未来的发展方向。通过具体案例研究,我们旨在揭示AI与ML结合的强大潜力,以及这种结合如何为各行各业带来革命性的变化。
380 11
|
机器学习/深度学习 人工智能 算法
探索人工智能与大数据的融合之道####
— 本文旨在探讨人工智能(AI)与大数据如何协同工作,以推动技术创新和产业升级。通过分析二者的基本概念、核心技术及应用场景,揭示它们相互促进的内在机制,并展望未来发展趋势。文章指出,AI提供了智能化处理数据的能力,而大数据则为AI提供了海量的训练资源,两者结合将开启无限可能。 ####

热门文章

最新文章