《中国人工智能学会通讯》——11.75 复杂数据融合与高效学习

简介: 本节书摘来自CCAI《中国人工智能学会通讯》一书中的第11章,第11.75节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。

11.75 复杂数据融合与高效学习

在实际应用中,往往存在多种类型的数据,如符号型、数值型、集值型和缺失数据等。粗糙集作为数据建模与规则提取的重要方法之一,已经取得了长足的进步,而其优点在于无需利用先验知识就可以进行知识发现。但是,在面临复杂数据时,往往不能很好地进行数据融合。而且,当复杂数据同时又高维、海量时,与其他建模方法一样,拥有时间消耗过长的缺点,乃至无法处理。为解决此类问题,我们引入了复合关系,提出了复合粗糙集模型[7] 。图 3 给出复合粗糙集模型,可以说,复合关系是多种二元关系的复合,它采用不同的二元关系应对不同的数据类型,如等价关系处理类别型数据、邻域关系处理数值型数据、相容关系处理集值型数据、特性关系处理不完备数据等。进一步地,根据复合二元关系,定义了复合粗糙集中概念近似集的计算方法[7] 。image
我们知道,概念近似集与二元关系的计算是基于粗糙集的属性约简和知识发现方法的核心步骤,高效计算近似集有助于此类技术有效应用于大数据。为解决这个问题,首先提出了复合粗糙集下基于矩阵的概念近似集计算方法。为应对高维、海量数据,又进一步提出基于 GPU 和 Multi-GPU 的并行计算概念近似集的算法。图 4 给出了并行概念近似集计算流程图。首先,我们将论域 U B 切分成若干块,每个子块表示为 ,每个子块可以计算得到二元关系子矩阵 ,根据复合粗糙集定义可以计算得到上近似集子矩阵和下近似集子矩阵并汇总,最终得到上近似集矩阵 和上近似集矩阵 。具体实现中,我们可以用单个 GPU 来并行计算关系子矩阵 和近似集矩阵的子矩阵。进一步地,我们采用多个 GPU 来同时处理多个子块的计算。image
我们在多个高维数据下进行了实验验证,表明基于 Multi-GPU 的并行算法可以获得百倍以上的性能提升。

相关实践学习
基于阿里云DeepGPU实例,用AI画唯美国风少女
本实验基于阿里云DeepGPU实例,使用aiacctorch加速stable-diffusion-webui,用AI画唯美国风少女,可提升性能至高至原性能的2.6倍。
相关文章
|
1月前
|
人工智能 运维 数据库
未来的后端开发:人工智能与云计算的融合
【2月更文挑战第10天】 传统的后端开发一直依赖于对数据库、服务器和网络等底层技术的熟练运用,然而随着人工智能和云计算技术的飞速发展,未来的后端开发方向也将发生深刻的变革。本文将探讨人工智能与云计算在后端开发中的应用前景,以及它们将如何重塑后端开发的方式和手段。
|
13天前
|
机器学习/深度学习 人工智能 自然语言处理
|
13天前
|
机器学习/深度学习 数据采集 人工智能
|
17天前
|
人工智能 分布式计算 Kubernetes
人工智能,应该如何测试?(三)数据构造与性能测试篇
本文探讨了人工智能场景中的性能测试,区别于传统互联网测试,其复杂性更高。主要关注点包括两类AI产品——业务类和平台类,后者涉及AI全生命周期,测试难度更大。测试重点是模型训练的性能,特别是数据模拟。需要构造大量结构化数据,如不同规模、分布、分片和特征规模的数据,以评估算法效率。此外,还涉及模拟设备规模(如视频流)和节点规模(边缘计算),以测试在大规模负载下的系统性能。文中提到了使用工具如Spark、ffmpeg、流媒体服务器和Kubernetes(K8S)的扩展项目,如Kubemark,来模拟大规模环境。最后,文章介绍了使用Golang进行异步IO操作以构建海量小文件,优化IO性能。
39 0
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
构建未来:人工智能在持续学习系统中的创新应用
【2月更文挑战第28天】 随着技术的不断进步,人工智能(AI)已成为推动现代技术创新的关键力量。特别是在机器学习领域,AI系统的能力不断增强,能够处理更复杂的任务并做出更加精准的决策。本文将探讨AI在持续学习系统中的应用,重点分析其在数据处理、模式识别和自适应学习机制方面的最新进展,并提出如何利用这些技术来设计更为高效和智能的教育工具,以促进个体和组织的知识积累与技能提升。
17 1
|
1月前
|
数据采集 机器学习/深度学习 人工智能
用人工智能和missForest构建完美预测模型,数据插补轻松驾驭
用人工智能和missForest构建完美预测模型,数据插补轻松驾驭
61 1
|
1月前
|
人工智能 算法 开发工具
预测五大数据和人工智能趋势
预测五大数据和人工智能趋势
|
1月前
|
人工智能 算法 Android开发
探索未来:Android与iOS在人工智能时代的融合与创新
【2月更文挑战第13天】 在数字化时代的快速发展下,Android与iOS作为两大主流移动操作系统,它们在人工智能(AI)领域的融合与创新已成为推动科技进步的关键力量。本文将从操作系统的核心功能拓展、AI技术的集成应用,以及开发者生态系统的演变三个维度,深入探讨Android和iOS如何在AI时代实现协同发展,以及这一进程对用户体验、应用开发和行业趋势产生的深远影响。通过对比分析和案例研究,我们旨在揭示两大平台在AI驱动下的创新路径,及其对未来科技格局的塑造作用。
|
1月前
|
人工智能 搜索推荐 Android开发
探索未来:安卓与iOS在人工智能时代的融合趋势
【2月更文挑战第12天】 在这篇探索性文章中,我们将深入分析安卓和iOS两大移动操作系统在人工智能(AI)时代的融合趋势。随着技术的飞速发展,AI已成为推动智能手机进化的关键力量。本文通过对安卓和iOS各自在AI领域的最新进展进行比较,揭示了两大平台如何在保持各自特色的同时,也在向着更加智能、更加个性化的方向发展。我们不仅聚焦于当前的技术现状,而且还将展望未来,探讨这一趋势对用户体验、应用开发以及整个科技生态的深远影响。
|
1月前
|
人工智能 安全 搜索推荐
探索未来:安卓与iOS在人工智能时代的融合与创新
【2月更文挑战第12天】随着人工智能(AI)技术的飞速发展,安卓和iOS系统作为智能手机操作系统的两大巨头,正面临着前所未有的融合与创新机遇。本文将从AI技术对移动操作系统的影响、两大系统在AI领域的创新应用,以及未来可能的融合方向三个方面进行深入探讨。通过对比分析,我们旨在揭示安卓和iOS在人工智能时代如何共同推进技术革新,为用户提供更加智能、便捷的服务体验。