《中国人工智能学会通讯》——4.20 粒计算在智能信息服务中的应用

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 本节书摘来自CCAI《中国人工智能学会通讯》一书中的第4章,第4.20节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。

4.20 粒计算在智能信息服务中的应用

粒计算的理论与方法在智能信息服务中的应用可以归结为处理信息系统中的数值、 文本、图像、音视频等数据,解决其中的不确定性问题。

例如,在处理图像方面,Zadeh 提出了模糊信息粒理论研究的一般框架后,Pedrycz 等[22]对信息粒间的结合进行了深入的研究,并结合数字化图像可粒化的特点,基于图像的内容信息和空间信息进行粒化。Pal 等[23] 提出了基于粒计算思想和粗糙熵的图像分割方法,将图像分割成若干的图像粒,最小化粗糙度从而确定分割的阈值。随后,Chakraborty 等[24]将此思想扩展于检测移动物体。

在处理文本方面,很多研究者充分利用文本可分成词语级、句子级和篇章级等不同的粒度的特点开展了大量的研究工作。何中市等[25]将云模型引入文本分类应用研究,分析文本语言中的不确定性。文本情感挖掘是文本数据挖掘中的研究领域之一,目标在于挖掘文本中的观点、态度、情绪等主观信息。张志飞等[26]针对文本中语言粒度不同,所表达的情感粒度也存在差异,情感的表达存在不确定性,提出了基于三支决策的多粒度文本情感分类。

粒计算的思想用于分析和处理当今热门的大数据也有其独到的优势。大数据规模巨大,结构复杂,数据质量参差不齐,我们可以利用粒计算的思想使用多粒度来表示大数据,从而在多视角、多层抽象全景地描述大数据中的知识。根据数据的规模、种类、结构,选取适宜的粒结构、合适的粒度来抽象数据的机理与方法,以降低数据的规模,获取更加丰富的信息。另外,大数据本身带有很强的不确定性,这就要求我们使用不确定性的度量方法来分析数据之间的关系[27] 。

传统数据挖掘与机器学习方法不能直接用于大数据分析问题,必须进行创新。目前的主要策略有分治和分层两种。分而治之是讲传统算法分布是并行化[28];而分层抽象,则是将现有模型粒化/层次化,或设计多粒度 / 多层次的新模型[29] ,如基于深度机学习的方法[30-31]和基于粒计算的方法[32] 。

大数据的多粒度表示与计算理论体系见图 1。

image
大数据的多粒度表示与计算旨在多视角、多层抽象而全景地描述大数据中的知识,是观察空间到表示空间的一对多映射关系。大数据的多粒度表示与计算一般需要解决以下关键问题:① 大数据的粒化机理。在大数据预处理阶段,根据数据的规模、种类、结构,选取适宜的粒结构、合适的粒度来抽象数据,以降低数据的规模,获取更加丰富的信息。② 多源异构数据的信息融合。对粒化后的多源异构数据,把不同粒结构、不同粒度的信息进行融合,以获得相互增强的知识;③ 大数据不确定性度量与分析,大数据内在的不确定性,导致大数据挖掘结构的不确定性[33] 。多粒度的方法能分析它们之间的关系,降低不确定性。④ 大数据的深度挖掘多粒度知识表示能提供丰富的信息,利于深度挖掘出数据内在的各种知识。上述即大数据的多粒度表示与深度挖掘的计算理论体系。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
7天前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能在医疗诊断中的应用与前景####
本文深入探讨了人工智能(AI)技术在医疗诊断领域的应用现状、面临的挑战及未来发展趋势。通过分析AI如何辅助医生进行疾病诊断,提高诊断效率和准确性,以及其在个性化医疗中的潜力,文章揭示了AI技术对医疗行业变革的推动作用。同时,也指出了数据隐私、算法偏见等伦理问题,并展望了AI与人类医生协同工作的前景。 ####
20 0
|
6天前
|
机器学习/深度学习 人工智能 运维
人工智能在云计算中的运维优化:智能化的新时代
人工智能在云计算中的运维优化:智能化的新时代
88 49
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
转载:【AI系统】AI的领域、场景与行业应用
本文概述了AI的历史、现状及发展趋势,探讨了AI在计算机视觉、自然语言处理、语音识别等领域的应用,以及在金融、医疗、教育、互联网等行业中的实践案例。随着技术进步,AI模型正从单一走向多样化,从小规模到大规模分布式训练,企业级AI系统设计面临更多挑战,同时也带来了新的研究与工程实践机遇。文中强调了AI基础设施的重要性,并鼓励读者深入了解AI系统的设计原则与研究方法,共同推动AI技术的发展。
转载:【AI系统】AI的领域、场景与行业应用
|
2天前
|
人工智能 缓存 异构计算
云原生AI加速生成式人工智能应用的部署构建
本文探讨了云原生技术背景下,尤其是Kubernetes和容器技术的发展,对模型推理服务带来的挑战与优化策略。文中详细介绍了Knative的弹性扩展机制,包括HPA和CronHPA,以及针对传统弹性扩展“滞后”问题提出的AHPA(高级弹性预测)。此外,文章重点介绍了Fluid项目,它通过分布式缓存优化了模型加载的I/O操作,显著缩短了推理服务的冷启动时间,特别是在处理大规模并发请求时表现出色。通过实际案例,展示了Fluid在vLLM和Qwen模型推理中的应用效果,证明了其在提高模型推理效率和响应速度方面的优势。
云原生AI加速生成式人工智能应用的部署构建
|
2天前
|
机器学习/深度学习 人工智能 物联网
AI赋能大学计划·大模型技术与应用实战学生训练营——电子科技大学站圆满结营
12月05日,由中国软件行业校园招聘与实习公共服务平台携手阿里魔搭社区共同举办的AI赋能大学计划·大模型技术与产业趋势高校行AIGC项目实战营·电子科技大学站圆满结营。
AI赋能大学计划·大模型技术与应用实战学生训练营——电子科技大学站圆满结营
|
7天前
|
机器学习/深度学习 人工智能 JSON
【实战干货】AI大模型工程应用于车联网场景的实战总结
本文介绍了图像生成技术在AIGC领域的发展历程、关键技术和当前趋势,以及这些技术如何应用于新能源汽车行业的车联网服务中。
|
3天前
|
人工智能 Kubernetes 安全
赋能加速AI应用交付,F5 BIG-IP Next for Kubernetes方案解读
赋能加速AI应用交付,F5 BIG-IP Next for Kubernetes方案解读
34 13
|
4天前
|
机器学习/深度学习 人工智能 算法
探索人工智能在医疗诊断中的应用
本文深入探讨了人工智能(AI)技术在医疗诊断领域的革新性应用,通过分析AI如何助力提高诊断准确性、效率以及个性化治疗方案的制定,揭示了AI技术为现代医学带来的巨大潜力和挑战。文章还展望了AI在未来医疗中的发展趋势,强调了跨学科合作的重要性。 ###
29 9
|
3天前
|
机器学习/深度学习 人工智能 边缘计算
24/7全时守护:AI视频监控技术的深度实现与应用分享
本文深入解析了AI视频监控系统在车间安全领域的技术实现与应用,涵盖多源数据接入、边缘计算、深度学习驱动的智能分析及高效预警机制,通过具体案例展示了系统的实时性、高精度和易部署特性,为工业安全管理提供了新路径。
|
7天前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术在自然语言处理中的应用
随着人工智能技术的不断发展,自然语言处理(NLP)已经成为了一个重要的应用领域。本文将介绍一些常见的NLP任务和算法,并通过代码示例来展示如何实现这些任务。我们将讨论文本分类、情感分析、命名实体识别等常见任务,并使用Python和相关库来实现这些任务。最后,我们将探讨NLP在未来的发展趋势和挑战。