《中国人工智能学会通讯》——12.5 并行序列模式挖掘

简介: 本节书摘来自CCAI《中国人工智能学会通讯》一书中的第12章,第12.5节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。

12.5 并行序列模式挖掘

早期的并行序列模式挖掘算法大多被用于解决算法效率低下的问题。因此,许多并行算法是由其串行版本改进得到。例如,Zaki [28] 扩展了由他自己提出的 SPADE 算法,提出了在内存共享框架下的并行算法 pSPADE。pSPADE 的并行性主要来源于对垂直格式数据库的划分,这种划分既可以横向也可以纵向,最终实现了并行。采用了相似策略的算法还有 Par-ASP [29] 和 Par-CSP [30] 等。

近年来,随着数据量的不断增大、数据类型的不断变化,以及新型并行计算框架(如 HadoopMapReduce 和 Spark)的不断涌现,并行序列模式挖掘算法开始面向更大的数据及更加复杂的应用。Berberich 等人[31]提出了基于 MapReduce 的并行序列模式挖掘算法,从大规模的文本语料中挖掘 n元语法模式。Miliaraki 等人[32]考虑了更为复杂的带有间隔约束的序列模式挖掘问题,提出了基于MapReduce 的大规模带间隔约束的并行序列模式算法 MS-FSM。该算法提出了一系列对序列集合的改写方法,使得在 MapReduce 的任务划分更加平衡,从而取得更好的并行效率。Beedkar 等人[33]又继续对 MS-FSM 算法进行扩展,解决更为复杂的带有层次结构的间隔约束序列模式挖掘问题。所提出的LASH算法在大规模文本数据集上的实验结果显示,当数据具有或者不具有层次结构时,LASH 算法的表现均优于 MS-FSM 算法。我们最近的工作将序列模式挖掘技术与基于线段树的索引技术相结合,实际用于我国证券市场“老鼠仓”发现应用中,实现了基于 MapReduce 和 Spark 的高可扩展趋同行为发现并行算法,将同等规模任务的运行时间从“天”级缩短到分钟级。

相关文章
|
4月前
|
人工智能 安全 Anolis
中兴通讯分论坛邀您探讨 AI 时代下 OS 的安全能力 | 2024 龙蜥大会
操作系统如何提供符合场景要求的安全能力,构建更加安全可信的计算环境。
|
6月前
|
机器学习/深度学习 人工智能 数据处理
人工智能平台PAI产品使用合集之最大长度是指的是batch内最长序列吗
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
7月前
|
机器学习/深度学习 人工智能 运维
人工智能平台PAI 操作报错合集之请问Alink的算法中的序列异常检测组件,是对数据进行分组后分别在每个组中执行异常检测,而不是将数据看作时序数据进行异常检测吧
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台,旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时,可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
|
设计模式 人工智能 测试技术
软件测试/人工智能|如何使用ChatGPT编写符合PO模式的数据驱动测试框架
软件测试/人工智能|如何使用ChatGPT编写符合PO模式的数据驱动测试框架
|
人工智能
如何写一篇人工智能领域的期刊论文(SCI论文的固定模式和一些套路)
如何写一篇人工智能领域的期刊论文(SCI论文的固定模式和一些套路)
|
机器学习/深度学习 人工智能 自然语言处理
搜狗翻宝Pro机再次开挂,智能翻译硬件成中国人工智能的新风口
第五届世界互联网大会正在如火如荼的举行。
搜狗翻宝Pro机再次开挂,智能翻译硬件成中国人工智能的新风口
|
机器学习/深度学习 人工智能 自然语言处理
阳过→阳康,数据里的时代侧影;谷歌慌了!看各公司如何应对ChatGPT;两份优质AI年报;本周技术高光时刻 | ShowMeAI每周通讯 #003-12.24
这是ShowMeAI每周通讯的第3期。本期内容关键词:新冠、ChatGPT、2022 AI 报告、腾讯·绝悟、阿里·AliceMind、小红书·全站智投、OpenAI·Point-E、Google·CALM、Wayve·MILE、AI2·MemPrompt、Stanford x MosaicML·PubMed GPT、腾讯全员大会、特斯拉裁员、图森未来裁员、AI 应用与工具大全。
553 0
阳过→阳康,数据里的时代侧影;谷歌慌了!看各公司如何应对ChatGPT;两份优质AI年报;本周技术高光时刻 | ShowMeAI每周通讯 #003-12.24
|
机器学习/深度学习 人工智能 算法
可以学习人类语言模式的人工智能
一种新的人工智能自动学习模型可以应用于不同语言的高级语言模式,使其能够取得更好的结果。
155 0
可以学习人类语言模式的人工智能
|
机器学习/深度学习 人工智能 自然语言处理
与世界同行 2017中国人工智能大会有感
与世界同行 2017中国人工智能大会有感
2090 0
与世界同行 2017中国人工智能大会有感
|
机器学习/深度学习 人工智能 自然语言处理
2022 年中国人工智能行业发展现状与市场规模分析 市场规模超 3000 亿元
人工智能产业是智能产业发展的核心,是其他智能科技产品发展的基础,近年来,中国人工智能产业在政策与技术双重驱动下呈现高速增长态势。
1870 0
2022 年中国人工智能行业发展现状与市场规模分析 市场规模超 3000 亿元