阿里云大数据&AI 2022学术论文解读合集，了解阿里云大数据&AI产品在顶级国际会议最新前沿动态，欢迎前来解读。
学术会议：ASPLOS 2022
会议时间：2月28日
机器学习访存密集计算编译优化框架AStitch,大幅提升任务执行效率
AStitch通过编译优化的手段来自动化地提高机器学习任务的执行效率, 提出了一种大粒度计算融合的编译优化手段，通过计算图的依赖关系特性、GPU多层次存储架构上的数据局部性、以及不同数据尺寸之下的线程并发性等三个方面的联合考虑，自动化地为大粒度的复杂访存密集算子子图生成高效的GPU代码，从而大幅减少GPU kernel调用及框架层算子调度的额外开销，避免了不必要的重复计算。大幅减少片外访存的同时，可适配各种数据尺寸以得到最佳并行效率。对比XLA[1]，AStitch最高可以取得2.73倍的性能加速。
学术会议：INFOCOM 2022
会议时间：5月2日
支持任意网络拓扑的同步流水线并行训练算法，有效减少大规模神经网络的训练时间
近日，阿里云机器学习平台PAI与香港大学吴川教授团队合作的论文”Efficient Pipeline Planning for Expedited Distributed DNN Training”入选INFOCOM（IEEE International Conference on Computer Communications） 2022，论文提出了一个支持任意网络拓扑的同步流水线并行训练算法，有效减少大规模神经网络的训练时间。
学术会议：ICDE 2022
会议时间：5月9日
稀疏模型自研框架Hybridbackend，同成本下GPU集群训练吞吐较CPU提升至5倍
近年来，随着稀疏模型对算力日益增长的需求, CPU集群必须不断扩大集群规模来满足训练的时效需求，这同时也带来了不断上升的资源成本以及实验的调试成本。 为了解决这一问题，阿里云机器学习PAI平台和阿里妈妈智能引擎训练引擎团队合作开发了稀疏模型高性能同步训练框架HybridBackend，使得在同成本下GPU集群训练吞吐较CPU集群提升至5倍，大幅降低调试成本。
学术会议：USENIX ATC 2022
会议时间：7月11日
支持异构GPU集群的超大规模模型的高效的分布式训练框架Whale
近日，阿里云机器学习平台PAI主导的论文《Whale: Efficient Giant Model Training over Heterogeneous GPUs》，高效大模型训练框架Whale入选USENIX ATC'22。Whale通过对不同并行化策略进行统一抽象、封装，在一套分布式训练框架中支持多种并行策略，并进行显存、计算、通信等全方位的优化，来提供易用、高效的分布式训练框架。
学术会议：SIGIR 2022
会议时间：7月11日
面向长代码序列的Transformer模型优化方法，提升长代码场景性能
阿里云机器学习平台PAI与华东师范大学高明教授团队合作在SIGIR2022上发表了结构感知的稀疏注意力Transformer模型SASA，这是面向长代码序列的Transformer模型优化方法，致力于提升长代码场景下的效果和性能。由于self-attention模块的复杂度随序列长度呈次方增长，多数编程预训练语言模型（Programming-based Pretrained Language Models, PPLM）采用序列截断的方式处理代码序列。SASA方法将self-attention的计算稀疏化，同时结合了代码的结构特性，从而提升了长序列任务的性能，也降低了内存和计算复杂度。
学术会议：IJCAI 2022
会议时间：7月23日
参数高效的大模型稀疏训练方法，大幅减少稀疏训练所需资源
近日，阿里云机器学习PAI关于大模型稀疏训练的论文《Parameter-Efficient Sparsity for Large Language Models Fine-Tuning》被人工智能顶会IJCAI 2022接收。论文提出了一种参数高效的稀疏训练算法PST，通过分析权重的重要性指标，得出了其拥有两个特性：低秩性和结构性。根据这一结论，PST算法引入了两组小矩阵来计算权重的重要性，相比于原本需要与权重一样大的矩阵来保存和更新重要性指标，稀疏训练需要更新的参数量大大减少。对比常用的稀疏训练算法，PST算法可以在仅更新1.5%的参数的情况下，达到相近的稀疏模型精度。
学术会议：EMNLP 2022
会议时间：12月7日
基于Prompt-Tuning的小样本机器阅读理解算法KECP
近日，阿里云机器学习平台PAI与华东师范大学高明教授团队合作在自然语言处理顶级会议EMNLP2022上发表基于Prompt-Tuning的小样本机器阅读理解算法KECP（Knowledge Enhanced Contrastive Prompt-tuning）。KECP是一种面向机器阅读理解的小样本学习算法，采用Prompt-Tuning作为基础学习范式，在仅需要标注极少训练数据的情况下，在给定文章中抽取满足要求的文本作为答案。
学术会议：EMNLP 2022
会议时间：12月7日
基于Span和元学习的小样本实体识别
近日，阿里云机器学习平台PAI与华东师范大学高明教授团队、达摩院机器智能技术NLP团队合作在自然语言处理顶级会议EMNLP2022上发表基于Span和元学习的小样本实体识别算法SpanProto。这是一种面向命名实体识别的小样本学习算法，采用两阶段的训练方法，检测文本中最有可能是命名实体的Span，并且准确判断其实体类型，在仅需要标注极少训练数据的情况下，提升预训练语言模型在命名实体识别任务上的精度。
学术会议：EMNLP 2022
会议时间：12月7日
统一跨任务小样本学习算法UPT，提升多种场景下模型精度
近日，阿里云机器学习平台PAI与华东师范大学高明教授团队、达摩院机器智能技术NLP团队合作在自然语言处理顶级会议EMNLP2022上发表统一多NLP任务的预训练增强小样本学习算法UPT（Unified Prompt Tuning）。这是一种面向多种NLP任务的小样本学习算法，致力于利用多任务学习和预训练增强技术，在仅需要标注极少训练数据的情况下，提升大规模预训练语言模型在多种场景下的模型精度。
