超强大自动NLP工具!谷歌推出AutoML自然语言预训练模型

简介: 谷歌近日宣布面向全球用户推出AutoML Natural Language的通用版本,支持分类、情绪分析和实体提取等任务,以及支持各种文件格式,包括扫描的pdf文件。

微信图片_20220107172527.jpg


今年早些时候,谷歌发布了AutoML自然语言(AutoML Natural Language),这是其Cloud AutoML机器学习平台向自然语言处理领域的扩展。


经过数月的beta测试,谷歌近日宣布面向全球用户推出AutoML Natural Language的通用版本,支持分类、情绪分析和实体提取等任务,以及支持各种文件格式,包括扫描的pdf文件。


AutoML自然语言利用机器学习来揭示电子邮件、聊天日志、社交媒体帖子等文本的结构和含义。它可以从上传或粘贴的文本、或谷歌云存储的文档中提取关于人、地点和事件的信息,允许用户训练自己的自定义AI模型来对情绪、实体、内容和语法等进行分类、检测和分析。此外,它还提供自定义实体提取功能,该功能可以在文档中识别出标准语言模型未出现的特定于领域的实体。


微信图片_20220107172530.jpg


AutoML Natural Language有超过5000个分类标签,并允许训练多达100万个文档,文档的大小最大10MB。谷歌表示,这使得它非常适合“复杂”的用例,比如理解法律文件或为拥有大量内容的组织进行文档分割。


自发布以来的几个月中,它已经得到很大改进,特别是在文本和文档实体提取方面。谷歌表示,AutoML自然语言现在可以考虑附加上下文(例如文档的空间结构和布局信息)来训练模型和预测,提高发票、收据、简历和合同等类型文本的识别能力。


此外,谷歌表示,AutoML Natural Language现在已经获得FedRAMP的中级授权(FedRAMP 是为政府启用安全云计算的美国程序),使联邦机构更容易利用AutoML的功能。


赫斯特集团(Hearst,美国出版界巨头)已经在使用AutoML Natural Language来帮助组织其国内和国际杂志的内容,日本出版商日经集团(Nikkei Group)也在利用AutoML Translate来发布不同语言的文章。Chicory是第三个早期采用者,利用它为Kroger、Amazon和Instacart等杂货零售商开发定制数字购物和营销解决方案。


AutoML Natural Language的产品经理Lewis Liu在一篇博客文章中解释说,他们的最终目标是为需要定制机器学习模型的组织、研究人员和企业提供一种简单、实用的训练方法。“自然语言处理是揭示文本结构和意义的宝贵工具,”他说,“我们通过更好的微调技术和更大的模型搜索空间,与Google AI研究部门合作,不断提高模型的质量。我们还引入了更高级的特性来帮助 AutoML自然语言更好地理解文档。”


值得注意的是,AutoML是在AWS Textract之后推出的。AWS Textract是亚马逊开发的针对文本和数据提取的机器学习服务,于今年5月推出。微软在Azure Text Analytics中也提供类似的服务。


官网:

https://cloud.google.com/natural-language/#how-automl-natural-language-works

相关文章
|
文字识别 自然语言处理 API
如何结合NLP(自然语言处理)技术提升OCR系统的语义理解和上下文感知能力?
通过结合NLP技术,提升OCR系统的语义理解和上下文感知能力。方法包括集成NLP模块、文本预处理、语义特征提取、上下文推理及引入领域知识库。代码示例展示了如何使用Tesseract进行OCR识别,并通过BERT模型进行语义理解和纠错,最终提高文本识别的准确性。相关API如医疗电子发票验真、车险保单识别等可进一步增强应用效果。
1137 4
|
人工智能 自然语言处理
Promptriever:信息检索模型,支持自然语言提示响应用户搜索需求
Promptriever 是一种新型信息检索模型,由约翰斯·霍普金斯大学和 Samaya AI 联合推出。该模型能够接受自然语言提示,并以直观的方式响应用户的搜索需求。通过在 MS MARCO 数据集上的训练,Promptriever 在标准检索任务上表现出色,能够更有效地遵循详细指令,提高查询的鲁棒性和检索性能。
374 6
Promptriever:信息检索模型,支持自然语言提示响应用户搜索需求
|
机器学习/深度学习 自然语言处理
预训练语言模型:从BERT到GPT,NLP的新纪元
自然语言处理(NLP)近年来因预训练语言模型(PLMs)的崛起而发生巨大变革。BERT和GPT等模型在学术与工业界取得突破性进展。本文探讨PLMs原理、发展历程及其实际应用,涵盖文本分类、命名实体识别、问答系统等场景,并通过实战案例展示如何使用这些强大的工具解决复杂的NLP任务。
|
机器学习/深度学习 自然语言处理 语音技术
探索深度学习中的Transformer模型及其在自然语言处理中的应用
探索深度学习中的Transformer模型及其在自然语言处理中的应用
820 5
|
机器学习/深度学习 人工智能 自然语言处理
自然语言处理(Natural Language Processing,简称NLP)
自然语言处理(NLP)是人工智能的分支,旨在让计算机理解、解释和生成人类语言。NLP的关键技术和应用包括语言模型、词嵌入、文本分类、命名实体识别、机器翻译、文本摘要、问答系统、情感分析、对话系统、文本生成和知识图谱等。随着深度学习的发展,NLP的应用日益广泛且效果不断提升。
1189 4
|
机器学习/深度学习 人工智能 自然语言处理
探索深度学习与自然语言处理的前沿技术:Transformer模型的深度解析
探索深度学习与自然语言处理的前沿技术:Transformer模型的深度解析
787 1
|
机器学习/深度学习 人工智能 自然语言处理
自然语言处理(NLP)是AI的重要分支,旨在让计算机理解人类语言
自然语言处理(NLP)是AI的重要分支,旨在让计算机理解人类语言。本文探讨了深度学习在NLP中的应用,包括其基本任务、优势、常见模型及具体案例,如文本分类、情感分析等,并讨论了Python的相关工具和库,以及面临的挑战和未来趋势。
1069 1
|
机器学习/深度学习 自然语言处理 PyTorch
从零开始构建nlp情感分析模型!
本教程介绍了如何使用PyTorch和Hugging Face的Transformers库构建一个情感分析模型。主要内容包括导入所需库、读取训练数据集、加载预训练的BERT模型和分词器、定义情感数据集类、划分训练集和验证集、创建数据加载器、设置训练参数、训练模型、评估模型性能以及定义和测试预测函数。通过这些步骤,可以实现一个简单而有效的情感分析模型。
1377 2
|
存储 人工智能 自然语言处理
Pandas数据应用:自然语言处理
本文介绍Pandas在自然语言处理(NLP)中的应用,涵盖数据准备、文本预处理、分词、去除停用词等常见任务,并通过代码示例详细解释。同时,针对常见的报错如`MemoryError`、`ValueError`和`KeyError`提供了解决方案。适合初学者逐步掌握Pandas与NLP结合的技巧。
581 20
|
自然语言处理 API C++
阿里通义推出SmartVscode插件,自然语言控制VS Code,轻松开发应用,核心技术开源!
SmartVscode插件深度解析:自然语言控制VS Code的革命性工具及其开源框架App-Controller
2652 1
阿里通义推出SmartVscode插件,自然语言控制VS Code,轻松开发应用,核心技术开源!