• 阿里巴巴达摩院:自然语言处理技术有哪些进展和趋势?

    BERT,在多项 NLP 任务上获得更优效果,预训练语言模型的研究与应用被学术界和工业界视为 NLP 领域的一项重大突破,将 NLP 问题解决方式从以往的为每个任务单独设计复杂的模型逐渐演变成了预训练+微调的范式,...
    文章 2020-06-23 7484浏览量
  • 通用句子向量漫谈

    从零开始训练是否就一定比Finetune差呢,在CV领域何恺明发表论文《Rethinking ImageNet Pre-training》质疑ImageNet 预训练,NLP又是怎么样呢?句子表征缺乏常识信息,ERNIE在某些程度加入了额外的信息,如何更加显...
    文章 2019-04-25 1224浏览量
  • 谷歌最强 NLP 模型 BERT 解读

    为了解决这个问题,我们可以从预训练的目标入手。我们想要的其实是让模型学会某个词适合出现在怎样的上下文语境当中;反过来说,如果给定了某个上下文语境,我们希望模型能够知道这个地方适合填入怎样的词。从这一点...
    文章 2018-10-23 191浏览量
  • 人工智能的下半场,一定少不了自监督学习

    如果我们可以在不花费成本的情况下为无标签数据打上标签,并且以有监督的方式训练无监督数据,那会怎么样呢?我们可以通过一种特殊的形式创建一个监督式学习任务,使用待预测部分之外的信息来预测某一个子集的信息,...
    文章 2019-12-01 1316浏览量
  • 零基础入门神经网络:从原理、主要类型到行业应用

    所以为了获得更好的初始权重,我们可以考虑用无监督学习算法来预训练每个层。类似的例子,可以参考被无监督算法训练的Deep Belief Networks。最近,有一些新的研究尝试在这个领域寻找突破,比如,使用概率自动编码器...
    文章 2018-01-01 956浏览量
  • 谷歌终于开源BERT代码:3 亿参数量,机器之心全面解读

    但 NLP 领域也一直探讨实现无监督预训练的方法&xff0c;复旦大学邱锡鹏说&xff1a;其实早在 16 年的时候&xff0c;我们在知乎上讨论过 NLP 的发展方向。我记得当初回答 NLP 有两个问题&xff0c;其中第一个就是怎么充分挖掘无...
    文章 2021-11-30 9浏览量
  • GMIS 2017大会邓力主题演讲:无监督学习的最新进展

    而最新的监督模型总是表现得比无监督预训练模型更好。那是因为&xff0c;监督会允许模型能够更好的编码数据集上的特征。只不过当模型应用在其他的数据集上时&xff0c;监督的效果会衰减。如下图所示&xff0c;邓力首先展示的...
    文章 2021-11-28 9浏览量
  • 主动学习入门篇:如何能够显著地减少标注代价

    (3)结合生成对抗网络的主动学习方法:生成对抗网络(Generative Adversarial Networks,GAN)模型以无监督训练方式对大量未标注样本进行训练,并通过生成器产生新的样本。经典的 GAN[15]主要包括生成器和判别器等两个...
    文章 2020-09-24 3837浏览量
  • 【翻译】Sklearn 与 ...第11章 训练深层神经网络(中)

    无监督预训练 假设你想要解决一个复杂的任务,你没有太多的标记的训练数据,但不幸的是,你不能找到一个类似的任务训练模型。不要失去所有希望!首先,你当然应该尝试收集更多的有标签的训练数据,但是如果这太难...
    文章 2019-02-14 866浏览量
  • 【翻译】Sklearn 与 ...第11章 训练深层神经网络(中)

    无监督预训练 假设你想要解决一个复杂的任务,你没有太多的标记的训练数据,但不幸的是,你不能找到一个类似的任务训练模型。不要失去所有希望!首先,你当然应该尝试收集更多的有标签的训练数据,但是如果这太难...
    文章 2018-06-25 1520浏览量
  • 每天审核淘宝性感图的工程师,用的是什么算法利器?

    对于 MentorNet 训练,文章首先预训练一个 MentorNet 来近似得到有标签数据中特定的一些预定义权重。然后在具有清洁标签的第三个数据集上对它进行微调。在测试的时候,StudentNet 独自进行预测,不使用 MentorNet。...
    文章 2019-09-11 13436浏览量
  • 人工智能在深度学习领域的前世今生

    雷锋网(公众号:雷锋网)按:本文作者兰彻,文章详细介绍了1)人工智能发展的七个重要阶段;...虽然监督学习在深度学习中表现不俗,压倒了无监督学习在预训练的效果,但人类和动物的学习都是无监督学习的,我们感知...
    文章 2017-08-01 1322浏览量
  • 阿里工程师做了什么?90%的噪声标签原形毕露

    对于 MentorNet 训练,文章首先预训练一个 MentorNet 来近似得到有标签数据中特定的一些预定义权重。然后在具有清洁标签的第三个数据集上对它进行微调。在测试的时候,StudentNet 独自进行预测,不使用 MentorNet。...
    文章 2019-12-28 1399浏览量
  • Spark入门实战系列-8.Spark MLlib(上)-机器学习及...

    半监督学习(Semi-supervised Learning)是介于监督学习与无监督学习之间一种机器学习方式,是模式识别和机器学习领域研究的重点问题。它主要考虑如何利用少量的标注样本和大量的未标注样本进行训练和分类的问题。半...
    文章 2017-11-15 1457浏览量
  • 102个模型、40个数据集,这是你需要了解的机器翻译...

    BT 探索用更多的单语数据强化模型效果、MASS 探索预训练语言模型与无监督的翻译方法、Oracle Word 则探索如何能弥补训练与推断间的鸿沟。Transformer Big&43;BT&xff1a;回译是王道一般而言&xff0c;训练 NMT 模型需要...
    文章 2021-12-02 4浏览量
  • 归纳+记忆:让机器像人一样从小样本中学习

    在有大量标注数据的场景,今天的深度学习模型已经能够将问题解决的比较好了,但在是标注数据很小的场景中,怎么让机器进行学习呢?面对这个难题,过去两年,我们团队从人类的小样本学习机制入手进行思考和研究:...
    文章 2021-01-13 143浏览量
  • 聊天机器人的发展状况与分类

    能通过历史数据,无监督或者半监督的完成意图的分类模型是亟须解决的一个挑战。如何判断一个模型的好坏 在使用LSTM训练基于生成的模型的过程中,一个很大的挑战就是没有自动化的量化的标准:除了人工的和模型对话...
    文章 2017-08-01 1490浏览量
  • 最前沿:视觉推理(Visual Reasoning),神经网络也...

    分析完上面的几篇前沿论文,我们可以发现研究思路可以分成两种,一种是强制让神经网络学习推理逻辑(有监督的),另一种是强制限制神经网络结构来实现无监督的学习推理逻辑。显然,第二种更强一点,但是第二种从上面...
    文章 2017-09-13 2142浏览量
  • 现代数据科学家的“忍者”技能

    它包括了从处理到选择合适的算法来解决问题,再到以出色的可视化方式来展示结果的方方面面。整个过程都要靠你自己动手,因为你既是开发人员,又是分析人员,同时还是测试人员。所以基本上,你需要拥有机器学习的...
    文章 2020-01-18 1231浏览量
  • 从属性,三元组到图:知识和语义融合进展研究

    近十年来,语义表征学习获得了巨大的成功,从早期的word2vec和共现统计方法,到近期以Bert为代表的上下文表征预训练模型,通过大规模非监督语料训练并斩落了多个下游NLP任务,证明了AE模型强大的威力。而知识表示学习...
    文章 2021-09-04 75浏览量
  • 用AI说再见!“辣眼睛”的买家秀

    对ImageNet等数据集预训练的模型进行fine-tuning可以在小数据集往往能取得更好的问题;通过图像翻转、旋转、随机裁剪等方法进行数据增强,可以提升模型泛化能力。原文发布时间为:2019-02-21本文作者:晓鸿本文来自...
    文章 2019-02-21 4137浏览量
  • 亚马逊全面发力AI,推机器学习托管服务、四项新工具,...

    你可以直接用预装好的监督学习或者无监督学习算法,也可以自己用Docer容器引擎训练一个模型。这种训练可以数十倍地处理实例,这样搭建模型的速度就超快的。训练的数据从S3(全称Amazon Simple Storage Service)读取...
    文章 2018-01-01 938浏览量
  • 带你读《实用Bot开发指南:基于Node.js与Bot框架设计...

    无监督学习没有对训练数据打标签,聚类任务是典型的无监督学习,如图2-3所示。半监督学习(semisupervised learning)顾名思义就是用一部分打了标签的数据和一部分没有标签的数据来训练模型。强化学习...
    文章 2019-11-12 380浏览量
  • 大牛的《深度学习》笔记,Deep Learning速成教程

    由于SIFT对尺度、旋转以及一定视角和光照变化等图像变化都具有不变性,并且SIFT具有很强的可区分性,的确让很多问题解决变为可能。但它也不是万能的。然而,手工地选取特征是一件非常费力、启发式(需要专业知识)...
    文章 2017-08-01 1291浏览量
  • 机器学习Top10算法,教你选择最合适的那一个!

    在机器学习领域里,不存在一种万能的算法可以完美解决所有问题,尤其是像预测建模的监督学习里。比方说,神经网络不见得比决策树好,同样反过来也不成立。最后的结果是有很多因素在起作用的,比方说数据集的大小以及...
    文章 2018-05-02 3427浏览量
  • 周伯文对话斯坦福教授曼宁:人机对话智能新进展需要新...

    BERT、GPT-2 等预训练模型引领了很多方向的新时代&xff0c;又催生出了大量商业应用机会。面对技术的进步&xff0c;AI 领域的顶级学者和从业高管是如何看待未来前景的&xff1f;近日&xff0c;2020 智源大会在线上召开&xff0c;在...
    文章 2021-12-03 5浏览量
  • 闲鱼是怎么让二手属性抽取准确率达到95%的?

    本方案之所以选择StrutBert,是因为集团内有该算法在电商领域专属的预训练模型(接口),它依据网络深度不同分为: StrutBert-Base:12层 StrutBert-Lite:6层 StrutBert-Tiny:4层 在离线T+1场景下,追求精度更高而...
    文章 2021-01-19 1709浏览量
  • 带你读《深入理解AutoML和AutoDL:构建自动化机器 ...

    无监督学习,其数据是不需要被标记的,在我们的现实世界中的数据大多数也都是不带标签的,标记数据会浪费大量的人力物力,因此这类算法是非常有用的。无监督学习主要分为聚类和降维。聚类是指,根据数据的特征和行为...
    文章 2019-11-01 1564浏览量
  • 人工智能大牛的新年启示:未来要看无监督学习、自然...

    无监督学习可以帮助特定的深度网络进行“预训练”。我们在这方面取得了不少成果,但最终能够应用于实践的还是过去那些能与卷积网络相结合的出色的有监督学习,我们在20年前(1980s)所做的事情。但从研究的角度来看...
    文章 2017-09-04 1676浏览量
  • 用深度学习(CNN RNN Attention)解决大规模文本分类...

    近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目,恰好硕士毕业时论文题目便是文本分类问题,趁此机会总结下文本分类领域特别是应用深度学习解决文本分类的相关的思路、做法和部分实践的经验。...
    文章 2017-10-24 1174浏览量
1 2 3 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化