AI 助理
备案控制台
开发者社区 人工智能 文章 正文

关于为什么有了通用BERT，却还需要特定领域BERT？-对此问题做出回答的相关理论和文章（如有）（持续更新ing...）

2022-10-23 175
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 关于为什么有了通用BERT，却还需要特定领域BERT？-对此问题做出回答的相关理论和文章（如有）（持续更新ing...）

1. 空间论

不同类型的语料所覆盖的空间会不一样，训练出来的模型理论上应该是对训练集所覆盖的空间的测试集的泛化效果更好，而如果你用的是特定语料的bert，但是你想测试其他领域的余料的话，它的泛化性就会弱。


2. 知识论

预训练语言模型能学习到语料中的知识，而通用语料缺乏特定领域的知识，因此直接用通用BERT难以解决需要专业知识的特定领域的问题。

（可以参考：LawBERT: Towards a Legal Domain-Specific BERT? | by Erin Zhang | Towards Data Science）


3. 典型的特定领域BERT

生物医学：BioBERT

科学出版物：SciBERT

金融：FinBERT

医学：ClinicalBERT

法律：LegalBERT

文章标签：
自然语言处理
诸神缄默不语
目录
相关文章
诸神缄默不语
|
机器学习/深度学习 自然语言处理 算法
文本摘要（text summarization）任务：研究范式，重要模型，评估指标（持续更新ing...）
本文是作者在学习文本摘要任务的过程中，根据学习资料总结逐步得到并整理为成文的相关内容。相关学习资料（包括论文、博文、视频等）都会以脚注等形式标明。有一些在一篇内会导致篇幅过长的内容会延伸到其他博文中撰写，但会在本文中提供超链接。 本文将主要列举里程碑式的重要文本摘要论文。 注意：除文首的表格外，本文所参考的论文，如本人已撰写对应的学习博文，则不直接引用原论文，而引用我撰写的博文。 本文会长期更新。
诸神缄默不语
1239 0
文本摘要（text summarization）任务：研究范式，重要模型，评估指标（持续更新ing...）
汀丶人工智能
|
自然语言处理 机器人 API
GPT学术优化 (GPT Academic):支持一键润色、一键中英互译、一键代码解释、chat分析报告生成、PDF论文全文翻译功能、互联网信息聚合+GPT等等
GPT学术优化 (GPT Academic):支持一键润色、一键中英互译、一键代码解释、chat分析报告生成、PDF论文全文翻译功能、互联网信息聚合+GPT等等
汀丶人工智能
3088 0
热烈的马
|
6月前
|
自然语言处理 Python
BERT模型基本理念、工作原理、配置讲解（图文解释）
BERT模型基本理念、工作原理、配置讲解（图文解释）
热烈的马
785 0
是Yu欸
|
数据采集 人工智能 监控
【网安AIGC专题11.1】论文13：理解和解释代码，GPT-3大型语言模型&学生创建的代码解释比较+错误代码的解释（是否可以发现并改正）
【网安AIGC专题11.1】论文13：理解和解释代码，GPT-3大型语言模型&学生创建的代码解释比较+错误代码的解释（是否可以发现并改正）
是Yu欸
145 0
是Yu欸
|
机器学习/深度学习 自然语言处理 算法
【网安AIGC专题10.25】论文7：Chatgpt/CodeX引入会话式 APR 范例+利用验证反馈+LLM 长期上下文窗口：更智能的反馈机制、更有效的信息合并策略、更复杂的模型结构、鼓励生成多样性
【网安AIGC专题10.25】论文7：Chatgpt/CodeX引入会话式 APR 范例+利用验证反馈+LLM 长期上下文窗口：更智能的反馈机制、更有效的信息合并策略、更复杂的模型结构、鼓励生成多样性
是Yu欸
142 0
egptee
语音识别（ASR）基础介绍第三篇——经典做法及术语概念
上一章介绍了万金油特征MFCC，相当于数据的输入已经确定了。 本章尽可能的介绍经典asr做法。其中涉及到的各种概念和思考，了解了之后，和相关专业的人交流，大概就不再迷茫了:D 传统方法也可以按 声学模型 和 语言学模型 的方式来划分。 声学模型主要的职责是，把一段音频处理成类似拼音的形式， 然后交给语言模型来猜: 能够发这些音的单词，怎么组合起来更常见一些。然后找到最可能的组合，便是asr的结
egptee
6469 0
汀丶人工智能
|
机器学习/深度学习 人工智能 算法
强化学习从基础到进阶-常见问题和面试必知必答[1]：强化学习概述、序列决策、动作空间定义、策略价值函数、探索与利用、Gym强化学习实验
强化学习从基础到进阶-常见问题和面试必知必答[1]：强化学习概述、序列决策、动作空间定义、策略价值函数、探索与利用、Gym强化学习实验
汀丶人工智能
216 0
算法码上来
|
机器学习/深度学习 自然语言处理 算法
收藏！编码器中如何融入结构信息？这几篇论文一定不要错过
收藏！编码器中如何融入结构信息？这几篇论文一定不要错过
算法码上来
80 0
-开发达人-
|
机器学习/深度学习 算法 数据可视化
CVPR 2022 | ViT版的Slimming来了，原作者团队打造，参数少，搜索更高效
CVPR 2022 | ViT版的Slimming来了，原作者团队打造，参数少，搜索更高效
-开发达人-
120 0
汀丶人工智能
|
人工智能 自然语言处理 机器人
Prompt工程师指南从基础到进阶篇：用于开发和优化提示，以有效地使用语言模型（LMs）进行各种应用和研究主题
Prompt工程师指南从基础到进阶篇：用于开发和优化提示，以有效地使用语言模型（LMs）进行各种应用和研究主题
汀丶人工智能
582 0

热门文章

最新文章

  • 1
    Fiddler抓包：下载、安装及使用
  • 2
    SpringBoot开发案例之整合Dubbo提供者(一)
  • 3
    阿里AI上岗双11服装车间，能识别头发丝直径十分之一的瑕疵
  • 4
    RLE格式分割标注文件表示
  • 5
    微服务注册中心技术选型：5种主流注册中心，哪个最香？
  • 6
    云服务器VPS和独立服务器的区别是什么?
  • 7
    利用Windows Server Backup功能备份活动目录
  • 8
    从美国市场看全球移动技术演进:2015你5G了吗？
  • 9
    访谈李开复：谁主宰微软未来
  • 10
    RabbitMQ(从安装到使用)
  • 1
    Kotlin - 参数与异常
    21
  • 2
    Kotlin - 分支与循环
    16
  • 3
    Kotlin - 运算符与中缀表达式
    21
  • 4
    Kotlin - 类成员
    21
  • 5
    Kotlin - 分支与循环
    21
  • 6
    Kotlin - 常量与变量
    16
  • 7
    Kotlin - 运算符与中缀表达式
    18
  • 8
    Kotlin - 区间与数组
    16
  • 9
    使用 Python 实现深度学习模型：智能食品生产线优化
    34

    • 相关课程

    更多
  • 机器学习入门-概念原理及常用算法
  • 基于通义灵码实现高效 AI 编码
  • 机器阅读技术与应用
  • 【算法实战】8. 集成方法-Adaboost
  • 【医学搜索Query相关性判断】赛题及baseline解读
  • 【算法实战】1. 机器学习基础

    • 相关电子书

    更多
  • 典型模型-卷积神经网络入门 从概念原理到应用实现
  • 如何成为一名优秀的工程师(语义篇）
  • 视频内容理解的研究与实践

    • 相关实验场景

    更多
  • 以客服场景意图分类为例写Prompt
  • 使用PAI+LLaMA Factory微调Qwen2-VL模型，搭建文旅领域知识问答机器人
  • 函数计算部署PuLID for FLUX人像写真实现换脸效果
  • 以电商场景为例搭建AI语义搜索应用
  • AI克隆声音，基于函数计算部署GPT-Sovits语音生成模型
  • 奥运时刻！零代码生成奥运风格AI写真。
    • 下一篇
    阿里云OSS设置跨域访问