AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】使用机器学习注释器和大规模深度学习本体进行语义自然语言理解

2017-02-19 2326
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
NLP自然语言处理_基础版，每接口每天50万次
NLP自然语言处理_高级版，每接口累计50万次
NLP 自学习平台，3个模型定制额度 1个月
简介： 本讲义出自David Talby在Spark Summit East 2017上的演讲，主要介绍了一个通过自由文本格式的病人记录给出临床诊断推理和实时的参考意见的端到端系统，该系统的架构是构建在Kafka与Spark Streaming之上的，该系统可以实时地对于数据进行获取和加工，并使用Spark & MLLib进行建模，并通过Elasticsearch使得用户可以低延迟地对于结果进行访问。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自David Talby在Spark Summit East 2017上的演讲，主要介绍了一个通过自由文本格式的病人记录给出临床诊断推理和实时的参考意见的端到端系统，该系统的架构是构建在Kafka与Spark Streaming之上的，该系统可以实时地对于数据进行获取和加工，并使用Spark & MLLib进行建模，并通过Elasticsearch使得用户可以低延迟地对于结果进行访问。


96c895b2eb9749409e9b5163be8f2c9e5cfcbdb0

602e0725b542d1a480f7d198d6ec2bf789b9d64e

ad93c543a64b3049a5726dfcbbd28e3762b176cd

0df85301dd6428ad6e54a3404539d183914a6792

8d31b999a6c1bef1e3bd5918a38e527d0501aded

75fcba7cd526ecdfac2363d4530403f5a9ad5b28

6390db3ae16253c1df29dd31c8422591338ab0e1

766570c44bc312e0cfc2f12aba64695df27ae581

cbc094350f0e7b6cd25c2e51c3bc35926372cd00

773a8e027c4cab2908c2443f960ade22638810e6

6d0e5d5dd6d652529976257028efdba0fded748d

84904cfbacb187c21e663a943c7c7f59a5e1ec93

a456059e8183c9cb2c11a00bbea7496fff9439ef

b4428bfdf247df471cf8cb8e4489ce709df4743f

561797fbbabe1d0daea6dcde628111e0df818850

b4b729316a1e709f284c7409614ddc255f1c4f5c

a01be1365adb58fb44346b8b86f7bbb8aae71785

c3903ad4e507356822a23c8aabd47af5f7c6827b

a9ad4d3a417051bdfb91ff3d736ce95d74793dea

909975b39548e87e0efc52896e1507aa7c4c66c4

c5c5d79fd29833d7b206ff6239e2a1806d3d129e

34f50ee74537b5f8c57380b405b985fd0b11ecb7

文章标签：
自然语言处理
机器学习/深度学习
大数据
分布式计算
Spark
自然语言处理
消息中间件
流计算
Kafka
MaxCompute
关键词：
apache spark机器学习
spark人工智能平台 PAI
人工智能平台 PAI深度学习
机器学习深度学习
人工智能平台 PAI自然语言
小猫吃鱼569
目录
相关文章
周周的奇妙编程
|
3月前
|
机器学习/深度学习 数据采集 监控
深度学习中模型训练的过拟合与欠拟合问题
在机器学习和深度学习中，过拟合和欠拟合是影响模型泛化能力的两大常见问题。过拟合指模型在训练数据上表现优异但在新数据上表现差，通常由模型复杂度过高、数据不足或质量差引起；欠拟合则指模型未能充分学习数据中的模式，导致训练和测试数据上的表现都不佳。解决这些问题需要通过调整模型结构、优化算法及数据处理方法来找到平衡点，如使用正则化、Dropout、早停法、数据增强等技术防止过拟合，增加模型复杂度和特征选择以避免欠拟合，从而提升模型的泛化性能。
周周的奇妙编程
706 73
阿里云大数据
|
2月前
|
机器学习/深度学习 分布式计算 大数据
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈，微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark，微财突破了单机训练使用的数据规模瓶颈，大幅提升了训练效率，解决了存算分离架构下 Shuffle 稳定性和性能困扰，为智能风控等业务提供了强有力的技术支撑。
阿里云大数据
204 15
天下无贼001
|
4月前
|
机器学习/深度学习 人工智能 算法
探索机器学习：从线性回归到深度学习
本文将带领读者从基础的线性回归模型开始，逐步深入到复杂的深度学习网络。我们将通过代码示例，展示如何实现这些算法，并解释其背后的数学原理。无论你是初学者还是有经验的开发者，这篇文章都将为你提供有价值的见解和知识。让我们一起踏上这段激动人心的旅程吧！
天下无贼001
84 3
小周sir
|
5月前
|
机器学习/深度学习 人工智能 TensorFlow
基于TensorFlow的深度学习模型训练与优化实战
基于TensorFlow的深度学习模型训练与优化实战
小周sir
243 3
阿里云Clouder认证师
|
4月前
|
机器学习/深度学习 人工智能 算法
机器学习与深度学习：差异解析
机器学习与深度学习作为两大核心技术，各自拥有独特的魅力和应用价值。尽管它们紧密相连，但两者之间存在着显著的区别。本文将从定义、技术、数据需求、应用领域、模型复杂度以及计算资源等多个维度，对机器学习与深度学习进行深入对比，帮助您更好地理解它们之间的差异。
阿里云Clouder认证师
337 0
子午s
|
5月前
|
机器学习/深度学习 人工智能 算法
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
手写数字识别系统，使用Python作为主要开发语言，基于深度学习TensorFlow框架，搭建卷积神经网络算法。并通过对数据集进行训练，最后得到一个识别精度较高的模型。并基于Flask框架，开发网页端操作平台，实现用户上传一张图片识别其名称。
子午s
257 0
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
小周sir
|
5月前
|
机器学习/深度学习 自然语言处理 语音技术
探索机器学习中的深度学习模型：原理与应用
探索机器学习中的深度学习模型：原理与应用
小周sir
145 0
叫个什么名字
|
11月前
|
机器学习/深度学习 存储 搜索推荐
利用机器学习算法改善电商推荐系统的效率
电商行业日益竞争激烈，提升用户体验成为关键。本文将探讨如何利用机器学习算法优化电商推荐系统，通过分析用户行为数据和商品信息，实现个性化推荐，从而提高推荐效率和准确性。
叫个什么名字
321 14
东方睿赢
|
11月前
|
机器学习/深度学习 算法 数据可视化
实现机器学习算法时，特征选择是非常重要的一步，你有哪些推荐的方法？
实现机器学习算法时，特征选择是非常重要的一步，你有哪些推荐的方法？
东方睿赢
213 1
游客i66wb7w7cg4tk
|
11月前
|
机器学习/深度学习 算法 搜索推荐
Machine Learning机器学习之决策树算法 Decision Tree（附Python代码）
Machine Learning机器学习之决策树算法 Decision Tree（附Python代码）
游客i66wb7w7cg4tk
491 0

热门文章

最新文章

  • 1
    【新模型速递】PAI一键云上零门槛部署DeepSeek-V3-0324、Qwen2.5-VL-32B
  • 2
    【解决方案】DistilQwen2.5-R1蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践
  • 3
    AI训练师入行指南（三）：机器学习算法和模型架构选择
  • 4
    AI训练师入行指南（四）：模型训练
  • 5
    【重磅发布】AllData数据中台核心功能：机器学习算法平台
  • 6
    基于PAI+专属网关+私网连接：构建全链路Deepseek云上私有化部署与模型调用架构
  • 7
    如何用大数据与机器学习挖掘瞪羚企业认定标准
  • 8
    计算机视觉五大技术——深度学习在图像处理中的应用
  • 9
    深度学习如何让“运维知识库”从“聪明”到“智慧”
  • 10
    AI“捕风捉影”：深度学习如何让网络事件检测更智能？
  • 1
    在hue上部署spark作业
    213
  • 2
    Python与Apache Spark：实时AI的大数据引擎——Spark Streaming实战
    270
  • 3
    MaxCompute操作报错合集之 Spark Local模式启动报错，是什么原因
    118
  • 4
    MaxCompute操作报错合集之使用Spark查询时函数找不到的原因是什么
    79
  • 5
    E-MapReduce Serverless Spark 版测评
    11662
  • 6
    迟来的EMR Serverless Spark评测报告
    364
  • 7
    E-MapReduce Serverless Spark 评测
    109
  • 8
    E-MapReduce Serverless Spark开发者评测
    132
  • 9
    DataWorks产品使用合集之怎么编写和执行Spark SQL
    187
  • 10
    带你读《阿里云产品五月刊》——五、阿里云 EMR Serverless Spark 版开启免费公测
    158

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 场景实践 - 机器学习PAI实现精细化营销
  • 场景实践 - 基于阿里云PAI机器学习平台使用时间序列分解模型预测商品销量
  • 场景实践 - 基于机器学习进行收入预测分析
  • 机器学习概览及常见算法
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 在PAI ArtLab一键设计AIGC新春红包
  • 使用PAI+LLaMA Factory微调Qwen2-VL模型，搭建文旅领域知识问答机器人
  • AI克隆声音，基于函数计算部署GPT-Sovits语音生成模型
  • 函数计算一键部署AI大语言模型并会话
  • 在PAI ArtLab一键实现欧洲杯粉丝专属贴纸制作
  • 使用PAI-快速开始，低代码实现大语言模型微调和部署
    • 下一篇
    oss创建bucket