Facebook 开源 FAISS;MIT 开发 SDV 系统,将合成数据用于机器学习等 | AI 开发者头条

简介:

 内容预览:

  • 更高效的聚类、相似性搜索算法库,Facebook 开源 FAISS

  • MIT 黑科技,合成数据也能用于机器学习

  • 机器学习算法成功预测人造地震

    每日推荐阅读

  • ViZDoom 使用教程:训练 AI 来玩《毁灭战士》

█  Facebook 开源 FAISS

Facebook 开源 FAISS;MIT 开发 SDV 系统,将合成数据用于机器学习等 | AI 开发者头条

雷锋网(公众号:雷锋网)消息,FAIR(Facebook 人工智能实验室)上周发表了一篇论文,提出一项针对聚类和相似性搜索的新算法设计。新架构比此前最先进的算法更快更高效,并使用 GPU 来获得更高的内存带宽和计算吞吐量。

基于此项研究,FAIR 近日在 Github 开源了一个名为 FAISS 的库,相关文档已陆续完成上传,并于昨日更新了安装文件。能进行聚类和相似性搜索的算法已有不少,FAISS 对它们进行了优化,以便更高效地在 GPU 上运行。FAISS 整合的部分算法有: 

  • Fast K-Nearest Neighbour

  • QuickSelect

  • Warpselect

  • K-Means clustering

FAIR 表示,FAISS 有五大特性:

  • 使用 C++ 编写,有完整的  Python/numpy 封装。

  • 支持单个、多 GPU。

  • 优异的可扩展性,通常情况下能支持最多 100 个维度。

  • 基于 BLAS 和 CUDA。

  • 比当前最先进的库速度提高 8.5 倍。

详情:http://www.leiphone.com/news/201703/lzEITGcs5Miuh8k5.html

GitHub:http://www.leiphone.com/news/201703/lzEITGcs5Miuh8k5.html

论文:https://arxiv.org/abs/1702.08734 

█ MIT 黑科技,合成数据也能用于机器学习

Facebook 开源 FAISS;MIT 开发 SDV 系统,将合成数据用于机器学习等 | AI 开发者头条

IEEE 数据科学大会上出现了一篇重磅论文。该论文的作者是 MIT LIDS(Laboratory for Information and Decision Systems) 实验室的首席科学家 Kalyan Veeramachaneni。他提出了一项新技术:通过机器学习算法基于真实数据生成合成数据,将后者应用于模型训练,却能产生和前者相当的效果。

你或许要问,这个技术有什么价值?

很多领域,比如医疗和金融,普通用户的隐私、敏感信息要么难以合法获取、要么代价极大(雷锋网注:AI 公司从医院购买患者扫描图像普遍需要一笔巨资,几乎没有企业负担得起)。而合成数据避免了隐私泄露问题,但又具备真实数据的价值;因此可用来开发、测试算法模型。

Kalyan Veeramachaneni 发明的这个机器学习系统名为 Synthetic Data Vault (SDV),能基于真实数据创建机器学习算法模型,来自动生成人造、合成数据。这套系统基于名为 "recursive conditional parameter aggregation" 的算法。

详情:http://news.mit.edu/2017/artificial-data-give-same-results-as-real-data-0303 

█ 机器学习算法成功预测人造地震

Facebook 开源 FAISS;MIT 开发 SDV 系统,将合成数据用于机器学习等 | AI 开发者头条

众所周知,地震预测一直是终极科学难题之一,至今尚无可靠的方法。相当多地质专家认为这根本不可能实现。雷锋网消息,美国 Los Alamos 国家实验室的两名研究人员,利用机器学习技术实现了对实验室环境的人工地震预测。这再次点燃了希望。

他们训练了一个机器学习算法,对人造地震发生前材料受压释放的声波成功进行了识别。考虑到地震预测课题的难度,研究团队对该技术在真实地震条件下的预测效果表示谨慎。但这项研究指出了一个新方向。

该突破在地质学界造成了相当大的震动。可以预料,将会有一大批科研人员着手研究如何将机器学习应用于对地震前兆信号的识别。

详情:https://www.technologyreview.com/s/603785/machine-learning-algorithm-predicts-laboratory-earthquakes/ 

▲ 每日推荐阅读

█ ViZDoom 使用教程:训练 AI 来玩《毁灭战士》

Facebook 开源 FAISS;MIT 开发 SDV 系统,将合成数据用于机器学习等 | AI 开发者头条

ViZDoom 是一个可与 Tensorflow、Theano 等框架结合的强化学习库,同时是一个基于游戏《毁灭战士》(“Doom”)的 AI 研究平台,为机器视觉学习和深度强化学习而设计。技术人员可用该工具开发仅通过 screen buffer 信息来玩《毁灭战士》的 AI 智能体。

英国数据咨询师 Mark Litwintschik,近日发表了一篇使用 ViZDoom 的上手教程。该教程基于 Tensorflow,感兴趣的可以玩一玩。

文章地址:http://tech.marksblogg.com/tensorflow-vizdoom-bots.html

ViZDoom 地址:http://vizdoom.cs.put.edu.pl/


栏目介绍:AI 开发者头条是雷锋网旗下 AI 研习社推出的资讯栏目,周一到周五更新,汇总每天 AI 开发圈的重磅新闻,并推荐技术干货。你所关注的 AI 技术资讯,尽在开发者头条。

关注 AI 研习社公众号,获取每日头条推送。





本文作者:三川
本文转自雷锋网禁止二次转载, 原文链接
目录
相关文章
|
2天前
|
数据采集 人工智能 文字识别
OmniAlign-V:20万高质量多模态数据集开源,让AI模型真正对齐人类偏好
OmniAlign-V 是由上海交通大学、上海AI Lab等机构联合推出的高质量多模态数据集,旨在提升多模态大语言模型与人类偏好的对齐能力。该数据集包含约20万个多模态训练样本,涵盖自然图像和信息图表,结合开放式问答对,支持知识问答、推理任务和创造性任务。
41 10
OmniAlign-V:20万高质量多模态数据集开源,让AI模型真正对齐人类偏好
|
2天前
|
机器学习/深度学习 人工智能 物联网
MiniMind:2小时训练出你的专属AI!开源轻量级语言模型,个人GPU轻松搞定
MiniMind 是一个开源的超小型语言模型项目,帮助开发者以极低成本从零开始训练自己的语言模型,最小版本仅需25.8M参数,适合在普通个人GPU上快速训练。
90 10
MiniMind:2小时训练出你的专属AI!开源轻量级语言模型,个人GPU轻松搞定
|
3天前
|
编解码 人工智能 测试技术
|
2天前
|
存储 人工智能 搜索推荐
Shandu:开源AI研究黑科技!自动挖掘多层级信息,智能生成结构化报告
Shandu 是一款开源的 AI 研究自动化工具,结合 LangChain 和 LangGraph 技术,能够自动化地进行多层次信息挖掘和分析,生成结构化的研究报告,适用于学术研究、市场分析和技术探索等多种场景。
44 8
Shandu:开源AI研究黑科技!自动挖掘多层级信息,智能生成结构化报告
|
4天前
|
人工智能 API 语音技术
WhisperChain:开源 AI 实时语音转文字工具!自动消噪优化文本,效率翻倍
WhisperChain 是一款基于 Whisper.cpp 和 LangChain 的开源语音识别工具,能够实时将语音转换为文本,并自动清理和优化文本内容,适用于会议记录、写作辅助等多种场景。
226 2
WhisperChain:开源 AI 实时语音转文字工具!自动消噪优化文本,效率翻倍
|
5天前
|
存储 人工智能 监控
Mahilo:多智能体实时协作框架开源!人类与AI无缝交互,复杂任务一键协同
Mahilo 是一个灵活的多智能体框架,支持创建与人类互动的多智能体系统,适用于从客户服务到紧急响应等多种场景。
53 2
Mahilo:多智能体实时协作框架开源!人类与AI无缝交互,复杂任务一键协同
|
5天前
|
数据采集 机器学习/深度学习 人工智能
SongGen:三秒克隆音色!开源AI一键生成专业级歌曲,创作人必备神器
SongGen是由上海AI Lab、北京航空航天大学和香港中文大学联合推出的单阶段自回归Transformer模型,能够通过文本生成高质量歌曲,支持混合模式和双轨模式,显著提升生成歌曲的自然度和人声清晰度。
59 3
SongGen:三秒克隆音色!开源AI一键生成专业级歌曲,创作人必备神器
|
5天前
|
人工智能 安全 生物认证
AI-Infra-Guard:腾讯开源AI基础设施安全评估神器,一键扫描漏洞
AI-Infra-Guard 是腾讯开源的高效、轻量级 AI 基础设施安全评估工具,支持 28 种 AI 框架指纹识别和 200 多个安全漏洞数据库,帮助用户快速检测和修复 AI 系统中的安全风险。
102 7
|
2天前
|
人工智能 数据可视化 前端开发
Probly:开源 AI Excel表格工具,交互式生成数据分析结果与可视化图表
Probly 是一款结合电子表格功能与 Python 数据分析能力的 AI 工具,支持在浏览器中运行 Python 代码,提供交互式电子表格、数据可视化和智能分析建议,适合需要强大数据分析功能又希望操作简便的用户。
82 2
|
2天前
|
人工智能 自然语言处理 API
Hologres × PAI × DeepSeek 搭建 RAG 检索增强对话系统
本文介绍如何使用PAI-EAS部署基于DeepSeek大模型的RAG(检索增强生成)服务,并关联Hologres引擎实例。Hologres与阿里云自研高性能向量计算软件库Proxima深度整合,支持高性能、低延时的向量计算能力。通过PAI-EAS,用户可以一键部署集成了大语言模型和RAG技术的对话系统服务,显著缩短部署时间,并提高问答质量。部署步骤包括准备Hologres向量检索库、部署基于DeepSeek的RAG服务、通过WebUI进行模型推理验证,以及通过API调用进行模型推理验证。Hologres还提供了特色功能支持,如高性能向量计算等。

热门文章

最新文章