Facebook 开源 FAISS;MIT 开发 SDV 系统,将合成数据用于机器学习等 | AI 开发者头条

简介:

 内容预览:

  • 更高效的聚类、相似性搜索算法库,Facebook 开源 FAISS

  • MIT 黑科技,合成数据也能用于机器学习

  • 机器学习算法成功预测人造地震

    每日推荐阅读

  • ViZDoom 使用教程:训练 AI 来玩《毁灭战士》

█  Facebook 开源 FAISS

Facebook 开源 FAISS;MIT 开发 SDV 系统,将合成数据用于机器学习等 | AI 开发者头条

雷锋网(公众号:雷锋网)消息,FAIR(Facebook 人工智能实验室)上周发表了一篇论文,提出一项针对聚类和相似性搜索的新算法设计。新架构比此前最先进的算法更快更高效,并使用 GPU 来获得更高的内存带宽和计算吞吐量。

基于此项研究,FAIR 近日在 Github 开源了一个名为 FAISS 的库,相关文档已陆续完成上传,并于昨日更新了安装文件。能进行聚类和相似性搜索的算法已有不少,FAISS 对它们进行了优化,以便更高效地在 GPU 上运行。FAISS 整合的部分算法有: 

  • Fast K-Nearest Neighbour

  • QuickSelect

  • Warpselect

  • K-Means clustering

FAIR 表示,FAISS 有五大特性:

  • 使用 C++ 编写,有完整的  Python/numpy 封装。

  • 支持单个、多 GPU。

  • 优异的可扩展性,通常情况下能支持最多 100 个维度。

  • 基于 BLAS 和 CUDA。

  • 比当前最先进的库速度提高 8.5 倍。

详情:http://www.leiphone.com/news/201703/lzEITGcs5Miuh8k5.html

GitHub:http://www.leiphone.com/news/201703/lzEITGcs5Miuh8k5.html

论文:https://arxiv.org/abs/1702.08734 

█ MIT 黑科技,合成数据也能用于机器学习

Facebook 开源 FAISS;MIT 开发 SDV 系统,将合成数据用于机器学习等 | AI 开发者头条

IEEE 数据科学大会上出现了一篇重磅论文。该论文的作者是 MIT LIDS(Laboratory for Information and Decision Systems) 实验室的首席科学家 Kalyan Veeramachaneni。他提出了一项新技术:通过机器学习算法基于真实数据生成合成数据,将后者应用于模型训练,却能产生和前者相当的效果。

你或许要问,这个技术有什么价值?

很多领域,比如医疗和金融,普通用户的隐私、敏感信息要么难以合法获取、要么代价极大(雷锋网注:AI 公司从医院购买患者扫描图像普遍需要一笔巨资,几乎没有企业负担得起)。而合成数据避免了隐私泄露问题,但又具备真实数据的价值;因此可用来开发、测试算法模型。

Kalyan Veeramachaneni 发明的这个机器学习系统名为 Synthetic Data Vault (SDV),能基于真实数据创建机器学习算法模型,来自动生成人造、合成数据。这套系统基于名为 "recursive conditional parameter aggregation" 的算法。

详情:http://news.mit.edu/2017/artificial-data-give-same-results-as-real-data-0303 

论文:http://dai.lids.mit.edu/SDV.pdf 

█ 机器学习算法成功预测人造地震

Facebook 开源 FAISS;MIT 开发 SDV 系统,将合成数据用于机器学习等 | AI 开发者头条

众所周知,地震预测一直是终极科学难题之一,至今尚无可靠的方法。相当多地质专家认为这根本不可能实现。雷锋网消息,美国 Los Alamos 国家实验室的两名研究人员,利用机器学习技术实现了对实验室环境的人工地震预测。这再次点燃了希望。

他们训练了一个机器学习算法,对人造地震发生前材料受压释放的声波成功进行了识别。考虑到地震预测课题的难度,研究团队对该技术在真实地震条件下的预测效果表示谨慎。但这项研究指出了一个新方向。

该突破在地质学界造成了相当大的震动。可以预料,将会有一大批科研人员着手研究如何将机器学习应用于对地震前兆信号的识别。

详情:https://www.technologyreview.com/s/603785/machine-learning-algorithm-predicts-laboratory-earthquakes/ 

▲ 每日推荐阅读

█ ViZDoom 使用教程:训练 AI 来玩《毁灭战士》

Facebook 开源 FAISS;MIT 开发 SDV 系统,将合成数据用于机器学习等 | AI 开发者头条

ViZDoom 是一个可与 Tensorflow、Theano 等框架结合的强化学习库,同时是一个基于游戏《毁灭战士》(“Doom”)的 AI 研究平台,为机器视觉学习和深度强化学习而设计。技术人员可用该工具开发仅通过 screen buffer 信息来玩《毁灭战士》的 AI 智能体。

英国数据咨询师 Mark Litwintschik,近日发表了一篇使用 ViZDoom 的上手教程。该教程基于 Tensorflow,感兴趣的可以玩一玩。

文章地址:http://tech.marksblogg.com/tensorflow-vizdoom-bots.html

ViZDoom 地址:http://vizdoom.cs.put.edu.pl/


栏目介绍:AI 开发者头条是雷锋网旗下 AI 研习社推出的资讯栏目,周一到周五更新,汇总每天 AI 开发圈的重磅新闻,并推荐技术干货。你所关注的 AI 技术资讯,尽在开发者头条。

关注 AI 研习社公众号,获取每日头条推送。





本文作者:三川
本文转自雷锋网禁止二次转载, 原文链接
目录
相关文章
|
16天前
|
机器学习/深度学习 存储 数据采集
利用机器学习优化数据中心冷却系统
【4月更文挑战第26天】 在数据中心管理和运营中,冷却系统的能效是关键成本因素之一。随着能源价格的上涨和对环境可持续性的关注增加,开发智能、高效的冷却策略显得尤为重要。本文将探讨如何应用机器学习(ML)技术来优化数据中心的冷却系统。通过收集和分析温度、湿度、服务器负载等多维数据,我们构建了预测模型来动态调整冷却需求,实现节能并保持最佳的操作条件。实验结果表明,使用ML优化后的冷却系统能够在不牺牲性能的前提下显著降低能耗。
|
1月前
|
机器学习/深度学习 搜索推荐 算法
基于机器学习的用户行为分析与个性化推荐系统
传统的用户行为分析和推荐系统常常受限于规则的刻板和模型的简单,无法准确捕捉用户的个性化需求。本文基于机器学习技术,探讨了一种更加灵活、精准的用户行为分析与个性化推荐系统设计方法,通过深度学习模型结合大数据分析,实现了对用户行为的更细致把握和更个性化的推荐服务。
|
2月前
|
机器学习/深度学习 存储 运维
利用机器学习优化数据中心冷却系统
在数据中心运营成本中,冷却系统的能源消耗占据了显著比例。随着数据中心规模不断扩大,传统的冷却管理方法逐渐显得不足以应对复杂多变的热负荷。本文提出了一种基于机器学习的方法,旨在优化数据中心的冷却系统性能。通过收集历史运行数据和实时环境参数,构建预测模型来动态调整冷却策略,实现能源消耗与散热效率之间的最佳平衡。实验结果表明,该方法可以有效降低能耗,并保持数据中心内环境的稳定性。
15 1
|
19天前
|
机器学习/深度学习 自然语言处理 搜索推荐
探索机器学习在个性化推荐系统中的应用
【4月更文挑战第23天】 随着大数据和人工智能技术的迅猛发展,机器学习已成为推动个性化推荐系统革新的关键动力。本文将深入探讨如何通过机器学习算法提升推荐系统的精准度和用户体验。首先,概述了推荐系统的工作原理及其重要性;随后,详细分析了几种主流的机器学习技术以及它们在构建个性化推荐系统中的应用实例;最后,讨论了当前面临的挑战及未来的发展趋势。
|
1月前
|
机器学习/深度学习 人工智能 算法
从300亿分子中筛出6款,结构新且易合成,斯坦福抗生素设计AI模型登Nature子刊
【4月更文挑战第12天】斯坦福大学研究团队在Nature子刊发表论文,展示人工智能如何从300亿个分子中筛选出6种新型抗生素候选分子,为抗药性问题提供新解决方案。利用深度学习算法,AI模型考虑化学结构及合成可行性,发现独特化合物,加速药物研发。然而,成功应用还需临床试验验证及克服安全性和耐药性挑战。AI技术在药物设计中的角色引起关注,强调平衡使用与基础科学研究的重要性。
16 1
从300亿分子中筛出6款,结构新且易合成,斯坦福抗生素设计AI模型登Nature子刊
|
2月前
|
机器学习/深度学习 人工智能 运维
【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)(二)
【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)
60 1
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)(一)
【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)
83 1
|
12天前
|
机器学习/深度学习 数据采集 安全
基于机器学习的网络安全威胁检测系统
【4月更文挑战第30天】 随着网络技术的迅猛发展,网络安全问题日益凸显。传统的安全防御机制在应对复杂多变的网络攻击时显得力不从心。为了提高威胁检测的准确性和效率,本文提出了一种基于机器学习的网络安全威胁检测系统。该系统通过集成多种数据预处理技术和特征选择方法,结合先进的机器学习算法,能够实时识别并响应各类网络威胁。实验结果表明,与传统方法相比,本系统在检测率、误报率以及处理速度上均有显著提升,为网络安全管理提供了一种新的技术手段。
|
14天前
|
机器学习/深度学习 存储 监控
利用机器学习优化数据中心冷却系统
【4月更文挑战第28天】 在数据中心的运营成本中,冷却系统的耗电占据了显著比例。随着能源价格的上涨以及环境可持续性的重视,寻求高效的冷却策略变得尤为重要。本文将探讨如何应用机器学习算法来优化数据中心的冷却系统性能。通过分析历史温度数据、服务器负载和外部环境因素,机器学习模型能够预测数据中心内的热分布,并实时调整冷却设备的工作状态,以达到节能的目的。我们的研究显示,采用这种智能调节方法可以显著降低能耗,同时保持或甚至提升冷却效果。
18 1
|
15天前
|
缓存 前端开发 JavaScript
【专栏】GraphQL,Facebook 开发的API查询语言,正在前端开发中崭露头角
【4月更文挑战第27天】GraphQL,Facebook 开发的API查询语言,正在前端开发中崭露头角。它提供强类型系统、灵活查询和实时更新,改善数据获取效率和开发体验。掌握GraphQL涉及学习基础概念、搭建开发环境和实践应用。结合前端框架,利用缓存和批量请求优化性能,与后端协作设计高效API。尽管有挑战,但GraphQL为前端开发开辟新道路,引领未来趋势。一起探索GraphQL,解锁前端无限可能!

热门文章

最新文章