Facebook 开源 FAISS;MIT 开发 SDV 系统,将合成数据用于机器学习等 | AI 开发者头条

简介:

 内容预览:

  • 更高效的聚类、相似性搜索算法库,Facebook 开源 FAISS

  • MIT 黑科技,合成数据也能用于机器学习

  • 机器学习算法成功预测人造地震

    每日推荐阅读

  • ViZDoom 使用教程:训练 AI 来玩《毁灭战士》

█  Facebook 开源 FAISS

Facebook 开源 FAISS;MIT 开发 SDV 系统,将合成数据用于机器学习等 | AI 开发者头条

雷锋网(公众号:雷锋网)消息,FAIR(Facebook 人工智能实验室)上周发表了一篇论文,提出一项针对聚类和相似性搜索的新算法设计。新架构比此前最先进的算法更快更高效,并使用 GPU 来获得更高的内存带宽和计算吞吐量。

基于此项研究,FAIR 近日在 Github 开源了一个名为 FAISS 的库,相关文档已陆续完成上传,并于昨日更新了安装文件。能进行聚类和相似性搜索的算法已有不少,FAISS 对它们进行了优化,以便更高效地在 GPU 上运行。FAISS 整合的部分算法有: 

  • Fast K-Nearest Neighbour

  • QuickSelect

  • Warpselect

  • K-Means clustering

FAIR 表示,FAISS 有五大特性:

  • 使用 C++ 编写,有完整的  Python/numpy 封装。

  • 支持单个、多 GPU。

  • 优异的可扩展性,通常情况下能支持最多 100 个维度。

  • 基于 BLAS 和 CUDA。

  • 比当前最先进的库速度提高 8.5 倍。

详情:http://www.leiphone.com/news/201703/lzEITGcs5Miuh8k5.html

GitHub:http://www.leiphone.com/news/201703/lzEITGcs5Miuh8k5.html

论文:https://arxiv.org/abs/1702.08734 

█ MIT 黑科技,合成数据也能用于机器学习

Facebook 开源 FAISS;MIT 开发 SDV 系统,将合成数据用于机器学习等 | AI 开发者头条

IEEE 数据科学大会上出现了一篇重磅论文。该论文的作者是 MIT LIDS(Laboratory for Information and Decision Systems) 实验室的首席科学家 Kalyan Veeramachaneni。他提出了一项新技术:通过机器学习算法基于真实数据生成合成数据,将后者应用于模型训练,却能产生和前者相当的效果。

你或许要问,这个技术有什么价值?

很多领域,比如医疗和金融,普通用户的隐私、敏感信息要么难以合法获取、要么代价极大(雷锋网注:AI 公司从医院购买患者扫描图像普遍需要一笔巨资,几乎没有企业负担得起)。而合成数据避免了隐私泄露问题,但又具备真实数据的价值;因此可用来开发、测试算法模型。

Kalyan Veeramachaneni 发明的这个机器学习系统名为 Synthetic Data Vault (SDV),能基于真实数据创建机器学习算法模型,来自动生成人造、合成数据。这套系统基于名为 "recursive conditional parameter aggregation" 的算法。

详情:http://news.mit.edu/2017/artificial-data-give-same-results-as-real-data-0303 

█ 机器学习算法成功预测人造地震

Facebook 开源 FAISS;MIT 开发 SDV 系统,将合成数据用于机器学习等 | AI 开发者头条

众所周知,地震预测一直是终极科学难题之一,至今尚无可靠的方法。相当多地质专家认为这根本不可能实现。雷锋网消息,美国 Los Alamos 国家实验室的两名研究人员,利用机器学习技术实现了对实验室环境的人工地震预测。这再次点燃了希望。

他们训练了一个机器学习算法,对人造地震发生前材料受压释放的声波成功进行了识别。考虑到地震预测课题的难度,研究团队对该技术在真实地震条件下的预测效果表示谨慎。但这项研究指出了一个新方向。

该突破在地质学界造成了相当大的震动。可以预料,将会有一大批科研人员着手研究如何将机器学习应用于对地震前兆信号的识别。

详情:https://www.technologyreview.com/s/603785/machine-learning-algorithm-predicts-laboratory-earthquakes/ 

▲ 每日推荐阅读

█ ViZDoom 使用教程:训练 AI 来玩《毁灭战士》

Facebook 开源 FAISS;MIT 开发 SDV 系统,将合成数据用于机器学习等 | AI 开发者头条

ViZDoom 是一个可与 Tensorflow、Theano 等框架结合的强化学习库,同时是一个基于游戏《毁灭战士》(“Doom”)的 AI 研究平台,为机器视觉学习和深度强化学习而设计。技术人员可用该工具开发仅通过 screen buffer 信息来玩《毁灭战士》的 AI 智能体。

英国数据咨询师 Mark Litwintschik,近日发表了一篇使用 ViZDoom 的上手教程。该教程基于 Tensorflow,感兴趣的可以玩一玩。

文章地址:http://tech.marksblogg.com/tensorflow-vizdoom-bots.html

ViZDoom 地址:http://vizdoom.cs.put.edu.pl/


栏目介绍:AI 开发者头条是雷锋网旗下 AI 研习社推出的资讯栏目,周一到周五更新,汇总每天 AI 开发圈的重磅新闻,并推荐技术干货。你所关注的 AI 技术资讯,尽在开发者头条。

关注 AI 研习社公众号,获取每日头条推送。





本文作者:三川
本文转自雷锋网禁止二次转载, 原文链接
相关文章
AI对话网站一键生成系统源码
可以添加进自己的工具箱,也可以嵌入自己博客的页面中,引流效果杠杠的,新拟态设计风格,有能力的大佬可以进行二开,仅提供学习,用户可输入网站名称、AI默认的开场白、AI头像昵称、AI网站中引流的你的网站等等内容,所有生成的网页全部保存到你的服务器上
49 27
AI对话网站一键生成系统源码
AstrBot:轻松将大模型接入QQ、微信等消息平台,打造多功能AI聊天机器人的开发框架,附详细教程
AstrBot 是一个开源的多平台聊天机器人及开发框架,支持多种大语言模型和消息平台,具备多轮对话、语音转文字等功能。
176 13
AstrBot:轻松将大模型接入QQ、微信等消息平台,打造多功能AI聊天机器人的开发框架,附详细教程
MNN-LLM App:在手机上离线运行大模型,阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
MNN-LLM App 是阿里巴巴基于 MNN-LLM 框架开发的 Android 应用,支持多模态交互、多种主流模型选择、离线运行及性能优化。
424 13
MNN-LLM App:在手机上离线运行大模型,阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
瓴羊Dataphin:AI驱动的数据治理——千里之行,始于标准 |【瓴羊数据荟】数据MeetUp第三期
数据标准是数据治理的核心抓手,通过梳理数据标准可以有效提升数据质量。瓴羊Dataphin平台利用AI技术简化数据治理流程,实现自动化的数据标准建立、质量规则构建和特征识别,助力企业在大模型时代高效治理数据,推动数据真正为业务服务。
313 28
瓴羊Dataphin:AI驱动的数据治理——千里之行,始于标准 |【瓴羊数据荟】数据MeetUp第三期
使用字节新出的Trae IDE开发一个AI ChatBot(超详细)
Trae是字节跳动推出的一款免费的AI集成的开发环境,集成了Claude3.5与GPT-4o等主流AI模型,提供AI问答、智能代码生成、智能代码补全,多模态输入等功能。支持界面全中文化,为中文开发者提供了高效的开发体验
136 10
使用字节新出的Trae IDE开发一个AI ChatBot(超详细)
微软开源课程!21节课程教你开发生成式 AI 应用所需了解的一切
微软推出的生成式 AI 入门课程,涵盖 21 节课程,帮助开发者快速掌握生成式 AI 应用开发,支持 Python 和 TypeScript 代码示例。
226 14
校企合作|TsingtaoAI携手潍坊学院,共建AI驱动的党建信息化系统
TsingtaoAI与潍坊学院近日达成合作,正式签署《人工智能党建信息化系统开发》技术开发合同,计划在未来两年内联合开发一套集党员教育、党务管理、党建活动智能化以及数据可视化于一体的智能党建系统。本次合作将充分结合TsingtaoAI在AI大模型领域的技术优势和潍坊学院的学术资源,为推动党建工作的数字化、智能化和高效化注入新的动力。
40 10
AI实践:智能工单系统的技术逻辑与应用
智能工单系统是企业服务管理的核心工具,通过多渠道接入、自然语言处理等技术,实现工单自动生成、分类和分配。它优化了客户服务流程,提高了效率与透明度,减少了运营成本,提升了客户满意度。系统还依托知识库和机器学习,持续改进处理策略,助力企业在竞争中脱颖而出。
61 5
探索AI的未来:从机器学习到深度学习
【10月更文挑战第28天】本文将带你走进AI的世界,从机器学习的基本概念到深度学习的复杂应用,我们将一起探索AI的未来。你将了解到AI如何改变我们的生活,以及它在未来可能带来的影响。无论你是AI专家还是初学者,这篇文章都将为你提供新的视角和思考。让我们一起探索AI的奥秘,看看它将如何塑造我们的未来。
116 3
探索AI的魔法:机器学习与深度学习的奥秘
【8月更文挑战第27天】在这篇文章中,我们将深入探讨人工智能的两个重要分支:机器学习和深度学习。我们将首先理解它们的基本概念,然后通过Python代码示例,展示如何应用这些技术解决实际问题。无论你是AI新手,还是有经验的开发者,这篇文章都将为你提供新的知识和启示。让我们一起开启这场AI的魔法之旅吧!

雷锋网

+ 订阅

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等