人工智能、大数据、数据挖掘、机器学习-数据集来源(上)

简介: 人工智能、大数据、数据挖掘、机器学习-数据集来源(上)

一、有很多小伙伴说学习大数据和人工智能,需要用到数据,但是又不知道数据去哪里拿,这里我分享一下之前收藏过的一些网站给大家。


二、先来回答大家两个问题:


问题1:博客里所所涉及到的数据在哪里拿?


后台总是有很多小伙伴想问我拿我博客的数据,关于经常被问到的,我都放在公众号匹配词汇中了,只需要回复就可以拿到下载链接。


问题2:想学习机器学习,不知道数据怎么来?


要问数据可以从哪里来的话,公司里面的数据是肯定拿不到的了,所以主要有公开的数据、学习框架里都有内置的数据、实验室的数据、还有各种比赛也会提供各种脱敏的数据,当然,如果你熟悉爬虫的话,你也可以自己写爬虫去爬去一些数据。


三、以下是收集到的链接


大数据


https://delicious.com/pskomoroch/dataset

http://stackoverflow.com/questions/10843892/download-large-data-for-hadoop

http://konect.uni-koblenz.de/

搜狗实验室


http://www.sogou.com/labs/resources.html?v=1


气象数据集


https://www.ncdc.noaa.gov/data-access/quick-links


气候监测数据集


http://cdiac.ornl.gov/ftp/ndp026b


机器学习


亚马逊网络服务数据


http://aws.amazon.com/datasets


航空公司数据 (2009 年 ASA 挑战)


http://stat-computing.org/dataexpo/2009/the-data.html


澳大利亚天气


http://www.bom.gov.au/climate/dwo/


因果关系工作台


http://www.causality.inf.ethz.ch/repository.php


Kaggle 竞争数据


https://www.kaggle.com/datasets


KDNuggets 竞争网站


www.kdnuggets.com/datasets/


机器学习的数据集存储库


http://mldata.org/


医疗保险数据文件


http://go.cms.gov/19xxPN4


微软研究院


http://research.microsoft.com/apps/dp/dl/downloads.aspx


百万歌曲数据集


http://blog.echonest.com/post/3639160982/million-song-dataset


歌曲数据集


http://labrosa.ee.columbia.edu/millionsong/pages/additional-datasets


RDataMining.com R 和数据挖掘电子书数据


http://www.rdatamining.com/data


革命分析集合


http://www.revolutionanalytics.com/subscriptions/datasets/


社交网络


http://www.cs.cmu.edu//ancestry.com/ ~ jelsas / 数据


UCI 机器学习库


http://archive.ics.uci.edu/ml/


535 亿点击


http://cnets.indiana.edu/groups/nan/webtraffic/click-dataset


http://archive.ics.uci.edu/ml/


http://www.ics.uci.edu/~mlearn//MLRepository.htm


机器学习样本数据库


http://kdd.ics.uci.edu/


http://www.ics.uci.edu/~mlearn/MLRepository.html


关于基金的数据挖掘的网站


http://www.gotofund.com/index.asp


数据生成器的链接


http://www.cse.cuhk.edu.hk/~kdd/data_collection.html


癌症基因


http://www.broad.mit.edu/cgi-bin/cancer/datasets.cgi


金融数据


http://lisp.vse.cz/pkdd99/Challenge/chall.htm


网络


斯坦福大学大型网络数据收集


http://snap.stanford.edu/data/


微软匿名网络数据


http://kdd.ics.uci.edu/databases/msweb/msweb.html


MSNBC 匿名网络数据


http://kdd.ics.uci.edu/databases/msnbc/msnbc.html


SyskillWebert Web 数据


http://kdd.ics.uci.edu/databases/SyskillWebert/SyskillWebert.html


图像


ImageNet (包含 1400 万的图像)


http://www.image-net.org/


Tiny Images Dataset (包含 8000 万的 32x32 图像)


http://horatio.cs.nyu.edu/mit/tiny/data/index.html


MirFlickr1M (包含 100 万的图像)


http://press.liacs.nl/mirflickr/


CoPhIR (包含 1 亿 600 万的图像 )


http://cophir.isti.cnr.it/whatis.html


SBU captioned photo dataset (包含 100 万的图像)


http://dsl1.cewit.stonybrook.edu/~vicente/sbucaptions/


Large-Scale Image Annotation using Visual Synset(ICCV 2011) (包含 2 亿图像 )


http://cpl.cc.gatech.edu/projects/VisualSynset/


NUS-WIDE(包含 27 万的图像)


http://lms.comp.nus.edu.sg/research/NUS-WIDE.htm


SUN dataset (包含 13 万的图像)


http://people.csail.mit.edu/jxiao/SUN/


MSRA-MM (包含 100 万的图像,23000 视频 )


http://research.microsoft.com/enus/projects/msrammdata/


TRECVID


http://trecvid.nist.gov/


卡耐基 - 梅隆的脸图片


http://kdd.ics.uci.edu/databases/faces/faces.html


金星上的火山


http://kdd.ics.uci.edu/databases/volcanoes/volcanoes.html


雅虎发布超大 Flickr 数据集 1 亿的图片 + 视频


http://yahoolabs.tumblr.com/post/89783581601/one-hundred-million-creative-commons-flickr-images-for


100 多个有趣的数据集


http://www.csdn.net/article/2014-06-06/2820111-100-Interesting-Data-Sets-for-Statistics


图像处理相关个人主页、研究组及公开数据集网址


http://blog.sciencenet.cn/blog-673472-759786.html


Public Domain Collections

Data360

http://www.data360.org/index.aspx

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
3天前
|
机器学习/深度学习 人工智能 安全
AI 与机器学习
阿里云致力于提升云计算基础能力,聚焦性能、稳定、安全和智能四大方向。在性能上,通过技术创新提升弹性;稳定性上,增强产品韧性和自动修复功能;安全上,将安全融入研发流程,提供一站式安全平台;智能方面,结合大型技术推动 Autonomous Cloud,提升开发者体验。此外,云原生开发范式升级,如Serverless化和容器服务ACS,简化开发运维,提高资源利用率,流程式开发工具则提升多云产品集成效率。
22 5
|
10天前
|
机器学习/深度学习 数据采集 数据可视化
基于数据挖掘与机器学习揭秘脱发主因
基于数据挖掘与机器学习揭秘脱发主因
|
10天前
|
机器学习/深度学习 人工智能 自然语言处理
【AI 生成式】如何利用生成式人工智能进行机器学习的数据增强?
【5月更文挑战第4天】【AI 生成式】如何利用生成式人工智能进行机器学习的数据增强?
|
10天前
|
机器学习/深度学习 人工智能 算法
【AI 初识】讨论深度学习和机器学习之间的区别
【5月更文挑战第3天】【AI 初识】讨论深度学习和机器学习之间的区别
|
10天前
|
机器学习/深度学习 数据采集 人工智能
【AI 初识】机器学习中维度的诅咒是什么?
【5月更文挑战第2天】【AI 初识】机器学习中维度的诅咒是什么?
|
10天前
|
机器学习/深度学习 人工智能 算法
【Python 机器学习专栏】强化学习在游戏 AI 中的实践
【4月更文挑战第30天】强化学习在游戏AI中展现巨大潜力,通过与环境交互和奖励信号学习最优策略。适应性强,能自主探索,挖掘出惊人策略。应用包括策略、动作和竞速游戏,如AlphaGo。Python是实现强化学习的常用工具。尽管面临训练时间长和环境复杂性等挑战,但未来强化学习将与其他技术融合,推动游戏AI发展,创造更智能的游戏体验。
|
10天前
|
机器学习/深度学习 人工智能 算法
【机器学习】探究Q-Learning通过学习最优策略来解决AI序列决策问题
【机器学习】探究Q-Learning通过学习最优策略来解决AI序列决策问题
|
10天前
|
机器学习/深度学习 人工智能 供应链
【专栏】阿里云RPA的Rap程序是自动化流程脚本,基于AI和机器学习,实现业务流程自动化
【4月更文挑战第29天】阿里云RPA的Rap程序是自动化流程脚本,基于AI和机器学习,实现业务流程自动化。具有灵活性、易用性、高效稳定和智能学习等特点。广泛应用于财务、人力资源、客服和供应链等领域,未来将与AI深度融合,跨平台应用,行业定制化,并构建完善生态,助力企业效率提升和创新。
|
10天前
|
机器学习/深度学习 人工智能 测试技术
自动化测试中AI与机器学习的融合应用
【4月更文挑战第29天】 随着技术的不断进步,人工智能(AI)和机器学习(ML)在软件测试中的应用越来越广泛。本文将探讨AI和ML如何改变自动化测试领域,提高测试效率和质量。我们将讨论AI和ML的基本概念,以及它们如何应用于自动化测试,包括智能测试用例生成,缺陷预测,测试执行优化等方面。最后,我们还将讨论AI和ML在自动化测试中的挑战和未来发展趋势。
|
10天前
|
机器学习/深度学习 Python 索引
fast.ai 机器学习笔记(二)(4)
fast.ai 机器学习笔记(二)
26 0
fast.ai 机器学习笔记(二)(4)

热门文章

最新文章