数据挖掘数据源

无论做数据分析、数据挖掘还是机器学习，对于初学者来说，无论学多少模型和算法理论，可能都不如一次练习学得多。所以我经常建议大家通过实战项目练手，加强对算法和模型的理解。

从哪里可以找到我手中的数据？我一般会提供数据集让你在实际分析中练习。今天简单整理了一下我平时在数据分析和数据挖掘实践中经常用到的数据集网站，对做机器学习的朋友也很有用。

简单开放的数据集

先分享一些数据集，以及一些科研机构、企业、政府会开设的一些专业数据下载网站。这些数据集一般都比较完善，质量也比较高，清理的工作也比较少，适合新手做一些简单的基础分析。

1.中国统计信息网

各级政府每年的国民经济和社会发展统计信息，部分免费。

2.国家统计局

各种与民生相关的统计，而且所有的数据都是免费的，在这个网站的友情链接里还有很多其他地方的数据和国外的数据。

3.中国工业信息网

包含与各种行业相关的数据，全部免费，常用于行业分析。

4.美国政府公布数据。

美国政府公开数据的网站包括经济、消费、教育、医疗、农业等多个领域的数据。

5.世界银行

世界银行的公开数据。该平台还提供了一些工具，如开放数据目录、世界发展指数、教育指数等。

6.开放数据平台

7.郭云数据市场

主要包括:生活服务、教育、能源、建筑、交通、政府、金融、农业、医疗、健康等行业的数据，大部分是免费的，也有部分需要付费。

可视化项目数据集

最常见的数据可视化项目是制作某地区人均收入差异的信息图。在寻找数据可视化项目相关的数据集时，我们希望数据集尽可能的“干净”，减少数据清洗的工作。数据应该足够有趣，可以支持丰富的图表，所以这种数据可以在上面我的开放数据网站上找到。此外，我还列出了一些网站:

1、538

这是互动新闻和体育事件的网站。网站中会发布很多与数据相关的文章，这些文章中用到的数据集会发布在github上。除了获取数据集，还可以参考别人的项目流程。

2、Socrata开放数据

Socrata OpenData网站包含几个清理过的数据集，可以直接在浏览器中查看，也可以下载到本地进行可视化。大部分数据来自美国政府。

用于数据建模和机器学习的数据集

1、UCI

UCI是加州大学欧文分校开放的经典数据集，是机器学习领域最著名的数据仓库。包含各种数据集，如经典的泰坦尼克号生存预测的最新数据。

2.阿里天池

作为国内领先的互联网公司阿里巴巴的大数据竞赛网站，提供了大量的竞赛数据集来练习，说不定还能拿个奖，赚点奖金。

3、卡格尔

Kaggle是一个数据科学社区，举办过很多机器学习比赛。用户可以自己上传数据集，也可以通过一个比赛下载数据集，还有很多其他平台找不到的有趣数据集。

4.科赛。com

这个网站提供了很多可以免费下载的数据集，还有一些数据项的比赛。不过总体来说，每一项的难度都比较低，奖金也不多。有许多学生参与其中。反正简单用它来获取数据集就很好了。

5、Quandl

这是一个包含经济和金融数据的仓库。部分信息是免费的，但大部分数据集需要购买，数据可用于构建经济指标预测或股价分析模型，等等。

大型数据集

有时候你可能只是想找一些大的数据集进行分析，分析的结果可能并不重要。重要的是在数据读取和分析的过程中锻炼数据处理能力。在这里，我还列出了几个使用频率较高的网站:

1.AWS公共数据集

亚马逊在其Amazon Web Services中提供了一些大型数据集，可以免费下载，但你必须注册一个aws帐户，新用户可以免费访问。

2.谷歌的公开数据集

谷歌提供了一些数据集作为其大型查询工具的一部分。包括GitHub公共数据库的数据，黑客新闻的所有故事和评论。

3.Youtube标签视频数据集

YouTube视频数据集包括来自4800个可视化实体的800万个Youtube视频id和相关标签。它有数十亿帧预先计算和最先进的视觉功能。