首先,在搜索數(shù)據(jù)集時(shí)要記住這幾點(diǎn):
話(huà)不多說(shuō),開(kāi)始吧!
數(shù)據(jù)集查找器
1、Kaggle:一個(gè)包含各種外部貢獻(xiàn)數(shù)據(jù)集的數(shù)據(jù)科學(xué)網(wǎng)站。你可以在其主列表中找到各種合適的數(shù)據(jù)集,從拉面評(píng)級(jí)到籃球數(shù)據(jù),甚至是西雅圖寵物許可證,應(yīng)有盡有。
https://www.kaggle.com/
2、UCI 機(jī)器學(xué)習(xí)庫(kù):網(wǎng)絡(luò)上最古老的數(shù)據(jù)集源之一,是尋找有趣的數(shù)據(jù)集的第一站。雖然這里的數(shù)據(jù)集是用戶(hù)貢獻(xiàn)的,因此清潔度不一,但絕大多數(shù)都是干凈的。你可以直接從 UCI 機(jī)器學(xué)習(xí)庫(kù)下載數(shù)據(jù),無(wú)需注冊(cè)。
http://mlr.cs.umass.edu/ml/
一般數(shù)據(jù)集
政府公開(kāi)數(shù)據(jù)集
3、Data.gov:該網(wǎng)站可以從多個(gè)美國(guó)政府機(jī)構(gòu)下載數(shù)據(jù)。數(shù)據(jù)范圍從政府預(yù)算到學(xué)校績(jī)效分?jǐn)?shù)。但請(qǐng)注意:大部分?jǐn)?shù)據(jù)有待進(jìn)一步研究。
https://www.data.gov/
4、食物環(huán)境地圖集:包含當(dāng)?shù)厥澄镞x擇如何影響美國(guó)飲食的數(shù)據(jù)。
https://catalog.data.gov/dataset/food-environment-atlas-f4a22
5、學(xué)校系統(tǒng)財(cái)務(wù):對(duì)美國(guó)學(xué)校系統(tǒng)財(cái)務(wù)狀況的調(diào)查。
https://catalog.data.gov/dataset/annual-survey-of-school-system-finances
6、慢性病數(shù)據(jù):美國(guó)各地區(qū)慢性病指標(biāo)數(shù)據(jù)。
https://catalog.data.gov/dataset/u-s-chronic-disease-indicators-cdi-e50c9
7、美國(guó)國(guó)家教育統(tǒng)計(jì)中心:來(lái)自美國(guó)和世界各地的教育機(jī)構(gòu)和教育人口統(tǒng)計(jì)數(shù)據(jù)。
https://nces.ed.gov/
8、英國(guó)數(shù)據(jù)服務(wù):英國(guó)最大的社會(huì)、經(jīng)濟(jì)和人口數(shù)據(jù)集。
https://www.ukdataservice.ac.uk/
9、Data USA:美國(guó)公共數(shù)據(jù)的全面可視化。
http://datausa.io/
金融與經(jīng)濟(jì)
10、Quandl:經(jīng)濟(jì)和金融數(shù)據(jù)很好的數(shù)據(jù)源,有助于建立預(yù)測(cè)經(jīng)濟(jì)指標(biāo)或股票價(jià)格模型。
https://www.quandl.com/
11、世界銀行開(kāi)放數(shù)據(jù):涵蓋全球人口統(tǒng)計(jì)數(shù)據(jù)和大量經(jīng)濟(jì)和發(fā)展指標(biāo)的數(shù)據(jù)集。
https://data.worldbank.org/
12、國(guó)際貨幣基金組織數(shù)據(jù):國(guó)際貨幣基金組織公布的有關(guān)國(guó)際金融、債務(wù)利率、外匯儲(chǔ)備、商品價(jià)格和投資的數(shù)據(jù)。
https://www.imf.org/en/Data
13、金融時(shí)報(bào)市場(chǎng)數(shù)據(jù):來(lái)自世界各地的金融市場(chǎng)最新信息,包括股票價(jià)格指數(shù)、商品和外匯。
https://markets.ft.com/data/
14、谷歌趨勢(shì):檢查和分析世界各地的互聯(lián)網(wǎng)搜索活動(dòng)和熱門(mén)新聞報(bào)道的數(shù)據(jù)。
https://trends.google.com/trends/?q=google&ctab=0&geo=all&date=all&sort=0
15、美國(guó)經(jīng)濟(jì)協(xié)會(huì)(AEA):尋找美國(guó)宏觀經(jīng)濟(jì)數(shù)據(jù)的良好來(lái)源。
https://www.aeaweb.org/resources/data/us-macro-regional
機(jī)器學(xué)習(xí)數(shù)據(jù)集
圖像
16、Labelme:帶圖像標(biāo)注的大型數(shù)據(jù)集。
http://labelme.csail.mit.edu/Release3.0/browserTools/php/dataset.php
17、ImageNet:業(yè)界最新算法圖像數(shù)據(jù)集。根據(jù) WordNet 層次結(jié)構(gòu)進(jìn)行組織,其中層次結(jié)構(gòu)的每個(gè)節(jié)點(diǎn)由數(shù)百和數(shù)千個(gè)圖像描述。
http://image-net.org/
18、LSUN:有眾多輔助任務(wù)的場(chǎng)景理解(房間布局估計(jì)、特點(diǎn)預(yù)測(cè)等)
http://lsun.cs.princeton.edu/2016/
19、MS COCO:通用圖像理解和字幕。
http://mscoco.org/
20、COIL100:100 個(gè)不同的物體,在 360 度旋轉(zhuǎn)的每個(gè)角度成像。
http://www1.cs.columbia.edu/CAVE/software/softlib/coil-100.php
21、視覺(jué)基因組:非常詳細(xì)的視覺(jué)知識(shí)庫(kù),帶有~100K 圖像的字幕。
http://visualgenome.org/
22、谷歌的開(kāi)放圖像:在知識(shí)共享版權(quán)下的 900 萬(wàn)個(gè)圖像網(wǎng)址集合,“超過(guò) 6000 個(gè)類(lèi)別標(biāo)簽注釋”。
https://ai.googleblog.com/2016/09/introducing-open-images-dataset.html
23、Labelled Faces in the Wild:13,000 張人臉標(biāo)記圖像,用于開(kāi)發(fā)人臉識(shí)別應(yīng)用程序。
http://vis-www.cs.umass.edu/lfw/
24、斯坦福狗數(shù)據(jù)集:包含 20,580 張圖片和 120 種不同的狗品種。
http://vision.stanford.edu/aditya86/ImageNetDogs/
25、室內(nèi)場(chǎng)景識(shí)別:一種非常特殊的數(shù)據(jù)集,因?yàn)榇蠖鄶?shù)場(chǎng)景識(shí)別模型都最好建立在“室外”,這個(gè)數(shù)據(jù)集非常實(shí)用。包含 67 個(gè)室內(nèi)類(lèi)別,總共 15620 張圖像。
http://web.mit.edu/torralba/www/indoor.html
情緒分析
26、多域情緒分析數(shù)據(jù)集:一個(gè)有點(diǎn)老舊的數(shù)據(jù)集,其中包含來(lái)自亞馬遜的產(chǎn)品評(píng)論。
http://www.cs.jhu.edu/~mdredze/datasets/sentiment/
27、IMDB 評(píng)論:一個(gè)較舊的,相對(duì)較小的二元情緒分類(lèi)數(shù)據(jù)集,包含 25,000 個(gè)電影評(píng)論。
http://ai.stanford.edu/~amaas/data/sentiment/
28、斯坦福情緒樹(shù)庫(kù):帶有情感注釋的標(biāo)準(zhǔn)情緒數(shù)據(jù)集。
http://nlp.stanford.edu/sentiment/code.html
29、Sentiment140:一個(gè)流行的數(shù)據(jù)集,使用 160,000 條預(yù)先刪除表情符號(hào)的推文。
http://help.sentiment140.com/for-students/
30、Twitter 美國(guó)航空公司情緒:2015 年 2 月美國(guó)航空公司的 Twitter 數(shù)據(jù),分類(lèi)為正面、負(fù)面和中性推文。
https://www.kaggle.com/crowdflower/twitter-airline-sentiment
自然語(yǔ)言處理
31、安然數(shù)據(jù)集:來(lái)自安然高級(jí)管理層的電子郵件數(shù)據(jù),以文件夾形式分類(lèi)存放。
https://www.cs.cmu.edu/~./enron/
32、亞馬遜評(píng)論:包含亞馬遜 18 年來(lái)約 3500 萬(wàn)條評(píng)論。數(shù)據(jù)包括產(chǎn)品和用戶(hù)信息、評(píng)級(jí)和明文審核。
https://snap.stanford.edu/data/web-Amazon.html
33、Google Books Ngrams:Google 圖書(shū)中的一系列文字。
https://aws.amazon.com/datasets/google-books-ngrams/
34、Blogger Corpus:收集了來(lái)自 blogger.com 的 681288 篇博文。每個(gè)博客至少包含 200 個(gè)常用英語(yǔ)單詞。
http://u.cs.biu.ac.il/~koppel/BlogCorpus.htm
35、維基百科鏈接數(shù)據(jù):維基百科全文。該數(shù)據(jù)集包含來(lái)自 400 多萬(wàn)篇文章的近 19 億個(gè)單詞。你可以按段落、短語(yǔ)或段落本身的一部分進(jìn)行搜索。
https://code.google.com/archive/p/wiki-links/downloads
36、Gutenberg 電子書(shū)列表:Project Gutenberg 的電子書(shū)注釋列表。
http://www.gutenberg.org/wiki/Gutenberg:Offline_Catalogs
37、加拿大議會(huì)議事錄:來(lái)自第 36 屆加拿大議會(huì)記錄的 130 萬(wàn)對(duì)文本。
http://www.isi.edu/natural-language/download/hansard/
38、Jeopardy:來(lái)自有獎(jiǎng)競(jìng)猜節(jié)目 Jeopardy 的超過(guò) 200,000 個(gè)問(wèn)題歸檔。
https://www.reddit.com/r/datasets/comments/1uyd0t/200000_jeopardy_questions_in_a_json_file/
39、英語(yǔ)短信垃圾郵件集:由 5574 條英文短信垃圾郵件組成的數(shù)據(jù)集。
http://www.dt.fee.unicamp.br/~tiago/smsspamcollection/
40、Yelp 評(píng)論:Yelp 發(fā)布的一個(gè)開(kāi)放數(shù)據(jù)集,包含超過(guò) 500 萬(wàn)條評(píng)論。
https://www.yelp.com/dataset
41、UCI 垃圾郵件集:一個(gè)大型垃圾郵件數(shù)據(jù)集,對(duì)垃圾郵件過(guò)濾非常有用。
https://archive.ics.uci.edu/ml/datasets/Spambase
更詳細(xì)列表:
https://gengo.ai/datasets/the-best-25-datasets-for-natural-language-processing/
自動(dòng)駕駛
42、Berkeley DeepDrive BDD100k:目前是自動(dòng)駕駛 AI 的最大數(shù)據(jù)集。包含超過(guò) 100000 個(gè)視頻,包括一天中不同時(shí)段和天氣條件下超過(guò) 1100 小時(shí)的駕駛體驗(yàn)。帶注釋的圖像來(lái)自紐約和舊金山地區(qū)。
http://bdd-data.berkeley.edu/
43、百度 Apolloscapes:大型數(shù)據(jù)集,定義了 26 種不同的語(yǔ)義項(xiàng)目,如汽車(chē)、自行車(chē)、行人、建筑物、路燈等。
http://apolloscape.auto/
44、Comma.ai:超過(guò) 7 小時(shí)的高速公路駕駛數(shù)據(jù)。細(xì)節(jié)包括汽車(chē)的速度、加速度、轉(zhuǎn)向角和 GPS 坐標(biāo)。
https:///details/comma-dataset
45、牛津的機(jī)器人汽車(chē):在英國(guó)牛津的同一條路線(xiàn)重復(fù)行駛 100 多次、耗時(shí)一年多收集的數(shù)據(jù)集。該數(shù)據(jù)集包含天氣、交通和行人的不同組合,以及建筑和道路工程等長(zhǎng)期變化。
http://robotcar-dataset.robots.ox.ac.uk/
46、城市景觀數(shù)據(jù)集:一個(gè)大型數(shù)據(jù)集,記錄 50 個(gè)不同城市的城市街景。
https://www.cityscapes-dataset.com/
47、CSSAD 數(shù)據(jù)集:此數(shù)據(jù)集對(duì)于自動(dòng)駕駛車(chē)輛的感知和導(dǎo)航非常有用。但該數(shù)據(jù)集嚴(yán)重偏向發(fā)達(dá)國(guó)家的道路情況。
http://aplicaciones.cimat.mx/Personal/jbhayet/ccsad-dataset
48、KUL 比利時(shí)交通標(biāo)志數(shù)據(jù)集:比利時(shí)法蘭德斯地區(qū)數(shù)以千計(jì)的物理交通標(biāo)志,有超過(guò) 10000 多個(gè)交通標(biāo)志注釋。
http://www.vision.ee.ethz.ch/~timofter/traffic_signs/
49、麻省理工學(xué)院實(shí)驗(yàn)室:在 AgeLab 收集的 1000 多個(gè)小時(shí)多傳感器駕駛數(shù)據(jù)集的樣本。
http://lexfridman.com/automated-synchronization-of-driving-data-video-audio-telemetry-accelerometer/
50、LISA:智能和安全汽車(chē)實(shí)驗(yàn)室,加州大學(xué)圣地亞哥分校數(shù)據(jù)集:該數(shù)據(jù)集包括交通標(biāo)志、車(chē)輛檢測(cè)、交通信號(hào)燈和軌跡模式。
http://cvrr.ucsd.edu/LISA/datasets.html
原文鏈接:
https://gengo.ai/datasets/the-50-best-free-datasets-for-machine-learning/
聯(lián)系客服