炼数成金 门户 商业智能 自然语言处理 查看内容

自然语言处理领域公开数据集

2018-4-19 16:24| 发布者: 岸岸| 查看: 19121| 评论: 0

摘要: 网上公开的数据集很多,在这里整理了一份关于自然语言处理领域的公开数据集的清单,内容如下。1. Apache Software Foundation Public Mail Archives(公共邮件存档)大小:200GB内容:截至2011年7月11日所有公开可用 ...

tm 数据库 安全 自然语言处理 SAP

网上公开的数据集很多,在这里整理了一份关于自然语言处理领域的公开数据集的清单,内容如下。


1.  Apache Software Foundation Public Mail Archives(公共邮件存档)

大小:200GB

内容:截至2011年7月11日所有公开可用的Apache Software Foundation邮件。

链接:https://aws.amazon.com/de/datasets/apache-software-foundation-public-mail-archives/


2. Blog Authorship Corpus(博客作者身份语料库)

大小:298MB

内容:包含2004年8月从blogger.com收集的19,320位博主的文章,共计681,288篇,字数超过1.4亿—平均每人35篇、7250字。

链接:http://u.cs.biu.ac.il/~koppel/BlogCorpus.htm


3. Amazon Fine Food Reviews [Kaggle](亚马逊食品评论)

大小:240MB

内容:数据跨越10年以上,包括截至2012年10月的568,454条评论。内容包括产品、用户信息、评分以及纯文本评论。

链接:http://u.cs.biu.ac.il/~koppel/BlogCorpus.htm


4. Amazon Reviews(亚马逊评论)

大小:11GB

内容:斯坦福收集了18年期间的3500万条亚马逊评论。

链接:http://u.cs.biu.ac.il/~koppel/BlogCorpus.htm


5. ASAP Automated Essay Scoring [Kaggle](ASAP自动短文评分)

大小:100MB

内容:一共包含八个作文集,每一集作文都围绕一个主题展开。短文的平均长度为150到550个字。一些文章依赖于主题信息,另一些则是自由发挥。所有文章都是由7年级到10年级的学生撰写的,并经相关人员手工评分,有些还进行了双重评分。

链接:

https://www.kaggle.com/c/asap-aes/data


6. ASAP Short Answer Scoring [Kaggle](ASAP自动简答题评分)

大小:35MB

内容:一共包含十个数据集,每个数据集都是由单个提示生成的。平均长度为50个字。一些回答依赖于问题信息,另一些则是自由发挥。所有答案都是由10年级的学生撰写的,并经相关人员手动分级并进行双重评分。

链接:

https://www.kaggle.com/c/asap-sas/data


7. Classification of political social media(美国政客的社交媒体消息分类)

大小:4MB

内容:收集了来自美国参议员和其他美国政客的数千条社交媒体消息,可按内容分类为目标群众(国家或选民)、政治主张(中立/两党或偏见/党派)和实际内容(如攻击政敌等)

链接:https://www.figure-eight.com/data-for-everyone/


8. CLiPS Stylometry Investigation (CSI) Corpus(CSI语料库)

内容:荷兰语,该语料库包含两种类型的学生信息:作文和评论。涉及作者(性别、年龄、性取向、来源地区、性格概况)和文档(时间、流派、真实性、情绪、等级)等大量原数据。由安特卫普大学CLiPS研究中心提供,主要用于计量文体学分析。

链接:https://www.clips.uantwerpen.be/datasets/csi-corpus


9. Common Crawl Corpus(AWS爬虫数据)

大小:541TB

内容:收集了从2008以来抓取的50亿个网页的数据。其中自2013年开始,所有爬虫只持续一个月,数据以WARC文件格式存储。从2012年开始,抓取的数据还包含原数据(WAT)和文本数据(WET)提取,大大简化了数据处理。

链接:https://aws.amazon.com/cn/public-datasets/common-crawl/


10. Cornell Movie Dialog Corpus(康奈尔电影对话语料库)

大小:9.5MB

内容:包含从原始电影脚本中提取的对话集:10,292对电影角色之间的220,579次会话交流、涉及617部电影中的9,035个字符,共304,713个句子。元数据极其丰富,包含流派、发布年份、IMDB评级、IMDB票数、性别、在电影积分榜上的位置。

链接:

http://www.cs.cornell.edu/%7Ecristian/Cornell_Movie-Dialogs_Corpus.html


11. Crosswikis

大小:11GB

内容:英语短语相关的维基百科文章数据库、论文


12. DBpedia

大小:17GB

内容:包含从维基百科中提取出的结构化信息,包括312,000个人、413,000个地点、94,000张音乐专辑、49,000部电影、15,000种电子游戏、140,000个组织、146,000个物种和4600种疾病。共计10亿多条信息,其中2.57亿条来自维基百科英文版,7.66亿条来自其他语言版本。

链接:

https://aws.amazon.com/de/datasets/dbpedia-3-5-1/?tag=datasets%23keywords%23encyclopedic


13. Disasters on social media(社交媒体上有关灾难的消息)

大小:2MB

内容:包含10,000条和灾难事故相关的带注释推特

链接:https://www.figure-eight.com/data-for-everyone/


14. Enron Email Data(Enron电子邮件集)

大小:210GB

内容:包含1,227,255封电子邮件,其中493,384份附件覆盖了151名托管人。该电子邮件的格式为Microsoft PST、IETF MIME和EDRM XML

链接:https://aws.amazon.com/de/datasets/enron-email-data/


15. Examiner.com - Spam Clickbait News Headlines [Kaggle](垃圾邮件/标题党新闻数据集)

大小:200MB

内容:新闻网站The Examiner上的新闻汇编,包含超过6年的21000多位作者撰写的300万篇文章。

链接:https://www.kaggle.com/therohk/examine-the-examiner


16. Flickr Personal Taxonomies

大小:40MB

内容:社交媒体上用户按个人喜好分类内容的树形数据集。

链接:https://www.isi.edu/%7Elerman/downloads/flickr/flickr_taxonomies.html


17. Freebase Data Dump

大小:26GB

内容:是一个开放的世界信息数据库,包含电影、音乐、人物、地域在内的数百个类别的数百万个主题。

链接:https://aws.amazon.com/de/datasets/freebase-data-dump/


18. GigaOM Wordpress Challenge [Kaggle]

大小:1.5GB

内容:预测有人会喜欢哪些博客文章。包含博客文章、元数据、用户喜欢情况等信息。

链接:https://www.kaggle.com/c/predict-wordpress-likes/data


19. Hate speech identification(仇恨言语识别)

大小:3MB

内容:由ICWSM 2017论文“自动仇恨语音检测和无礼语言问题”的作者提供。包含3类短文本:a)包含仇恨言论;b)是冒犯性的,但没有仇恨言论;c)根本没有冒犯性。由15,000行文本构成,每个字符串都经过3人判断。

链接:https://github.com/t-davidson/hate-speech-and-offensive-language


20. Home Depot Product Search Relevance [Kaggle]

大小:65MB

内容:包含Home Depot网站上的关于产品和真实客户的搜索信息。每对词都经3名评估人员评估,并给出1-3的相关性评分,可用来预测相关性。

链接:https://www.kaggle.com/c/home-depot-product-search-relevance/data


21. Material Safety Datasheets(材料安全数据表)

大小:3GB

内容:230,000份材料安全数据表,包含化学成分、急救措施、储存和处理等信息。

链接:https://aws.amazon.com/de/datasets/material-safety-data-sheets/


22. MCTest

大小:1MB

内容:提供660个故事和相关问题,用于研究机器对文本的理解、回答问题。

链接:https://www.microsoft.com/en-us/research/lab/microsoft-research-redmond/?from=http%3A%2F%2Fresearch.microsoft.com%2Fen-us%2Fum%2Fredmond%2Fprojects%2Fmctest%2Findex.html


23. NYTimes Facebook Data(NYTimes Facebook数据)

大小:5MB

内容:所有关于《纽约时报》的Facebook帖子

链接:http://minimaxir.com/2015/07/facebook-scraper/


24. One Week of Global News Feeds (一周全球新闻馈送)

大小:115MB

内容:一周内(2017年8月24日至2017年8月30日)全球在线发布的大多新闻内容的快照,包括大约140万篇文章、20,000个新闻来源和20多种语言。

链接:https://www.kaggle.com/therohk/global-news-week


25. Reddit Comments(Reddit评论)

大小:250GB

内容:截至2015年7月的每个公开可用的书签评论,共计17亿条评论


鲜花

握手

雷人

路过

鸡蛋

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-5-28 09:01 , Processed in 0.218900 second(s), 26 queries .