Dataset之PTB：Penn Treebank Dataset（PTB 数据集）的简介、安装、使用方法之详细攻略
目录
PTB 数据集的简介
1、数据集信息简介
2、数据信息来源
3、样本
4、更新
PTB 数据集的安装
PTB 数据集的使用方法
NLP之TF之LSTM：基于Tensorflow框架采用PTB数据集建立LSTM网络的自然语言建模
PTB 数据集的简介
Penn Treebank Dataset 数据集是一个用于自然语言处理（NLP）和计算语言学研究的标准数据集。它包含来自多种来源的文本，如新闻、书籍和文章。PTB 数据集通常用于语言模型、词性标注、句法分析等任务的训练和评估。
官方地址：BOLT Treebank | Linguistic Data Consortium
数据集地址：Linguistic Data Consortium - Linguistic Data Consortium
1、数据集信息简介
Penn Treebank宾夕法尼亚树库（PTB）项目从98,732篇故事的三年华尔街日报（WSJ）收藏中选择了2,499篇进行句法标注。这2,499篇故事已在PTB的Treebank-2（LDC95T7）和Treebank-3（LDC99T42）版本中分发。Treebank-2包括每个故事的原始文本。在一个压缩文件中提供了三个“映射”文件（pennTB_tipster_wsj_map.tar.gz）供已许可Treebank-2并提供了2,499个PTB文件名与TIPSTER中相应的WSJ DOCNO字符串之间关系的用户额外下载。
作者：Mitchell P. Marcus，Beatrice Santorini，Mary Ann Marcinkiewicz，Ann Taylor LDC 编目号：LDC99T42 ISBN：1-58563-163-9 ISLRN：141-282-691-413-2 DOI：https://doi.org/10.35111/gq1x-j780 会员年份：1999 DCMI 类型：文本 数据来源：电话语音，新闻线，麦克风语音，转录语音，多样化 项目：TIDES，GALE 应用：分析，自然语言处理，标注 语言：英语 语言标识：eng 许可证：LDC非会员用户协议 在线文档：LDC99T42文档 许可说明：订阅会员、标准会员和非会员 引用：Marcus, Mitchell P., 等. 树库-3 LDC99T42. 网络下载. 费城：语言数据联盟，1999年。 相关作品：查看
2、数据信息来源
此版本包含以下树库-2材料：
1989年《华尔街日报》一百万字的注释树库II样式材料。 ATIS-3材料的小样本，以树库II样式注释。 布朗语料库的全标记版本。 以及以下新材料：
Switchboard标记、发语障注释和解析文本 布朗解析文本 树库括号样式旨在允许简单谓词/论元结构的提取。提供了应用此括号标注的一百多万字的文本。
3、样本
词性标注 发语障注释 发语障注释和词性标注 发语障注释，词性标注和连接的对话 句法标注 句法标注和词性标注
4、更新
出版后，发现并非所有的后缀（*.ps）文件都已转换为pdf，并且一些转换后的pdf包含错误。有关文档文件的pdf副本，请访问补充部分以获取文件列表。
截至2016年10月5日，从Treebank-2添加了252个wsj文件，这些文件之前缺失。
截至2017年2月，从Treebank-2（LDC95T7）添加了2,499个“原始”wsj文件。
在这些日期之后下载的语料库将包括这些缺失的文件。
PTB 数据集的安装
PTB 数据集的下载地址通常可以在宾夕法尼亚大学的网站上找到。由于数据集的版权和访问权限，建议在官方网站或相关研究论文中查找详细信息。一般情况下，可以通过以下链接访问宾夕法尼亚大学的语言资源中心（LDC）来获取。
地址：Treebank-3 - Linguistic Data Consortium
PTB 数据集的使用方法
使用 PTB 数据集取决于具体的研究任务。对于语言建模、词性标注和句法分析等任务，可以将数据集加载到NLP 框架中，如 TensorFlow 或 PyTorch，然后训练和评估模型。
NLP之TF之LSTM：基于Tensorflow框架采用PTB数据集建立LSTM网络的自然语言建模
https://yunyaniu.blog.csdn.net/article/details/80806512