分享好友 最新资讯首页 最新资讯分类 切换频道
nltk(3)——语料库
2024-11-07 21:04

NLTK包含众多一系列的语料库,这些语料库可以通过nltk.package 导入使用。每一个语料库可以通过一个叫做“语料库读取器”的工具读取语料库,例如:nltk.corpus

nltk(3)——语料库

每一个语料库都包含许多的文件或者是很多的文档。若要获取这些文件的列表,可以通过语料库的fileids()方法。

import nltk.corpus.brown    #导入brown语料库

brown.fileids()

每一个语料库都提供了众多的多去数据的方法。例如:对于文档类型的语料库提供读取原始为加工过的文本信息,文本的单词列表,句子列表,段落列表

from nltk.corpus import brown

brown.raw(brown.fileids()[1])   #读取brown中第二个文本的信息

brown.words(brown.fileids()[1])   #读取brown中第二个文本的单词

brown.sents(brown.fileids()[1])   #读取brown中第二个文本的句子

brown.paras(brownfileids()[1])     #读取brown中第二个文本的段落

每一个方法的参数都可以提供多个文档名称或单个,当提供多个文档名称并用逗号隔开时,获取的文档将是单个文档的链接总和。

brown.words(["ca02",brown.fileids()[3]])         #获取文档ca02和文档四的单词,此处注意,当多个文档时,传入的参数是一个list

获取文本单词词频

from nltk.corpus import brown

news_text = brown.words(categories='nes')

fdist = FreqDist(news_text)

modals = ['can','must','could','willl,''might']

for m in modals:

print(m + ":", fdist[m])

FreqDist() 方法获取到每个单词的出现次数

FreqDist({'the': 5580, ',': 5188, '.': 4030, 'of': 2849, 'and': 2146, 'to': 2116, 'a': 1993, 'in': 1893, 'for': 943, 'The': 806, ...})

fdist.keys()    #获取所有的键

fdist['the']     #获取对应的键的值

最新文章
10.Google hacking
这篇文章是21年中旬记录的,平安夜p牛的直播中也谈到,对于渗透测试来说最好有一个checklist,为了避免忘记测试某一部分的内容而
抖音被限流的表现
“云山苍苍,江水泱泱,先生之风,山高水长”的意思:云雾缭绕的高山,郁郁苍苍,大江的水浩浩荡荡,先生的品德啊,比高山还高,
在百度上做广告推广一年要多少钱_百度广告推广费用解析
在当今数字化的商业环境中,百度作为国内(黑帽seo)的搜索引擎平台,拥有庞大的【常熟seo】用户群体和广泛的影响力,许多企业和个
淘宝蓝海虚拟项目4.0,让你最大化15-20天内起店和快速实操
相信大家也看到了,黄岛主最近经常晒朋友圈,晒的都是淘宝蓝海虚拟项目学员做出的成绩反馈,带了这么多期学员没白带,很多学员都
FESE
  原文链接(点击“阅读原文”直接获取)  https://journal.hep.com.cn/fese/EN/10.1007/s11783-022-1542-7  文章出版:Fr
0202是什么意思 0202年梗怎么来的发展经历介绍
  0202是什么梗?指2020年。该词的说法最早出自2017年,原来的形式为都7102年...二者含义用法相同,0202年则是该词的衍生说法
医美整形美容双眼皮营销包装文案
1、医美整形美容双眼皮营销包装文案精致量化眼部整形眯眯眼?死鱼眼?肿泡眼?离桃花美目就那么几毫米的改变?精致量化综合设计一
SEO优化报价背后的科学:成本与收益的平衡艺术 (seo的优化方案)
在数字营销的领域,搜索引擎优化(seo)是提升网站可见性和吸引潜在客户的主要手段。随着时间的推移,SEO已经从简单的关键词堆砌
45天涨粉429万,这届年轻人爱上了东北姥姥
⭐️欢迎关注预约“新榜和ta的朋友”系列直播!可能成成也没想到,为姥姥开设的账号“八零徐姥姥”会火得那么快。9月2日,“八零
抖音最近很火的配音歌曲有哪些 抖音最近很火的配音文案有哪些
很多小伙伴和小编说自己喜欢看一些抖音上面的配音视频,觉得这些抖音原创配音​视频制作的是真的很好,希望自己也有那个能力能制