为什么将这些词视为停用词?

我没有自然语言处理方面的正式背景,我想知道NLP方面是否有人可以对此有所阐明。 我正在使用 NLTK 库,正在专门研究此程序包提供的停用词功能:

在[80]中: nltk.corpus.stopwords.words('english')

出[80]:

['i','me','my', “我自己”,“我们”,“我们的”,“我们的”, “我们自己”,“您”,“您的”, “您的”,“您自己”,“自己”, “他”,“他”,“他”,“他自己”, “她”,“她”,“她”,“她自己”, “它”,“它”,“它自己”,“它们”, “他们”,“他们”,“他们”, “自己”,“什么”,“哪个”, “谁”,“谁”,“这个”,“那个”, “这些”,“那些”,“上午”,“是”, '是','是','是','是', “有”,“有”,“有”,“有”, “有”,“有”,“有”,“有”, 'did','doing','a','an','the', “和”,“但是”,“如果”,“或”, '因为','作为','直到','同时', “ of”,“ at”,“ by”,“ for”,“ with”, “关于”,“反对”,“之间”, “进入”,“通过”,“期间”, “之前”,“之后”,“之上”, “以下”,“至”,“从”,“上”, '向下','进入','离开','开启','关闭', “上方”,“下方”,“再次”, “更多”,“然后”,“一次”,“这里”, “有”,“何时”,“在哪里”,“为什么”, “如何”,“全部”,“任何”,“两者”, “每个”,“很少”,“更多”,“最多”, “其他”,“某些”,“此类”,“否”, “不”,“不”,“仅”,“自己”, “相同”,“如此”,“比”,“太”, '非常','s','t','can','will', “只是”,“不”,“应该”,“现在”]

我不明白的是,为什么出现“不”这个词? 确定句子中的情感不是必要的吗? 例如,这样的句子:

我不确定是什么问题。移除停用词 not 后,将句子的含义改为相反的意思是[ ]我确定问题出在哪里。 如果是这样,何时不使用这些停用词时是否缺少一套规则?

11
задан hippietrail 26 October 2012 в 00:11
поделиться