import re
Затем замените
[uniquewords.add(x) for x in open(os.path.join(root,name)).read().split()]
По
[uniquewords.add(re.sub('[^a-zA-Z0-9]*$', '', x) for x in open(os.path.join(root,name)).read().split()]
Это приведет к удалению всех конечных не-алфавитно-цифровых символов из каждого слова, прежде чем добавлять их в набор.