ошибка в цикле while в сочетании с try-exc

Можно создать объект Path, даже если сам путь не существует в вашей файловой системе. В какой-то момент вам нужно спросить объект Path, существует ли внутри него путь в файловой системе, прежде чем выходить из цикла while. Вам не понадобится блок try / кроме этого:

while True:
    p = Path(input("please input the path: "))
    if p.exists():
        break
    print("path does not exist, try again")

Проблема в том, что вы «защищаете» цикл while, где просто задают имя. Вместо этого вы можете поместить чтение также в try / except для решения проблемы:

while True:
   try:
       file_to_open =  input("insert the file you would like to use with its extension: ")
       with open(file_to_open) as f:
           words = word_tokenize(f.read().lower())
       break
   except FileNotFoundError:
       print("File not found.Better try again")