set
работает так же быстро, как и получается.
Однако, если вы переписываете свой код для создания set
один раз и не меняете его, вы можете использовать встроенный frozenset
тип.
Если у вас все еще есть проблемы со скоростью, вам нужно ускорить вашу программу другими способами, например, используя PyPy вместо cPython.