Я получаю MemoryError в записной книжке Jupyter при выполнении простых команд, таких как pd.unique, в столбце данных.

Используйте модификаторы ^ и $ для обозначения того, где шаблон регулярного выражения находится относительно начала и конца строки:

Regex.Match("Red October", "^Red October$"); // pass
Regex.Match("The Hunt for Red October", "^Red October$"); // fail