Это зависит от того, что вы подразумеваете под «слишком большими» накладными расходами. Если сохранить весь файл в памяти, возможно, что-то вроде
import random random_lines = random.choice(open("file").readlines())
выполнит трюк.