Обычно я делаю общую фильтрацию по строкам следующим образом:
criterion = lambda row: row['countries'] not in countries not_in = df[df.apply(criterion, axis=1)]