Я думаю, что ваша проблема в том, что grep использует некоторую буферизацию вывода. Попробуйте
tail -f file | stdbuf -o0 grep my_pattern
, он установит режим буферизации вывода grep в небуферизованный.
К сожалению, на данный момент это невозможно. Это должно быть исправлено Beam 2.7.0.
Тем временем - продолжайте использовать google-cloud-bigquery 0.25.0 - Beam 2.7.0 должен выйти через несколько недель.