Простыми словами это происходит потому, что в python все работает по ссылке, поэтому, когда вы создаете список списков таким образом, вы в основном получаете такие проблемы.
Чтобы решить вашу проблему, вы можете сделать либо один из них: 1. Используйте документацию numpy array для numpy.empty 2. Добавьте список, когда вы попадаете в список. 3. Вы также можете использовать словарь, если хотите
После просмотра документации: https://beam.apache.org/releases/pydoc/2.11.0/apache_beam.io.gcp.pubsub.html я смог увидеть дополнительный аргумент перейти к ReadFromPubSub.
Требуется установить with_attributes = True, в противном случае вы просто получите поля данных.
Надеюсь, это поможет кому-то еще, кто может застрять или просто устать :)