Есть еще одно решение для случая, когда вы работаете с большими данными и необходимо объединить несколько наборов данных. concat
может потребовать повышения производительности, поэтому, если вы не хотите создавать новый df каждый раз, вы можете вместо этого использовать понимание списка:
frames = [ process_file(f) for f in dataset_files ]
result = pd.append(frames)
(как указано здесь в документе docs в нижней части раздела):
Примечание. Однако стоит отметить, что
blockquote>concat
(и, следовательно,append
) делает полную копию данных, и что постоянное повторное использование этой функции может создать значительный успех. Если вам нужно использовать операцию над несколькими наборами данных, используйте понимание списка.