Вложенные git-репозитории без пультов (a.k.a. git submodule без пультов)

Нет никакой разницы в производительности. Оба метода используют точно такой же механизм выполнения и внутренние структуры данных. В конце дня все сводится к личным предпочтениям.

• Возможно, запросы DataFrame гораздо проще создавать программно и обеспечивать минимальную безопасность.
• Обычные SQL-запросы могут быть значительно более краткими, чем проще понять. Они также переносимы и могут быть использованы без каких-либо изменений с каждым поддерживаемым языком. С помощью HiveContext они могут также использоваться для раскрытия некоторых функций, которые могут быть недоступны другими способами (например, UDF без обтекателей Spark).