EDIT2:
Добро пожаловать в ODR
EDIT 1:
Сделайте переменные extern в файле заголовка.
extern AClass* variable1; // assuming AClass is declared at this point.
extern int* variable2;
Определите их один раз и только один раз в любом файле cpp, например в main.cpp в области пространства имен.
AClass* variable1 = NULL; // assuming AClass is declared at this point.
int* variable2 = NULL;
Это должно сработать -
my_list=['a','b','c','d']
your_filter = ','.join(["'" +i + "'" for i in my_list])
new_dataset = spark.sql("SELECT * FROM hive_dataset WHERE variable_name IN ({})".format(your_filter))