Какой метод кодирования дает вам кратчайший текст?

Установите index=False (по умолчанию это True, поэтому вы видите этот вывод), чтобы он не сохранял значения индекса в вашем csv, см. docs

Итак, это:

df = pd.DataFrame({'a':np.arange(5), 'b':np.arange(5)})
df.to_csv(r'c:\data\t.csv')

приводит к

,a,b
0,0,0
1,1,1
2,2,2
3,3,3
4,4,4

Пока это:

df.to_csv(r'c:\data\t.csv', index=False)

приводит к следующему:

a,b
0,0
1,1
2,2
3,3
4,4

Это для ситуации, когда у вас могут быть некоторые значения индекса, которые вы хотите сохранить