Chart.js игнорируя заполнение, чтобы начать

Проверьте collections.defaultdict :

from collections import defaultdict

image_dict = defaultdict(list)
for index, item in enumerate(data.ImageID):
    image_dict[item].append((data.XMax[index], data.XMin[index], data.YMax[index], data.YMin[index]))

Он создает пустой список, если он не существует и не добавляется к нему. См. Пример в документах.