Я не мог найти удобный способ сделать это, поэтому я прибегнул к этой небольшой вспомогательной функции.
import matplotlib.pyplot as p
def plot_classes(x, y, plotfun=p.scatter, **kwargs):
from itertools import count
import numpy as np
classes = sorted(set(x))
class_dict = dict(zip(classes, count()))
class_map = lambda x: class_dict[x]
plotfun(map(class_map, x), y, **kwargs)
p.xticks(np.arange(len(classes)), classes)
Затем вызов plot_classes(data["class"], data["y"], marker="+")
должен работать как ожидалось.