C #int -или объект -to -объяснение ошибки двойного приведения

Приведенный ниже код завершается ошибкой при последнем назначении:

static void Main(string[] args)
{
    int a = 5;
    object b = 5;

    System.Diagnostics.Debug.Assert( a is int && b is int );

    double x = (double)a;
    double y = (double)b;
}

Если и a, и b равны int, в чем причина этой ошибки?