Преобразование числового конкретного типа в числовой универсальный тип

Я хотел бы знать, есть ли конкретное ограничение для числовых типов, которое позволяет приведение типов работать в следующем случае:

class MyClass<T>
{

...

void MyMethod()
{
    ....
    byte value = AnotherObject.GetValue()

    Tvalue = (T)value;
    ....
}

...

}

Я пробовал упаковывать и распаковывать, например:

Tvalue = (T)(object)value;

Но это работает, только если T == byte . В противном случае я получаю InvalidCastException .

T всегда числовой тип (например, short, float и т. Д.).