байтовый массив C # на фиксированный указатель int

можно ли каким-то образом привести тип указателя, созданного оператором fixed ()?

Вот такая ситуация:

У меня есть массив байтов, который я хотел бы перебрать, но я бы хотел, чтобы значения обрабатывались как int, таким образом, имея int * вместо байта *.

Вот примерный код:

byte[] rawdata = new byte[1024];

fixed(int* ptr = rawdata) //this fails with an implicit cast error
{
    for(int i = idx; i < rawdata.Length; i++)
    {
        //do some work here
    }
}

Можно ли это сделать, не выполняя приведение внутри итерации?