Получение коэффициентов числа

Я пытаюсь реорганизовать этот алгоритм, чтобы сделать его быстрее. Что было бы здесь первым рефакторингом для повышения скорости?

public int GetHowManyFactors(int numberToCheck)
    {
        // we know 1 is a factor and the numberToCheck
        int factorCount = 2; 
        // start from 2 as we know 1 is a factor, and less than as numberToCheck is a factor
        for (int i = 2; i < numberToCheck; i++) 
        {
            if (numberToCheck % i == 0)
                factorCount++;
        }
        return factorCount;
    }