Мое первоначальное предположение - узкие места в общей памяти. Судя по вашим словам, ваша производительность практически не растет после 2 CPU. Вы изначально вините Redhat, но мне было бы любопытно посмотреть, что произойдет, если вы установите Ubuntu на то же оборудование. Я предполагаю, конечно, что вы используете 64-битные SMP-ядра в обоих тестах.
Вероятно, невозможно, чтобы материнская плата использовала 2 процессора. У вас есть другая машина с несколькими ядрами, которая обеспечила лучшую производительность. Включена ли у вас гиперпоточность на новой машине? (и как этот ответ соотносится со старой машиной?). Вы, случайно, не работаете в виртуализированной среде?
В целом, ваши доказательства указывают на то, что где-то есть невероятно медленное узкое место. Как вы сказали, вы не связаны с вводом-выводом, так что остаются процессор и память. Либо что-то не так с аппаратным обеспечением, либо что-то не так с аппаратным обеспечением. Проверьте одно, изменив другое, и вы быстро сузите круг возможных вариантов.