Byte vs Short vs Int (наряду с беззнаковой вариацией) В C #?

Мне сказали, что пока размер памяти не является большой проблемой, всегда лучше использовать int вместо байта или short, потому что на самом деле процессору проще обрабатывать int (CPU должен делать дополнительные вещи для работы с байтами и шортами). Верно ли это в C #?