Виртуальная память и выравнивание - как они соотносятся друг с другом?

Я думаю, что понимаю выравнивание памяти, но меня смущает то, что адрес указателя в некоторых системах будет в виртуальной памяти, верно? Таким образом, большая часть проверок / обеспечения выравнивания, которые я видел, похоже, просто использует адрес указателя. Возможно ли, что адрес физической памяти не будет выровнен? Разве это не проблема для таких вещей, как SSE?