Почему реализации умных указателей в C++ хранят счетчик ссылок на куче вместе с указателем?

Читая Alexandrescu и wikipipidia, я вижу, что указатель и счетчик ссылок хранятся на куче. Затем упоминается, что подсчет ссылок неэффективен, так как счетчик должен быть выделен на куче? Почему он не хранится в стеке?