boost::ptr_vector будет работать.
boost::ptr_vector
Edit: было предложено использовать std::vector< boost::ref >, который не будет работать, потому что вы не можете по умолчанию построить boost::ref .
std::vector< boost::ref >
boost::ref