По самой своей природе ссылки могут быть установлены только в момент их создания; т. е. следующие две строки имеют очень разные эффекты:
int & A = B; // makes A an alias for B
A = C; // assigns value of C to B.
Futher, это незаконно:
int & D; // must be set to a int variable.
Однако, когда вы создаете вектор, присваивать значения своим элементам при создании. Вы, по сути, просто делаете целую кучу последнего примера.