Vim: как предотвратить скачки из текущего буфера?

У меня часто бывает несколько открытых буферов в моем сеансе Vim. Это означает, что мой список переходов хранит местоположения из нескольких буферов. Однако часто, когда я использую Ctrl-o для перехода в предыдущее место, я не хочу покидать буфер и хочу перейти к предыдущим местам, «локальным» для текущего буфера. Как мне это сделать?

Пример: Если мой список переходов выглядит следующим образом:

4   10   1 ~/aaa.m
3   20   1 ~/aaa.m
2   12   2 ~/xxx.m
1   15   1 ~/aaa.m

Я хочу перейти к строке 15 файла aaa.m при первом нажатии Ctrl-o. Важно отметить, что в следующий раз, когда я нажму Ctrl-o, я не хочу переходить к файлу xxx.m. Скорее я хочу перейти к строке 20 файла aaa.m; то есть мое предыдущее местоположение в «текущем» буфере. По умолчанию Vim переводит меня в строку 12 файла xxx.m. Есть идеи, как я могу этого добиться?