Макрос предлагает мне выбрать файл, даже когда он открыт

Я почти уверен, что вы должны протестировать полную ссылку:

 Dim test As String  
 test = ThisWorkbook.Path & "\"  
 'your WITH block code...
   .Formula = "=IF(AND(ISNUMBER(VALUE(MID(Q1, 2, 1))),LEFT(TRIM(Q1), 1) = ""R""),VLOOKUP(Q1 & "" *"",'" & test & "[old.xls]Sheet1'!$D:$V,19,0),VLOOKUP(Q1,'" & test & "[old.xls]Sheet1'!$E:$V,18,0))"

Если все еще есть подсказка, я бы закрыл файл old.xls и проверил простое открытие файла:

 Sub openTest()
   Dim test As String
   test = ThisWorkbook.Path & "\old.xls"
   Workbooks.Open (test)
 End Sub