Попробуйте следующее:
((.|\n)*)<FooBar>
В основном он говорит «любой символ или символ новой строки», повторяющийся ноль или более раз.
Очевидно, что вы не можете знать, не отправляя HTTP-запросы, чтобы увидеть, какие перенаправления они делают, пока вы не нажмете HTTP 200.
Стоит ли сначала попробовать http: // или https: //, это зависит от того, что вы пытаетесь сделать. При сканировании веб-сайта - первый, если вы намереваетесь использовать эти ссылки в общедоступных веб-службах, затем второй.
Так что я бы сделал это следующим образом:
NB большинство веб-сайтов, использующих www, будут перенаправлены с пустого домена. HTTPS-сайты будут перенаправлять с http: // на https: // тоже. Таким образом, самый безопасный запрос, который вы можете сделать, это no-www + http: //, но я бы начал с предположения о https, так как шифрование сети сейчас является общей тенденцией.
Просто запросите URL с простым HTTP-запросом и посмотрите, куда вы будете перенаправлены. Не все сайты предлагают HTTPS, но практически все будут предлагать HTTP (в случае сбоя HTTP вы можете повторить попытку с HTTPS, но это будет чрезвычайно редко). Вы не можете предполагать, что субдомен www.
существует, это совершенно произвольное, устаревшее соглашение, не имеющее технического смысла.