Почему Scala не Получает близко базовый InputStream?

Вы будете перестраивать колесо, чтобы быть уверенными. Но вот основы:

• список А непосещаемых URL - отбирает это с одной или несколькими начальными страницами
• список А посещаемых URL - таким образом, Вы не бродите вокруг в кругах
• Ряд правил для URL, Вы не интересуетесь - таким образом, Вы не индексируете целый Интернет

Помещенный они в персистентное устройство хранения данных, таким образом, можно остановить и запустить поисковый робот, не теряя состояние.

Алгоритм:

while(list of unvisited URLs is not empty) {
    take URL from list
    remove it from the unvisited list and add it to the visited list
    fetch content
    record whatever it is you want to about the content
    if content is HTML {
        parse out URLs from links
        foreach URL {
           if it matches your rules
              and it's not already in either the visited or unvisited list
              add it to the unvisited list
        }
    }
}