Недавно я начал изучать веб-сканеры и создал образец поискового робота с Ruby, Anemone и Mongodb для хранения. Я тестирую краулер на большом общедоступном веб-сайте с, возможно, миллиардами ...