У меня есть веб-сайт, на котором для извлечения данных требуется использовать Nokogiri на многих разных веб-сайтах. Этот процесс запускается как фоновое задание с использованием гема delayed_job. Однако для запуска каждой страницы требуется около 3-4 секунд, потому что она должна приостанавливаться и ждать ответа от других веб-сайтов. В настоящее время я просто запускаю их, говоря
Websites.all.each do |website|
# screen scrape
end
, что я хотел бы выполнять их партиями, а не по одному, чтобы мне не приходилось ждать ответа сервера от каждого сайта (иногда это может занять до 20 секунд).
Как лучше всего сделать это с помощью рубина или рельсов?
Заранее спасибо за вашу помощь.