как запустить сразу несколько потоков очистки экрана nokogiri

У меня есть веб-сайт, на котором для извлечения данных требуется использовать Nokogiri на многих разных веб-сайтах. Этот процесс запускается как фоновое задание с использованием гема delayed_job. Однако для запуска каждой страницы требуется около 3-4 секунд, потому что она должна приостанавливаться и ждать ответа от других веб-сайтов. В настоящее время я просто запускаю их, говоря

Websites.all.each do |website|
  # screen scrape
end

, что я хотел бы выполнять их партиями, а не по одному, чтобы мне не приходилось ждать ответа сервера от каждого сайта (иногда это может занять до 20 секунд).

Как лучше всего сделать это с помощью рубина или рельсов?

Заранее спасибо за вашу помощь.

5
задан Nick Barrett 21 March 2011 в 13:22
поделиться