Очередь URL-адресов поискового робота или список хэшей?

Я переписываю часть приложения-картера сайта на Delphi 6, которую я написал ранее. Приложение сканирует один сайт.

Мне нужно управлять двумя аспектами этого:

  1. Очередь для URL-адресов для сканирования в порядке очереди.
  2. Отсканированный список URL-адресов, чтобы ссылки с новой страницы не добавляются в очередь, если они уже были посещены. В этом списке необходимо будет выполнить поиск.

Раньше это выполнялось с помощью TList и StringList соответственно. Очевидно, их производительность снизилась на сайтах с тысячами ссылок.

Мой вопрос: что следует использовать для этих очередей / списков, чтобы обеспечить лучшую производительность? У меня мало опыта работы с хешами.

6
задан MikeD 28 July 2011 в 13:00
поделиться