Как я могу использовать повторный поиск Google в моем приложении (веб или консоль)

Как сделать Google-подобный повторный просмотр в моем приложении (веб или консоль). Мне нужно повторно сканировать только те страницы, которые обновляются после определенной даты.

Заголовок LastModified в System.Net.WebResponse дает только текущую дату сервера. Например, если я загрузил одну страницу с HTTPWebRequest 27 января 2012 года и проверил заголовок на дату LastModified, он показывает текущее время сервера, когда страница была обслужена. В данном случае это только 27 января 2012 года.

Кто-нибудь может предложить другие методы?