Система для отслеживания изменений в записях whois
Каков лучший механизм хранения (от представления базы данных, которая будет использоваться и система для хранения всех записей) для системы, созданной для отслеживания изменений записи whois? Программа будет запущена один раз в день, и дорожка должна отслеживаться то, чем было предыдущее значение и каково новое значение.
Предложения на базе данных и мысли о том, как сохранить различные записи/поля так, чтобы данные не избыточный/копировали
(Добавленный) Мои мысли об одном механизме, чтобы хранить данные
Продажа показа случая в качестве примера одного домена "sample.com" от персоны к personB 01.01.2010
Table_DomainNames
DomainId | DomainName
1 example.com
2 sample.com
Table_ChangeTrack
DomainId | DateTime | RegistrarId | RegistrantId | (others)
2 1/1/2009 1 1
2 1/1/2010 2 2
Table_Registrars
RegistrarId | RegistrarName
1 GoDaddy
2 1&1
Table_Registrants
RegistrantId | RegistrantName
1 PersonA
2 PersonB
Все таблицы являются "только добавлением". Эта модель имеет смысл? Table_ChangeTrack должен быть то, " добавил к" только, когда существует любое изменение в ЛЮБОМ из контролируемых полей.
Есть ли какой-либо способ сделать это более эффективным / более трудный с точки зрения размера??
3 ответа
Первичные данные - это наличие или изменения записей whois. Это предполагает, что ваша основная таблица должна быть:
<id, domain, effective_date, detail_id>
где detail_id указывает на фактические данные whois, вероятно, нормализованные сами:
<detail_id, registrar_id, admin_id, tech_id, ...>
Но обратите внимание, что большинство регистраторов считают информацию своей собственностью (независимо от того, есть она или нет) и имеют такие предупреждения, как:
УСЛОВИЯ ИСПОЛЬЗОВАНИЯ: Вы не авторизованы для доступа или запроса нашей базы данных Whois за счет использования электронных процессы с большим объемом и автоматизировано, за исключением разумных необходимо зарегистрировать доменные имена или изменить существующие регистрации ...
Из чего можно ожидать, что они отключат вас, если вы будете слишком много читать их базы данных.
вы можете написать vbscript в файле Excel, чтобы выйти и запросить веб-страницу (в данном случае это конкретный URL-адрес whois для определенного сайта), а затем сохранить результаты обратно на лист в excel.
Вы можете
- сохранить контрольную сумму нормализованной формы полей данных записи whois для сравнения.
- сохраняют исходную и текущую версию данных (возможно, в сжатом виде), если требуется.
- при необходимости сохраняют различия каждого обнаруженного изменения (возможно, в сжатом виде).
Это очень похоже на то, как работают системы инкрементного резервного копирования. Может быть, оттуда ты почерпнешь дальнейшее вдохновение.