Что является оптимальной продолжительностью для поискового робота для ожидания между повторными запросами к веб-серверу
использовать position:absolute для тела карты
.card-body{
position:absolute;
bottom:0;
}
.card-img-top {
width: 100%;
border-top-left-radius: calc(0.25rem - 1px);
border-top-right-radius: calc(0.25rem - 1px);
}
.card {
position: relative;
display: -ms-flexbox;
display: flex;
-ms-flex-direction: column;
flex-direction: column;
min-width: 0;
height: 650px;
word-wrap: break-word;
background-color: #fff;
background-clip: border-box;
border: 1px solid rgba(0, 0, 0, 0.125);
border-radius: 0.25rem;
}
.card-body{
position:absolute;
bottom:0;
}<script src="http://code.jquery.com/jquery-3.3.1.slim.min.js"></script>
<link href="http://stackpath.bootstrapcdn.com/bootstrap/4.1.0/css/bootstrap.min.css" rel="stylesheet"/>
<script src="https://cdnjs.cloudflare.com/ajax/libs/popper.js/1.14.0/umd/popper.min.js"></script>
<script src="http://stackpath.bootstrapcdn.com/bootstrap/4.1.0/js/bootstrap.min.js"></script>
<link href="https://stackpath.bootstrapcdn.com/font-awesome/4.7.0/css/font-awesome.min.css" rel="stylesheet"/>
<div class="card" style="width: 18rem;">
<img class="card-img-top fluid-img" src="briefcase.png" alt="Card image cap">
<div class="card-body">
<h5 class="card-title">Suit</h5>
<p class="card-text">Professional, business executive look.</p>
<p class="text-center">€299</p>
<a href="#" class="btn btn-success btn-block">Add to cart</a>
</div>
</div>3 ответа
That will depend on how often the content changes. For example, it makes sense to crawl a news site more often than a site with static articles.
As to exactly how to determine the optimum - it will depend on how you judge the cost of fetching, indexing etc against the value of having up-to-date data. That's entirely up to you - but you will probably have to use some heuristics to work out how much the site is changing over time, based on observations. If a site hasn't changed for three fetches in a row, you might want to wait a little bit longer before fetching next time. Conversely, if a site always changes every time you fetch it, you might want to be a little bit more aggressive to avoid missing updates.
В этой статье на IBM подробно рассматриваются , как веб-сканер использует протоколы исключения роботов и настройки интервала сканирования в веб-сканере
Цитировать статьи.
При первом сканировании страницы сканер использует дату и время сканирования страницы, а также среднее из указанных минимальных и максимальных интервалов сканирования, чтобы установить дату повторного сканирования. Страница не будет переписана до этой даты. Время повторного сканирования страницы после этой даты зависит от загрузки сканера и баланса новых и старых URL-адресов в пространстве для сканирования.
Каждый раз, когда страница сканируется повторно, сканер проверяет, изменилось ли содержимое. , Если содержимое изменилось, следующий интервал повторного сканирования будет короче, чем предыдущий, но никогда не короче указанного минимального интервала повторного сканирования. Если содержимое не изменилось, следующий интервал повторного сканирования будет длиннее, чем предыдущий, но никогда не будет превышать указанный максимальный интервал повторного сканирования.
Это касается их веб-сканера, но очень полезно при чтении при создании собственного инструмента.
Я не думаю, что существует минимальный интервал между тем, как часто вы можете заходить на сайт, так как он сильно зависит от текущей нагрузки на сервер и возможностей сервера.
Вы можете попробовать протестировать время отклика и время ожидания, если один сайт реагирует медленно или получает сообщения об ошибках времени ожидания, вам следует увеличить интервал повторного обращения, даже если это не ваш сканер, вызывающий замедление или время ожидания.