0
ответов
Папки Rails robots.txt
Я собираюсь запустить приложение Rails и в качестве последней задачи я не хочу устанавливать файл robots.txt. Я не смог найти информацию о том, как правильно писать пути для приложения Rails. Это начало ...
вопрос задан: 31 December 2016 06:12
0
ответов
301 перенаправляет на все кроме robots.txt
Мы переместили наш сайт на новый домен и хотим, чтобы все страницы старого сайта были удалены из поисковых систем. Это тот же сайт, тот же контент, просто новый домен, поэтому поисковым системам нужно время ...
вопрос задан: 1 November 2016 02:08
0
ответов
Noindex или запретить в роботах Symfony
Я работаю с Symfony 1.4 и хочу деактивировать индекс Google на своем веб-сайте. Какой код мне лучше всего использовать? роботы: без индекса, nofollow роботы: запретить
вопрос задан: 26 February 2015 13:36
0
ответов
Есть ли способ сделать копию: кому-то по ошибке / рабочему элементу в Microsoft Team Foundation Server?
Я использую Team Foundation Server с Visual Studio 2010 и с командой Инструменты питания Foundation Server. Обозреватель предупреждений в мощных инструментах позволяет настроить tfs для отправки предупреждений по электронной почте ...
вопрос задан: 27 January 2015 05:04
0
ответов
Как мне запретить Bing нерегулярно заваливать мой сайт трафиком?
Bingbot сильно ударит по моему сайту в течение нескольких часов каждый день, а в остальное время будет очень светло. Я бы хотел либо сгладить его сканирование, либо уменьшить его ограничение, либо заблокировать ...
вопрос задан: 14 April 2014 21:09
0
ответов
Отображение файлов Sitemap и файлов индекса Sitemap в robots.txt?
Мой сайт состоит из 3 основных разделов: Обзоры, Форум и Блог. У меня есть плагины для форума и блога, которые автоматически создают для них карты сайта. Плагин форума создает файл INDEX карты сайта ...
вопрос задан: 15 September 2013 20:14
0
ответов
Robots.txt Чтобы заблокировать доступ к URL на сайте после «?» Персонаж, но сама индексная страница
У меня есть небольшой мелодичный сайт Magento, который состоит из URL-адресов страниц, таких как: http://www.mysite.com/contact-us.html
http://www.mysite.com/customer/account/Login/ Однако у меня также есть страницы, которые включают фильтры (...
вопрос задан: 23 July 2013 20:10
0
ответов
Игнорировать URL-адреса в robot.txt с определенными параметрами?
Я бы хотел чтобы Google игнорировал URL-адреса, подобные этому: http://www.mydomain.com/new-printers?dir=asc&order=price&p=3 Все URL-адреса с параметрами dir, order и price следует игнорировать, но я ...
вопрос задан: 10 April 2013 10:48
0
ответов
Как запретить поисковым системам сканировать весь сайт?
Я хочу, чтобы поисковые системы не сканировали весь мой сайт. У меня есть веб-приложение, которым могут пользоваться сотрудники компании. Он размещен на веб-сервере, поэтому сотрудники компании могут получить доступ ...
вопрос задан: 22 March 2013 15:30
0
ответов
Java синтаксический анализатор robots.txt с подстановочной поддержкой
я ищу синтаксический анализатор robots.txt в Java, который поддерживает те же правила сопоставления с образцом как Googlebot. Я нашел, что некоторые библиотеки анализируют файлы robots.txt, но ни один из них не поддерживает Googlebot-...
вопрос задан: 21 December 2012 04:01
0
ответов
Как настроить файл robots.txt для блокировки всех каталогов, кроме 2
Я не хочу, чтобы какие-либо поисковые системы индексировали большую часть моего веб-сайта. Однако я хочу, чтобы поисковые системы индексировали 2 папки (и их детей). Это то, что я установил, но я не думаю, что это работает, я ...
вопрос задан: 8 August 2012 18:03
0
ответов
Синтаксис robots.txt непонятен [закрыто]
Я отправил свой файл robots.txt много лет назад в Google, и он все еще дает мне непонятный синтаксис для первой строки. После поиска в Google наиболее распространенной проблемой является добавление Google '?' в начале...
вопрос задан: 10 July 2012 19:10
0
ответов
как запретить индексацию сайта
Я знаю, что этот вопрос задавали много раз, но я хочу уточнить. У меня есть домен разработки, и я переместил сайт туда в подпапку. Скажем, с: http://www.example.com/ Кому: ...
вопрос задан: 26 May 2012 10:38
0
ответов
Есть ли причина не делать 301 на favicon.ico, apple-touch-icon и robots.txt?
Я хотел бы перенаправить запросы на эти ресурсы на мой CDN. Есть ли причина не делать этого?
вопрос задан: 4 April 2012 18:46
0
ответов
HTTP-заголовок для обнаружения запроса предварительной загрузки Google Chrome.
Google Chrome 17 представил новую функцию, которая предварительно загружает веб-страницу для повышения скорости рендеринга при фактическом выполнении запроса (нажатие ввода в омнибаре). Два вопроса:
Есть ли HTTP-заголовок для...
вопрос задан: 24 March 2012 13:58
0
ответов
Как сделать частный URL?
Я хочу создать частный URL как http://domain.com/content .php? secret_token = XXXXX Затем страницу смогут увидеть только посетители, у которых есть точный URL (например, полученный по электронной почте). Мы проверяем $ _GET ['...
вопрос задан: 9 February 2012 18:12
0
ответов
Веб-сканер - Игнорировать файл Robots.txt?
На некоторых серверах есть файл robots.txt, который не позволяет поисковым роботам сканировать свои веб-сайты. Есть ли способ заставить веб-сканер игнорировать файл robots.txt? Я использую Mechanize для python ....
вопрос задан: 5 December 2011 14:05
0
ответов
Можно ли контролировать скорость сканирования с помощью robots.txt?
Мы можем указать ботам сканировать или не сканировать наш веб-сайт в файле robot.txt. С другой стороны, мы можем контролировать скорость сканирования в Google Webmasters (сколько бот Google сканирует сайт). Интересно, это ...
вопрос задан: 16 October 2011 23:04
0
ответов
Роботекст-файл, указывающий на локальную карту сайта
Можно ли в файле robots.txt использовать относительный путь вместо абсолютного для указания карты сайта? Sitemap: http://www.example.com/sitemap.xml вместо: Sitemap: sitemap.xml ...
вопрос задан: 30 August 2011 15:25
0
ответов
robots.txt разрешить только root, все остальное запретить?
Я не могу заставить это работать, но это кажется очень простым. Я хочу, чтобы корень домена сканировался http://www.example.com Но сканировать больше нечего, и все подкаталоги являются динамическими http: // www ....
вопрос задан: 29 August 2011 05:31
0
ответов
Исключение тестового субдомена из сканирования поисковыми системами (с репозиторием SVN)
У меня есть: domain.com
test.domain.com Я хочу, чтобы domain.com сканировался и индексировался поисковыми системами, но не test.domain.com. Тестовый домен и основной домен используют один и тот же репозиторий SVN, поэтому ...
вопрос задан: 18 July 2011 23:05
0
ответов
Регулярное выражение для robots.txt
Я пытаюсь настроить свой robots.txt, но не уверен в регулярных выражениях. У меня есть четыре разные страницы на трех разных языках. Вместо того, чтобы перечислять каждую страницу по 3 раза, я решил, что ...
вопрос задан: 10 June 2011 13:05
0
ответов
Как установить Robots.txt или Apache разрешает поисковым роботам только в определенные часы?
Поскольку трафик распределяется неравномерно в течение 24 часов, я хотел бы запретить поисковым роботам в часы просмотра и разрешить их в нерабочее время. Есть ли способ для этого? Изменить:
спасибо за все ...
вопрос задан: 27 April 2011 06:51
0
ответов
Robots.txt, как разрешить доступ только к корню домена, и не глубже? [закрыто]
Я хочу разрешить поисковым роботам доступ к корневому каталогу моего домена (т.е. файлу index.html), но не более глубокому (т.е. без подкаталогов). Я не хочу перечислять и запрещать каждый подкаталог ...
вопрос задан: 5 March 2011 20:32
0
ответов
robots.txt в подкаталоге
У меня есть проект, который находится в папке под основным доменом, и у меня нет доступа к корню самого домена. http://mydomain.com/myproject/ Я хочу запретить индексацию в подпапке "...
вопрос задан: 29 January 2011 14:16
0
ответов
Robots.txt: Is это правило подстановочного знака действительно?
Простой вопрос. Я хочу добавить: Disallow * / * details-print / В основном, правила блокировки в форме / foo / bar / dynamic-details-print --- foo и bar в этом примере также могут быть полностью динамическими. Я ...
вопрос задан: 28 January 2011 21:53
0
ответов
robots.txt: user-agent: Googlebot disallow: / Google все еще индексирует
Посмотрите на robots.txt этого сайта: fr2.dk/robots.txt Содержимое: User -Агент: Googlebot
Disallow: / Это означает, что Google не должен индексировать сайт, не так ли? Если это правда, то почему сайт появляется в ...
вопрос задан: 22 January 2011 16:59
0
ответов
Вопрос о приоритете robots.txt
Если у меня есть эти строки в robots.txt: Disallow / folder /
Разрешить /folder/filename.php Будет ли тогда разрешен filename.php? В каком порядке Google определяет приоритеты строк? Что будет здесь для ...
вопрос задан: 3 January 2011 23:42
0
ответов
Отображение простого текста с помощью PHP
По какой-то причине я хочу обслуживать мой robots.txt через скрипт PHP. Я настроил apache, чтобы файл robots. txt (фактически все запросы к файлу) поступают в один PHP-скрипт. Код, который я использую для ...
вопрос задан: 22 December 2010 09:25
0
ответов
Карта сайта для сайта с большим количеством динамических поддоменов
I У меня есть сайт, который позволяет пользователям создавать поддомены. Я хотел бы отправить эти пользовательские поддомены в поисковые системы через карты сайта. Однако, согласно протоколу карт сайта (и Google Webmaster ...
вопрос задан: 7 October 2010 10:11