10
ответов
Этика robots.txt [закрывается]
У меня есть серьезный вопрос. Это когда-либо этично для игнорирования присутствия файла robots.txt на веб-сайте? Это некоторые соображения, которые я получил в памяти: Если кто-то поднимает веб-сайт, они...
вопрос задан: 13 March 2015 14:02
10
ответов
Мета-тег против robots.txt
Лучше ли использовать метатеги * или файл robots.txt для информирования пауков / сканеров о включении или исключении страницы? Есть ли проблемы с использованием как метатегов, так и файла robots.txt? * Например: < #META ...
вопрос задан: 27 July 2010 21:50
5
ответов
Как настроить robot.txt, который разрешает только страницу сайта по умолчанию
Скажем, у меня есть сайт на http://example.com. Мне бы очень хотелось, чтобы боты могли видеть домашнюю страницу, но любая другая страница должна быть заблокирована, поскольку паукам это бессмысленно. Другими словами, http://example.com & ...
вопрос задан: 2 November 2014 12:06
5
ответов
Доступ к конструктору анонимного класса
Позволяет говорят, что у меня есть реальный класс Class1, и я создаю анонимный класс из него. Возразите =, новые Class1 () {освобождают someNewMethod () {}}; Теперь есть ли любой способ, которым я мог...
вопрос задан: 30 June 2009 04:59
4
ответа
Куда поместить файл robots.txt? [закрытый]
Куда должен поместить robots.txt? domainname.com/robots.txt или domainname/public_html/robots.txt, я поместил файл в domainname.com/robots.txt, но он не открывается, когда я ввожу это в браузере. высокий звук...
вопрос задан: 19 July 2017 19:34
4
ответа
Googlebot, не уважая [закрытый] Robots.txt
По некоторым причинам, когда я начинаю работу, Google Webmaster Tool's "Анализируют robots.txt" для наблюдения, какие URL заблокированы нашим файлом robots.txt, это не то, что я ожидаю. Вот отрывок с начала...
вопрос задан: 20 January 2009 23:40
4
ответа
Googlebots игнорирование robots.txt? [закрытый]
У меня есть сайт со следующим robots.txt в корне: агент пользователя: * Отключенный: / Агент пользователя: Отключенный Googlebot: / Агент пользователя: Googlebot-изображение Запрещает: / И страницы на этом сайте добираются...
вопрос задан: 5 December 2008 19:12
3
ответа
Как я могу блокировать и разрешать URL-адреса страниц, используя robots.txt, который содержит числа? [Дубликат]
Я почти ищу почти половину блогов и amp; форумы, связанные с robots.txt, но не могут найти ответы на мой вопрос. У меня есть веб-сайт с URL-адресами, например: https://www.example.com/delhi/ (...
вопрос задан: 10 April 2013 11:48
3
ответа
Звездочка в [закрытом] robots.txt
Удивление, если следующее будет работать на Google в robots.txt, Запрещает:/*.action я должен исключить все URL, заканчивающиеся .action. Это корректно?
вопрос задан: 12 March 2010 18:28
3
ответа
Как предоставить доступ поисковых роботов к index.php только, с помощью robots.txt?
Если я захочу только позволить поисковые роботы доступу index.php, то это будет работать? Агент пользователя: * Запретите: / Позвольте:/index.php
вопрос задан: 28 October 2009 14:39
3
ответа
robots.txt: запретить все кроме выбора немногие, почему нет? [закрытый]
Я думал некоторое время о запрещении каждого поискового робота кроме, Спрашивают, Google, Microsoft и Yahoo! от моего сайта. Обоснование позади этого состоит в том, что я никогда не видел, что любой трафик сгенерирован любым...
вопрос задан: 13 February 2009 14:01
2
ответа
Как я настраиваю nginx для перенаправления к URL для robots.txt & sitemap.xml
Я выполняю nginx 0.6.32 как фронтенд прокси для couchdb. У меня есть свой robots.txt в базе данных, достижимой как http://www.example.com/prod/_design/mydesign/robots.txt. У меня также есть свой sitemap.xml который...
вопрос задан: 1 December 2015 01:40
2
ответа
Robots.txt: позвольте только главный SE
Существует ли способ настроить robots.txt так, чтобы сайт принял посещения ТОЛЬКО Google, Yahoo! и пауков MSN?
вопрос задан: 14 April 2014 19:02
2
ответа
Несколько Карта сайта: записи в robots.txt?
Я искал вокруг использования Google, но я не могу найти ответ на этот вопрос. Файл robots.txt может содержать следующую строку:Карта сайта: http://www.mysite.com/sitemapindex.xml, но является этим...
вопрос задан: 27 August 2013 10:58
2
ответа
Как я изменяю robots.txt в Plone?
У меня есть сайт Plone, который я администрирую, и я хотел бы добавить некоторые страницы к Запрещению robots.txt. Кажется, что Plone автоматически генерирует файл robots.txt. Я не могу найти способ изменить...
вопрос задан: 31 July 2013 12:02
2
ответа
как запретить всем динамическим URL [закрытый] robots.txt
как запретить все динамические URL в robots.txt, Запретите:/? q=admin/Запрещают:/? q=aggregator/Запрещают:/? q=comment/reply/Запрещают:/? q=contact/Запрещают:/? q=logout/Запрещают:/? q=node/add/...
вопрос задан: 29 September 2009 22:55
1
ответ
Как заставить поисковые системы использовать мой обновленный файл robots.txt?
Раньше я блокировал роботов поисковых систем, чтобы предотвратить сканирование моего веб-сайта с помощью файла robots.txt, но теперь я хочу разблокировать их. Я обновил файл robots.txt и разрешил поисковику ...
вопрос задан: 24 March 2019 06:52
1
ответ
Ошибка в файле robots.txt продолжает накапливаться, даже если она исправлена
Кто-то испортил наш robots.txt, случайно добавив \ n после всего нашего разрешения: / products / всего около 30 000 страниц. Ошибки на нескольких языковых сайтах. Это один из наших ...
вопрос задан: 18 January 2019 18:01
1
ответ
Исключить сайт Oracle из поисковых систем?
Я разработчик C #, и в прошлом году я взял на себя несколько проектов на работе, которые полностью сделаны в Oracle. У меня 0 опыта работы с оракулом. Внезапно веб-сайты видны в Google, который ...
вопрос задан: 16 January 2019 09:06
1
ответ
Синтаксический анализатор robots.txt Java
Я хочу знать, как проанализировать robots.txt в Java. Уже есть ли какой-либо код?
вопрос задан: 7 October 2013 10:51
1
ответ
Как я запрещаю определенную страницу из robots.txt
Я создаю две страницы на своем сайте, которые очень похожи, но служат различным целям. Быть благодарен за то, что пользователи оставляют комментарий, и другой должен поощрить пользователей подписываться. Я не хочу...
вопрос задан: 15 August 2010 06:29
1
ответ
Кто-либо заставил любой код C# анализировать robots.txt и оценивать URL против него
Короткий вопрос: Имеет кого-либо, заставил любой код C# анализировать robots.txt и затем оценивать URL против него, так посмотрите, были ли они бы исключены или нет. Долгий вопрос: Я создавал карту сайта для нового...
вопрос задан: 11 March 2009 06:00
0
ответов
Facebook и задержка сканирования в Robots.txt?
Соблюдают ли роботы веб-сканирования Facebook директиву Crawl-delay: в файлах robots.txt?
вопрос задан: 27 June 2019 14:52
0
ответов
Ошибка YQL «Перенаправлен на URL-адрес с ограниченным доступом в robots.txt» для домена Google
Я использую консоль YQL и хочу вернуть результаты из этого ссылка в Google Покупках. Используя в YQL следующее: выберите контент из html, где url = "www.google.com/products/seller?hl=en&q = ...
вопрос задан: 31 May 2019 08:21
0
ответов
& ldquo; Disallow: / test / programmming & rdquo; или & ldquo; Запретить: / Программирование & rdquo ;?
Я управляю сайтом под WordPress. Нам пришлось изменить URL сайта на example.com/test. Итак, теперь у меня есть 2 свойства в консоли поиска: одно с корневым доменом (example.com). Другой с ...
вопрос задан: 7 March 2019 01:38
0
ответов
Статические файлы во Flask - robot.txt, sitemap.xml (mod_wsgi)
Есть ли какое-нибудь умное решение для хранения статических файлов в корневом каталоге приложения Flask.
Ожидается, что файлы robots.txt и sitemap.xml находятся в /, поэтому я решил создать для них маршруты: @app ....
вопрос задан: 27 February 2019 12:25
0
ответов
Robots.txt Разрешить подпапку, но не родительскую
Кто-нибудь может объяснить правильную команду robots.txt для следующего сценария. Я хотел бы разрешить доступ к: / directory / subdirectory / .. Но я также хотел бы ограничить доступ к / ...
вопрос задан: 20 November 2018 01:36
0
ответов
Запретить или Noindex на поддомен с robots.txt
У меня есть dev.example.com и www.example.com, размещенные на разных поддоменах. Я хочу, чтобы сканеры отбрасывали все записи поддомена dev, но оставляли их на www. Я использую Git для хранения кода для обоих, так что ...
вопрос задан: 11 July 2018 04:15
0
ответов
блокировать роботов Google для URL-адресов, содержащих определенное слово
у моего клиента есть загрузка страниц, которые они не хотят индексировать Google - все они называются http://example.com/page-xxx, поэтому они / page -123 или / page-2 или / page-25 и т. Д. Есть ли способ остановить ...
вопрос задан: 27 October 2017 16:19
0
ответов
Подробная информация о жалобе на доступ к памяти GDB
У меня есть объектный файл, скомпилированный с использованием as (из кода ассемблера). Если я свяжу его с помощью ld, при попытке stepi (или nexti) gdb пожалуется на доступ к памяти по адресу 0x0. Если я свяжу его с помощью gcc, все будет ...
вопрос задан: 23 March 2017 09:47