Robots.txt Чтобы заблокировать доступ к URL на сайте после «?» Персонаж, но сама индексная страница

У меня есть маленький сайт Magento, который состоит из URL-адресов страницы, как:

http://www.mysite.com/contact-us.html
http://www.mysite.com/customer/account/login/

, однако я Также есть страницы, которые включают фильтры (например, цена и цвет), и после того, как такой пример будет:

http://www.mysite.com/products.html?price=1%2C1000

или

http://www.mysite.com/products/chairs.html?price=1%2C1000

проблема в том, что когда Google Bot и другие поисковые боты ищут сайт, по существу, измельчают, потому что они Застрявте во всех «фильтрующих ссылках».

Итак, в файле Robots.txt , как он может быть настроен, например:

user-Agent: *

Разрешить:

Незаберите:

, чтобы позволить все страницы, такие как:

http://www.mysite.com/contact-us.html
http://www.mysite.com/customer/account/login/

, чтобы получить индексируемый, но в случае http://www.mysite.com/products/chairs.html?price=1%2C1000 Products.html Но игнорируйте все контент после «?» Оцу же для
http://www.mysite.com/products/chairs.html?price=1%2C1000

I Также не хочу указывать каждую страницу, в свою очередь просто правило, чтобы игнорировать все после ? Но не сама главная страница.