Запрет индексации страниц при помощи robots.txt

Как запретить поисковым роботам индексацию определенных страниц сайта на Joomla.
В предыдущем посте я написал как избавится от дублирования страниц при использовании модулей K2. Но если к этому времени Ваш сайт уже проиндексирован поисковыми системами , то необходимо избавится от ненужных дублей.

Пример запрета индексации при помощи файла robots.txt:
Disallow: /component/k2/item/*
Disallow: /component/k2/itemlist/*

Таким образом, поисковые системы не будут индексировать  страницы, адрес которых начинается с  «/component/k2/item/*» и «/component/k2/itemlist/*».
Также при помощи данного метода можно запрещать индексирование любых страниц при помощи файла robots.txt.
Остается подождать пару полноценных обновлений поисковых систем и мы увидим , что объем «ненужных» страниц в базе начнет сокращаться.

Если необходимо закрыть от индексации определенную страницу, то пишем адрес страницы полностью, например:

Disallow: /add_message.html