Оптимизация sql запросов mysql. Оптимизация запросов MySQL. Зачем оптимизировать запросы к базе данных

Практически каждый вебмастер, особенно на начальном этапе создания проекта, сталкивался с необходимостью удаления страниц веб-сайта из индекса поисковиков. Даже не взирая на то, что процедура, на первый взгляд, довольно простая, у многих все же возникают трудности.

Порой владельцу веб-ресурса приходиться скрывать документ от поисковиков по следующим причинам:

сайт находится в стадии разработки и попал в выдачу совершенно случайно;
контент на странице больше неактуален;
документ дублирует другую страницу, которая уже есть на сайте;
в индекс попали служебные страницы, где размещены личные данные клиентов.

Во избежание таких случаев, сегодня мы поговорим о 4 эффективных способах удаления страницы из индекса поисковых систем.

Как закрыть страницу от поисковиков с помощью панели вебмастера?

Данный метод закрытия доступа к страницам вашего сайта для поисковых роботов считается одним из самых легких. Причем этот инструмент идеально подходит для тех случаев, когда определенные URL нужно удалить срочно.

Yandex

Для этого вам понадобится сервис Яндекс.Вебмастер . Как добавлять сайт на эту площадку для ускорения индексации, мы рассказывали . Перейдите по ссылке https://webmaster.yandex.ru/tools/del-url/ и добавьте в соответствующее поле адрес конкретной страницы, затем нажмите «Удалить».

С большой долей вероятности Yandex попросит вас ускорить процесс удаления страницы из базы данных системы. Для этого вам нужно предварительно закрыть ее от ботов через файл либо мета-тег robots, или сделать так, чтобы сервер выдавал ошибку 404. Про то, как это сделать, мы поговорим чуть позже.

Понадобится несколько часов или даже дней, прежде чем боты удалят документ из базы. Это связано с тем, что системе нужно будет отслеживать его статус и убедиться, что он уже не изменится.

Google

Авторизируйтесь на площадке Google Webmaster Tools . Предварительно добавьте свой сайт в индекс, если вы еще этого не сделали. Затем найдите там вкладку «Индекс Google», и под ним «Удалить URL адреса». В появившемся окне выберите опцию создания запроса на удаление, и укажите в поле адрес удаляемого документа. Затем отправьте запрос.

Ошибка 404 на сервере

Наверняка каждый пользователь, ища нужную информацию в Интернете, попадал на страницу, где выдавало ошибку 404 – «Страница не найдена» . Это значит, что искомый по вашему запросу документ был удален с ресурса.

Сделать это вебмастер может в панели управления сайтом, например, . Для поисковиков это означает, что вы настраиваете ответ сервер этой страницы так, чтобы на определенном адресе появился код 404 not found . И когда робот снова посетит данный URL, сервер сообщит ему, что страницы больше нет. Это дает понять поисковикам, что документ удален с сайта, и они уберут его из поисковой выдачи, чтобы посетители не заходили на него и не читали ошибку 404.

К характерным особенностям данного способа можно отнести:

Простую настройку всего за несколько кликов.
Полное исчезновение документа из веб-ресурса. Из-за этого не рекомендуется использовать данный метод в случае, когда из индекса нужно убрать служебную страницу (конфиденциальную информацию клиентов и пр.).
Также стоит прибегнуть к другому варианту скрытия страницы, например, 301 редирект, если на нее ведут входящие ссылки.

Важно! Страница выпадает из поискового индекса не за счет ее удаления с ресурса, а за счет дальнейшей переиндексации. Поэтому для ее удаления вам придется ждать около 2ух недель, пока бот вновь не посетит ресурс.

Для вебмастеров такой метод является одним из самых удобных, а вот посетителю ошибка 404 может не понравиться, и есть риск того, что пользователь, увидев ее, перестанет заходить на сайт. Но выход есть и из этой ситуации.

На заметку. Очень часто сайтостроители занимаются интересным оформлением страницы, на которой вылетает ошибка 404 not found. Они выкладывают туда полезную информацию и предлагают посетить другие страницы ресурса, которые непременно привлекут внимание посетителя. Так вы сделаете эту страницу более привлекательной для пользователя, что непременно положительно скажется на его рейтинге и узнаваемости.

Изменение файла robots.txt

Еще один распространенный метод, к которому прибегают вебмастера. Он позволяет скрыть отдельные документы и целые разделы. В файле robots вы можете не только запретить, но и разрешить поисковым ботам индексировать сайт или определенные страницы. Подобные команды обеспечиваются применением директивы Disallow.

Для скрытия страницы от поисковых машин, вам нужно получить доступ к корневой папке сайта. В документе robots.txt в основном содержатся 2 строки:

User- agent. Здесь указывается имя робота определенного поисковика, которому вы запрещаете сканировать страницу, или же прописывается код User-agent: * , применимый сразу для всех ботов.
Disallow. Тут прописывается URL удаляемой страницы.

Вместе они создают команду для поисковых машин, касающуюся указанного URL. Если требуется, вы можете в одном файле скрыть сразу несколько документов на одном ресурсе, и они никак не будут влиять друг на друга.

Например, вот так мы укажем всем поисковым роботам, чтобы они не индексировали страницы index и password на нашем сайте

User-agent: * Disallow: /index Disallow: /password

Когда вы пропишите данную команду, нужно будет ждать следующей индексации. Вам стоит знать, что все изменения в файле robots несут для поисковиков рекомендательный характер, поэтому не удивляйтесь, если объект по-прежнему останется в индексе, но с пометкой о скрытии через robots.txt. Но если через определенный промежуток времени статус документа не изменится, он все же будет удален из базы данных поисковых систем.

Важно! Если на удаленных страницах есть внешние ссылки, то они останутся доступными для перехода именно по ним. Это связано с тем, что команды в файле robots не удаляют объект из поисковой выдачи фактически, а лишь скрывают его из результатов.

Мета-тег Robots

Если не вдаваться в подробности, то этот способ аналогичен вышеуказанному, вот только все команды прописываются в html-коде сайта внутри тегов head:

Все изменения также будут произведены после индексации. Преимущество использования мета-тега robots заключается в том, что посредством него из поиска можно удалить множество URL без необходимости изменения самого файла robots. Данный способ идеально подходит для начинающих сайтостроителей, которые постепенно создают новые страницы.

Также это отличный вариант тогда, когда вам нужно закрыть страницу от индекса Яндекса, но при этом оставить ее доступной в Google. Или же когда вы хотите удалить объект из поиска, но оставить информацию доступной на самом сайте.

Пример закрытия URL только для Яндекса:

Важно! Прописывание мета-тегов отличается от изменения robots.txt тем, что с их помощью вы сможете удалить объект из поиска, даже если на него ведут внешние ссылки. Этому способствует мета-тег noindex. Однако если ваш сайт создан не на базе WordPress, то процедура будет более сложной. Дело в том, что в WP есть специальный плагин Yoast SEO, который и позволяет удалять страницы мета-тегами.

Заключение

Если у вас вдруг появилась необходимость удалить отдельную страницу своего сайта из поискового индекса, вы с легкостью можете воспользоваться всеми указанными в данной статье методами. Выбирайте тот, который для вас более удобный, но при этом учитывайте характерные особенности каждого из них. Вообще, если вы хотите закрыть документ в максимально кратчайшие сроки, используйте сразу несколько вариантов.

Привет, друзья! Надеюсь, что вы отлично отдохнули на майские праздники: наездились на природу, наелись шашлык и нагулялись по расцветающей природе. Теперь же нужно возвращаться к активной работе =) .

Сегодня я покажу результаты одного небольшого эксперимента по удалению всех страниц сайта из поисковых систем Яндекса и Google. Его выводы помогут при выборе одного из методов для запрета индексирования всего ресурса или отдельных его частей.

Передо мной встала задача - закрыть сайт к индексированию без потери его функционала. То есть ресурс должен работать, но удалиться из индекса поисковых систем. Конечно, самый верный способ просто удалить проект с хостинга. Документы будут отдавать 404-ошибку и со временем "уйдут" из базы поисковиков. Но задача у меня была другая.

определить, какой метод запрета индексации приоритетней для поисковых систем;
понаблюдать в динамике за скоростью ;
собственно, удалить проекты из баз ПС.

В эксперименте участвовало 2 сайта (всем больше года). Первый: в индексе Яндекса 3000 страниц, Google - 2090. Второй: Яндекс - 734, Google - 733. Если не удалять ресурс с хостинга, то остаются 2 популярных варианта: тег meta name="robots" и запрет в robots.txt.

Для первого сайта на каждой странице была добавлена строка:

Для второго был составлен следующий robots.txt:

User-agent: *
Disallow: /

Эксперимент стартовал 14 декабря и продолжился до 9 мая. Данные снимались примерно на даты апдейтов Яндекса.

Результаты

Ниже графики динамики количества проиндексированных страниц. Сначала сайт №1 (метод удаления тег meta name="robots").

Как видно, поисковые системы вели себя примерно по одному сценарию. Но есть и различия. В Яндексе ресурс был полностью удален 10 февраля, когда в Google оставалось еще 224 страницы. Что говорить, спустя 5 месяцев там еще остается 2 десятка документов. Гугл очень трепетно относится к проиндексированным страницам и не хочет никак их отпускать .

Сайт №2 (способ запрета файл - robots.txt).

Здесь ситуация разворачивалась интереснее . Яндекс достаточно быстро (меньше чем за месяц) удалил все страницы. Гугл же за месяц выкинул из индекса около 100 документов, потом через месяц еще 200 и практически застыл на месте.

4 апреля мне надоело ждать и я поменял метод запрета с robots.txt на meta name="robots". Это принесло свои плоды - через месяц в базе Google осталось только 160 страниц. Примерно такое же количество остается и по сей день.

Примечателен еще один момент. Несмотря на то, что страницы из индекса удалялись достаточно долго, трафик с поисковиков начал падать значительно быстрее.

Получается, что ПС понимают, что вебмастер запретил ресурс или его документы к индексированию, но почему-то продолжают их там держать .

Выводы

Яндекс любит больше работу с robots.txt;
Google любит больше работу с meta name="robots". В связи с тем, что Гугл крайне не любит robots.txt, то универсальным будет именно способ с тегом. Совмещать методы нельзя, потому как, запретив ресурс в robots.txt, поисковый паук не сможет прочитать правила для meta name="robots".
Зеркало Рунета достаточно быстро удаляет документы при любом методе. Зарубежный поисковик делает это неохотно - очень тяжело добиться полного удаления из базы.

Вот такой получился небольшой эксперимент. Да, конечно, выборка совсем небольшая, но и она смогла подтвердить мои предположения. В прикладном плане это можно использовать, когда есть необходимость закрыть определенные документы для индексирования: предпочтительно использовать meta name="robots" вместо директив в robots.txt.

А какие наблюдения по этой теме есть у вас? Поделитесь своим опытом в комментариях !

Как удалить страницу из индекса поисковых систем и вообще зачем это нужно? В этой статье мы рассмотрим все варианты и ответим на часто задаваемые вопросы.

Зачем удалять страницу(ы) из индекса?

Причин удалить страницу или страницы из индекса может быть много. Самыми распространенными являются:

Страница является дублем (например, страницы site.ru/cat/stranica.html и site.ru/cat/stranica могут быть дублями). А как известно всем - дубли в индексе это зло, которое вредит сайту в целом.
Страница перестала существовать (например, информация больше не актуальна).

Как долго будет удаляться страница из индекса

Скорость удаления от нас не зависит. Максимальный срок где-то 60..90 дней. Средний срок удаления по моему опыту лежит в районе 25..35 дней. Если мы будем указывать в ручную через панель Яндекс Вебмастера или Google Вебмастера, что страницу нужно удалить, то процесс будет быстрее. Здесь самое главное, чтобы поисковый робот зашел на запрещенную страницу сайта, а далее он уже при обновлении индекса исключит ее из выдачи.

Способы удалить страницу из индекса

В рассмотренных ниже вариантах страница будет существовать (будет открываться для пользователей), но в индексе поисковиков мы ее запретим (удалим).

1. Через мета тег

Закрывать страницы от индексации с помощью robots.txt удобно тем, что можно сразу массово указать весь раздел или же запретить к индексации группу однотипных страниц. Однако поисковые системы четко говорят, что для них файл роботс не является обязательным в плане выполнения. Т.е. поисковая система в теории может оставить в индексе документ, который закрыт в роботс. Правда я таких примеров не знаю.

3. Через панель вебмастера поисковых систем

И в Яндексе и Google в панели вебмастера есть такая возможность. Однако если вы удаляете страницу подобным образом, то нужно понимать, что страница предварительно должна быть закрыта одним из выше описанных способов, иначе ничего не произойдет. Подобным удалением мы лишь намекаем поисковым роботам, что нужно обязательно зайти на эти страницы в ближайшем обходе.

3.1. Панель Яндекс Вебмастер

Адрес страницы - http://webmaster.yandex.ru/delurl.xml . Зайдя на эту страницу нужно просто указать в форме адрес страницы, которую вы хотите удалить из индекса.

3.2. Панель Google Вебмастер

Адрес страницы - https://www.google.com/webmasters/tools/ . Чтобы попасть на нужную форму выберите сайт из списка (если у вас несколько сайтов) и далее выберите вкладку "Индекс Google" -> "Удалить URL-адреса".

В гугле можно прописать сразу каталог URL-адресов (так же как в robots.txt).

4. Заголовки X-Robots-Tag

Этот способ используется только в Google. Запись о запрете должна находиться в http-заголовках:

X-Robots-Tag : noindex, nofollow

5. Через редирект или 404 ошибку

Удалить из индекса страницу можно также с помощью редиректа или возвращать со страницы 404 ошибку . В таком случае поисковые системы также удалять страницы из индекса.

Мы рассмотрели основные способы по удаление страницы из индекса. Как я уже писал выше скорость удаления в каждом случае разная. Но одно можно сказать точно - это не быстро. В любом случае это займет дней 5-7 минимум.

Переходим сразу от слов к делу. Для того, чтобы удалить URL адреса из поисковой выдачи в Google необходимо обратиться к сервису вебмастер и выяснить в каких случаях нужно пользоваться сервисом - удалить URL адреса, а в каких не следует:

Прежде всего хочу предупредить о том, что если у Вас присутствуют древовидные комментарии, . Прежде, чем удалять параметры URL и полностью запрещать поисковому роботу обращаться к внутренним ссылкам страниц содержащих: /?replytocom=, следует обязательно удалить из поисковой выдачи - эти страницы содержащие /?replytocom= .

Для удаления URL адреса из поисковой выдачи Google необходимо перейти по адресу https://www.google.com/webmasters/tools/, выбрать значение - оптимизация -> удалить URL адреса:

Если же Вы сначала удалите Параметры URL, то при обращении в сервис удалить URL адреса из поисковой выдачи Google , будет появляться следующее окно, тем самым говоря, что Вы уже внесли replytocom в Параметры URL. Нажимаем — отправить запрос и удаляем необходимый URL страницы:

После удаления URL адреса, можно посмотреть список удаленных страниц:

Там, где стрелка указывает на кнопку «ожидание», при нажатии на нее — появится список вариантов, в котором есть «удаленные» — проверить удалился ли адрес, можете вставив данный URL в строчку браузера.

Когда НЕ следует использовать инструмент удаления URL

Инструмент удаления URL предназначен для срочного удаления страниц, например в тех случаях, если на них случайно оказались конфиденциальные данные. Использование этого инструмента не по назначению может привести к негативным последствиям для вашего сайта.

Не используйте инструмент удаления URL в следующих случаях:
Для удаления «мусора» , например старых страниц, отображающих ошибку 404. Если вы изменили структуру своего сайта и некоторые URL в индексе Google устарели, поисковые роботы обнаружат это и повторно просканируют их, а старые страницы постепенно будут исключены из результатов поиска. Вам не нужно запрашивать срочное удаление.

Для удаления ошибок сканирования из аккаунта Инструментов для веб-мастеров. Инструмент удаления URL исключает URL из результатов поиска Google, а не из вашего аккаунта Инструментов для веб-мастеров. Вам не нужно вручную удалять URL из этого отчета. Со временем они будут исключены автоматически.

Для создания сайта «с чистого листа». Если вы обеспокоены тем, что к вашему сайту могут быть применены штрафные санкции, или хотите начать все сначала после покупки домена у прежнего владельца, рекомендуем подать запрос на повторную проверку, в котором нужно описать, какие изменения вы внесли и в чем состоит причина вашего беспокойства.

Для перевода сайта в автономный режим после взлома. Если ваш сайт был взломан и вы хотите удалить из индекса страницы с вредоносным кодом, используйте инструмент удаления URL для удаления новых URL, созданных злоумышленником, например http://www.example.com/buy-cheap-cialis-skq3w598.html. Однако мы не рекомендуем удалять все страницы сайта или те URL, которые нужно будет проиндексировать в будущем. Вместо этого удалите вредоносный код, чтобы роботы Google могли повторно просканировать ваш сайт. Подробнее о работе со взломанными сайтами...

Для индексации правильной версии своего сайта. На многих сайтах одно и то же содержание можно найти по разным URL. Если вы не хотите, чтобы дублирующееся содержание отображалось в результатах поиска, ознакомьтесь с рекомендуемыми методами назначения канонических версий страниц. Не используйте инструмент удаления URL для удаления нежелательных версий URL. Это вам не поможет сохранить предпочтительную версию страницы. Ведь при удалении одной из версий URL (http/https, с префиксом www или без него) будут удалены и все остальные.

Для удаления URL адреса из Яндекса , набираем в поисковой строке http://webmaster.yandex.ua/delurl.xml , вводим адрес и действуем по интуитивно понятным инструкциям.

Ссылка "Сохраненная копия" на странице результатов поиска иногда позволяет узнать очень интересные вещи, которые были оперативно удалены с какого-либо сайта. Так бывает с новостями или какими-то спорными публикациями. Это особенность работы поисковых систем здорово радует посетителей сайта. Но теперь, выступая в роли администраторов, мы наоборот, заинтересованы в том, чтобы ненужные страницы, которые мы уже удалили со своего сайта, как можно скорее были удалены из результатов поиска. Опять-таки, рано или поздно это произойдет. Для того чтобы это произошло рано, используется форма "Удалить URL " ( рис. 4.3 ):

увеличить изображение Рис. 4.3. Форма удаления URL

Конечно, эта форма не гарантирует моментального удаления результата, но ускоряет его.

Проверить сайт

А есть ли вообще наш сайт в базе поиска? Ответ на этот вопрос даст страница "Проверить сайт " ( рис. 4.4 ):

увеличить изображение Рис. 4.4. Проверка сайта

Открывается обычная страница поиска, в которой подставлен шаблон rhost="ru.narod.v-rn"|rhost="ru.narod.v-rn.*" ( рис. 4.5 ):

увеличить изображение Рис. 4.5. Результаты проверки сайта

Этот шаблон нам уже знаком из первой Лекции. Сейчас наш сайт, который был только что создан, не найден в поисковой базе. Проверим сайт Интернет Университета Информационных технологий с помощью этой же формы. В строке запроса будет шаблон rhost="ru.intuit"|rhost="ru.intuit.*" ( рис. 4.6 ):

увеличить изображение Рис. 4.6. Результат проверки сайта ИНТУИТа

Сайт также находится в Яндекс.Каталоге , поэтому на странице результатов отображается соответствующаярубрика . Спустя некоторое время еще раз введем значения сайта v-rn.narod.ru. Сайт был проиндексирован и теперь отображается в базе ( рис. 4.7 ):

увеличить изображение Рис. 4.7. Проверка сайта после индексации

Заметим, что в данном случае, в качестве описания сайта выводится содержимое тега title. Поэтому на многих сайтах заголовки очень длинные, зачастую содержащие описание сайта.

Мои сайты

Раздел "Мои сайты" содержит перечень ресурсов, которые могут управляться Вами. Это своего рода отправная точка мониторинга своих сайтов. Поначалу список пустой, поэтому мы вводим адрес сайта и нажимаем на кнопку"Добавить" ( рис. 4.8 ):

увеличить изображение Рис. 4.8. Добавление адреса в разделе "Мои сайты"

Спустя некоторое время, после того как сайт будет проиндексирован, отчет будет содержать информацию об этом ( рис. 4.9 ):

увеличить изображение Рис. 4.9. Проиндексированный сайт в разделе "Мои сайты"

Глядя на этот список, возникает вопрос - а могу ли я таким образом добавить совершенно чужой сайт? Специально для предотвращения таких случаев сделана система проверки прав на управления. Она включает в себя предложение загрузить определенную информацию на ваш сайт. Если получится это сделать, то Яндекс будет считать вас владельцем сайта. Другими словами, владелец сайта может изменять его содержимое, что и проверит Яндекс.

В нашем случае мы авторизованы от имени пользователя [email protected], который автоматически является владельцем сайта v-rn.narod.ru. Поэтому никаких предложения проверить права на управления не возникает - мы автоматически получаем статус подтвержденных прав.

Под ошибками сайта понимаются случаи, когда поисковый бот не мог получить доступ к определенным страницам. Это могут быть и банальные несуществующие страницы (ошибки 404) или же ссылки на защищенные части сайта, которые запрещены для индексирования (см. далее файл "robots.txt" ).

Поле "Загружено страниц" отображает общее число страниц сайта, которые успел обойти поисковый бот Яндекса.

увеличить изображение Рис. 4.10. Информация о v-rn.narod.ru

Гиперссылка "Структура сайта" ведет на структуру, которую, опять-таки, видит Яндекс. Здесь отображаются только те подразделы, которые содержат более 10 страниц и занимают более 1% от общего числа. Поэтому реальная структура - та, которую мы могли видеть на локальном компьютере или на FTP, будет отличаться от представленной.

Файлы Sitemap - отличное средство указать приоритет индексации страниц для сайтов, содержимое которых часто обновляется. Например, большинство новостных лент содержат подразделы, на которых часто публикуются новости. Другие подразделы - архив, информация о сайте (или компании), список рассылок - обновляются реже. Быстрая индексация наиболее обновляемых материалов позволит отображать в поисковой выдаче актуальные данные, а значит, будет способствовать привлечению на ресурс новых посетителей. Для создания файлов Sitemap используется разметка XML, конкретные спецификации которой представлены наофициальном сайте .

Раздел "Индекс" содержит очень интересную информацию и инструменты ( рис. 4.11 ):

увеличить изображение Рис. 4.11. Раздел "Индекс"

В конце августа 2007 года Яндекс перестал поддерживать такие возможности, как поиск страниц, содержащих ссылку на данную, поиск слов, содержащихся только в текстах ссылок на данную. Они были удобны для использования как владельцами сайтов, так и""роботами" - программами, написанными с целью изучить ранжирование Яндекса и попытаться им манипулировать" . Поскольку такое манипулирование ухудшало качество поиска, то соответствующие инструменты были выключены. Так вот, а раздел"Индекс" позволяет все же просмотреть, какие внешние страницы ссылаются на подраздел вашего сайта с помощью инструмента"Внешние ссылки" . Другими словами, в какой-то мере прежняя функциональность доступна в этом сервисе.

Раздел "Запросы" позволяет видеть, по каким поисковым словам сайт оказывается в результатах поиска ( рис. 4.12 ):

увеличить изображение Рис. 4.12. Раздел "Запросы"

В еще одном инструменте для веб-мастеров - Яндекс.Метрике, который мы рассмотрим позже, есть дублирующие этот раздел средства.

Раздел "Инструменты" содержит, как это следует из названия, инструменты для проверки файлаrobots.txt и изменения регистра имени сайта в результатах поиска ( рис. 4.13 ):

увеличить изображение Рис. 4.13. Раздел "Инструменты"

Как правило, в любом сайте есть разделы, которые не должны индексироваться поисковыми системами. Это административные папки, персональные данные пользователей, рабочие материалы. Для того чтобы сообщать всем поисковым системам и Яндексу, в частности, что какие-то разделы обходить не нужно, используется помещение обычного текстового файла "robots.txt" в корневую директорию сайта, причем название файла должно быть точно таким. Например, на настоящем сайте этот файл лежит здесь:http://www.intuit.ru/robots.txt Мы видим его содержимое:

Disallow: /cgi-bin/

Disallow: /w2k-bin/

Disallow: /admin/

Disallow: /w2admin/

Disallow: /user/

Disallow: /diploma/

Язык этого файла довольно простой - это не какое-то программирование или даже не HTML-код. В данном случае для всех поисковых систем - "User-Agent: *" запрещено индексирование директорий cgi-bin, w2k-bin, admin и т.д. со всем их содержимым. Создадим свой собственный файлrobots.txt для нашего сайта. Для примера, запретим индексирование определенной папки. Идем в Мастерскую, и нажимаем на ссылку"Создать папку" ( рис. 4.14 ):

увеличить изображение Рис. 4.14. Мастерская, ссылка "Создать папку"

Название папки может быть совершенно произвольным, но придерживаясь определенных традиций, назовем ее admin ( рис. 4.15 ):

увеличить изображение Рис. 4.15. Создание папки "admin"

увеличить изображение Рис. 4.16. Мастерская, гиперссылка "Создать html-файл"

Вводим произвольное название файла, скажем, main.html ( рис. 4.17 ):

увеличить изображение Рис. 4.17. Создание html-страницы

А затем переходим к редактированию созданной страницы. Напишем, что это страница, которая не должна быть доступна для поисковых систем ( рис. 4.18 ):

увеличить изображение Рис. 4.18. Редактирование html-страницы

Конечно, все шаги, которые мы сейчас проделали - всего лишь использование функционала Мастерской. Точно такой же результат мы бы получили, если бы создали папку, затем страницу в программе Dreamweaver, а потом загрузили бы их через ftp. Главное то, что теперь по адресу http://v-rn.narod.ru/admin/main.html мы видим созданную страницу ( рис. 4.19 ):

увеличить изображение Рис. 4.19. Страница, которая будет скрыта от поисковых систем

Важное замечание - это страница совершенно доступна для всех пользователей. Она останется такой же и далее. Если же мы хотим, чтобы к ней получали доступ авторизованные пользователи, то эту задачу придется решать средствами веб-программирования. Но к запрету к индексации поисковыми системами это отношения не имеет.

Теперь запускаем блокнот, сохраняем файл "robots.txt" и вводим в него правило ( рис. 4.20 ):

Рис. 4.20. Правило для сайта v-rn.narod.ru

Осталось забросить этот файл в корневую папку сайта. Идем в Мастерскую, нажимаем на ссылку "загрузить файлы" ( рис. 4.21 ):

увеличить изображение Рис. 4.21. Мастерская, гиперссылка "Загрузить файлы"

увеличить изображение

Все готово. Возвращаемся к инструментам Яндекс.Вебмастер, переходим по ссылке "Анализ файла robots.txt" (см.рис. 4.13 ). При этом происходит загрузка содержимого файлаrobots.txt , который уже есть на нашем сайте. Оно выводится в верхнем поле страницы. Мы вводим адрес, который хотим проверить -v-rn.narod.ru/admin/main.html ( рис. 4.23 ):

увеличить изображение Рис. 4.23. Анализ файла robots.txt

Как мы и хотели, эта страницу не будет индексироваться - результат "запрещен правилом /admin/" ( рис. 4.24 ):

Рис. 4.24. Результат анализа файла robots.txt

Для анализа файла robots.txt всех сайтов - не только своего собственного, используетсяпубличная версия инструмента . Она работает даже для неавторизованных пользователей.

Инструмент "Регистр имени сайта" несомненно, оценят пользователи,которые любят писать адрес электронной почты как [email protected]. Он позволяет изменить адрес сайта в поисковой выдаче ( рис. 4.25 ):

увеличить изображение Рис. 4.25. Изменение регистра имени сайта

Разумеется, после изменения сайт по-прежнему будет доступен и по обычной ссылке типа v-rn.narod.ru.