Как найти в одноклассниках несуществующую страницу. Как удалить страницу из поисковой системы Яндекс
Если у вас крупный сайт с большим количеством страниц, то поисковое продвижение такого проекта зачастую сводится к выявлению и устранению множества технических проблем.
Одной из распространенных ошибок является наличие битых ссылок на страницы с кодом ответа «404 not found». Более того, на страницы с 404 ошибкой могут вести ссылки с других сайтов, при этом их вес будет потерян. В этой статье вы узнаете как вернуть потерянный вес внешней ссылочной массы.
«Я вам точно могу сказать, что на более или менее крупном сайте все время что-то ломается»
— Михаил Сливинский (Wikimart.ru), SEO Conference 2014.
Суть метода
Ссылки с других сайтов не передают вес, если ведут на битые страницы на вашем сайте. Задача состоит в том, чтобы настроить перенаправление (301 редирект) с несуществующих страниц, имеющих входящие ссылки, на другие подходящие страницы на сайте. Таким образом, вес входящих внешних ссылок начнет передаваться сайту.
Этот метод подойдет скорее проектам с возрастом и большим количеством страниц. Алгоритм работы следующий:
1. Поиск и составление списка страниц с 404 ошибкой.
2. Проверка полученных url-адресов на наличие входящих внешних ссылок.
3. Установка 301 редиректа с битых страниц на подходящие рабочие страницы.
Как найти страницы с 404 ошибкой и другие неработающие страницы
На этом этапе нужно выявить на сайте несуществующие страницы, страницы с ошибками и составить как можно более подробный список url-адресов. Для этого есть несколько инструментов, которые далее будут рассмотрены подробно.
Панели Яндекс.Вебмастер и Google Webmaster Tools
Если ваш сайт еще не добавлен в панели для вебмастеров Яндекс и Google, то обязательно добавьте его сейчас. Так вы сможете своевременно выявлять битые ссылки и другие ошибки индексации.
Чтобы получить список страниц с 404 ошибкой в панели Яндекс.Вебмастер, перейдите на http://webmaster.yandex.ru/sites/ в раздел «Индексирование сайта» → «Исключенные страницы».
(кликните на изображение для увеличения) 
Для получения списка несуществующих страниц из панели Google Webmaster Tools (https://www.google.com/webmasters/tools/) перейдите в по ссылке «Ошибки сканирования».
(кликните на изображение для увеличения) 
На странице будет список url-адресов с ошибками. Экспортировать список можно, нажав кнопку «Загрузка» и выбрав удобный формат выгрузки.
(кликните на изображение для увеличения) 
Программы «краулеры»
Тут можно выделить известные программы для поиска битых ссылок и дубликатов:
Все они позволяют найти на сайте и выгрузить список страниц с 404 ошибкой. Я для этих целей пользуюсь Screaming Frog Seo Spider, так как у него есть версия под Mac, в отличие от остальных. На примере Screaming Frog список 404 страниц выгружается так:
(кликните на изображение для увеличения) 
Журнал ошибок сервера
Если есть такая возможность, то стоит просмотреть журнал ошибок сервера. Обычно это файл «error_log». В зависимости от используемого ПО на сервере, журнал ошибок может отличаться. Но суть все равно одна - просмотреть журнал ошибок сервера и выгрузить из него список url-адресов с 404 ошибкой.
Полученные списки ссылок нужно объединить в один список и удалить дубликаты. Для этого есть множество способов, но я использую текстовый редактор Sublime Text 2 (на Windows рекомендую Notepad++ с плагином TextFX).
(кликните на изображение для увеличения) 
Проверка списка битых страниц на наличие входящих ссылок
Для проверки итогового списка url-адресов на наличие входящих ссылок с других сайтов используется сервис Ahrefs.com , а именно раздел «Batch Analysis» – https://ahrefs.com/labs/batch-analysis/ .
(кликните на изображение для увеличения) 
К сожалению, у данной функции есть ограничение в 200 url за 1 запрос на платных тарифах и в 2 url за 1 запрос на бесплатном. Поэтому нужно вбить свой список в несколько порций по 200 адресов. После каждой проверки нужно сделать экспорт в файл.
(кликните на изображение для увеличения) 
Полученные выгрузки по 200 url нужно объединить в 1 таблицу. Для этого нужно открыть 1 файл и копировать в конец содержимое других файлов. Лишние столбцы можно удалить. Нас интересует только столбец «Total», он означает общее количество внешних ссылок на страницу.
(кликните на изображение для увеличения) 
Полученный список нужно отсортировать и удалить строки, в которых «Total» равен нулю. В итоге у вас получится список битых страниц, которые имеют входящие ссылки с других сайтов.
Подбор страниц для редиректа
Полученный список нужно снова загрузить в Batch Analysis на Ahrefs, чтобы можно было посмотреть с каких сайтов и с какими анкорами стоят ссылки на каждую страницу нашего списка. Для этого используем иконку рядом с url-адресом.
(кликните на изображение для увеличения) 
Далее нужно посмотреть с каких страниц и с какими анкорами ссылались внешние сайты. Для удобства создайте таблицу с двумя колонками, в которой будет список битых адресов и список «живых» адресов, на которые будет идти редирект. Если у страницы на вашем сайте просто изменился url, то вписывайте новый url страницы. В иных случаях, подберите самую релевантную на ваш взгляд страницу, основываясь на тексте страницы-донора и анкоре.
(кликните на изображение для увеличения) 
Настройка 301 редиректа на новые страницы
В конце осталось добавить в файл «.htaccess» необходимые команды для . Для перенаправления с одной страницы на другую используется следующая команда:
Для каждого адреса итоговой таблицы нужно написать такую команду и добавить в файл «.htaccess». На этом этапе я рекомендую воспользоваться услугами программиста, чтобы все работало правильно.
В итоге мы бесплатно получим ссылочный вес, просто за счет того, что не будем его терять.
Здравствуйте, друзья! В сегодняшней статье мы с Вами поговорим про достижения: что это такое, какие награды можно получить и что для этого нужно сделать, и как потратить накопленные балы.
Разработчики социальной сети Одноклассники решили, что если пользователь проявляет активность на сайте, то его необходимо каким-либо образом за это поощрять. Именно поэтому в Одноклассниках есть целый раздел «Достижения», в котором можно увидеть свои награды и количество накопленных за них балов. Но давайте обо всем по порядку.
Достижения – специальный раздел на сайте Одноклассников, где пользователь может посмотреть все полученные награды, которые даются за активное использование сайта и выполнение определенных условий.
Как посмотреть достижения
Если Вам интересно, где находится этот список, тогда на своей страничке кликните по пункту меню «Еще». Затем из выпадающего списка выберите соответствующий пункт.
Откроется нужная страничка. На вкладке «Мои достижения» будут показаны значки – это и есть, своего рода, награды. Если значок серого цвета – значит, Вы еще не выполнили условия, чтобы получить его; если значок имеет вид цветного изображения – то, награда Ваша.
Как получить достижения
Для этого необходимо выполнить задание, которое ему соответствует. Чтобы посмотреть задание, наведите на нужный значок курсив мышки. Появится всплывающее окошко с описанием, что необходимо сделать, чтобы получить выбранную награду.
Они делятся на группы: Миссии, Фотографии, Видео, Группы, Музыка и Игры. Задания самые различные: пользоваться Одноклассниками с телефона, загрузить определенное количество фото на сайт, участвовать в обсуждениях и фотоконкурсах, создать свою группу и прочее. Самое непонятное, на мой взгляд, задание – это . Перейдя по ссылке, Вы сможете прочитать об этом подробную статью.
За каждую полученную награду начисляется определенное количество очков, сколько именно, показано внизу всплывающего окошка в поле «Бонус».
Как потратить очки за достижения
Теперь давайте поговорим о том, зачем нужны накопленные очки. Посмотреть, сколько всего у Вас очков можно на странице в правом верхнем углу в поле «Накоплено очков».
Как посмотреть достижения в мобильном приложении Одноклассники с телефона
Если Вы пользуетесь мобильным приложением Одноклассники, то посмотреть их можно следующим образом. Откройте боковое меню и кликните по имени своего профиля.
Под аватаркой есть пункты меню, нажмите на стрелочку, чтобы открыть весь список целиком, и выберите из него пункт «Достижения».
Вверху страницы есть две вкладки. На вкладке «Мои» показаны все значки. Если значок серого цвета – значит, Вы еще не выполнили условие; если цветной – значит, Вам начислены очки за это достижение. Чтобы посмотреть, что необходимо сделать, нажмите по значку.
После того, как нажмете по значку, появится небольшое окошко, в котором будет описание. Там же можно посмотреть, сколько очков будет начислено за выполнения условия.
Думаю, Вам понятно, что означает Достижения в Одноклассниках, где они находятся, и как посмотреть условие, которое нужно выполнить, для получения награды.
— Закончился срок хранения закаченного файла на файлообменник
— Изменение структуры блога/сайта
— Изменение адресов страниц на сайте или внедрение ЧПУ
— Изменились адреса страниц сайтов, на которые вы ссылаетесь
В процессе таких изменений могут возникать десятки несуществующих страниц, на которые будет ссылаться ваш ресурс.
Находить вот такие несуществующие страницы легко. Достаточно знать несколько сервисов и уметь ими пользоваться.
Мы рассмотрим 4-е основные методы проверки сайта на битые ссылки, а какой из них использовать для себя вы уже решите сами.
On-line сервисы для проверки битых ссылок:
Я нашел в сети много разных сервисов, но рекомендовать могу всего 2, которые действительно качественно определяют проблемные ссылки:
— creatingonline.com
— anybrowser.com
Расписывать принцип их работы, я не буду, тут все очень просто. Вбиваете интересующий вас урл в форму для проверки и жмете кнопку для проверки. После истечения некоторого периода времени, появится страница с результатами проверки.
С помощью Яндекса
В панели вебмастера идем по пути – — Исключенные страницы и переходим по ссылке HTTP-статус: Ресурс не найден (404). На скриншоте указан путь.
После того как вы перешли по ссылке, откроется окно, внизу которого и будет список ссылок на несуществующие страницы с вашего сайта. В этом же окне будет информация о последнем посещении роботом страницы и ссылки на проблемные страницы обозначенные маленьким квадратом со стрелкой вниз. Теперь нужно перейти по этим ссылкам и исправить ситуацию.
С помощью Google
Аналогичным образом проходим авторизацию в панели вебмастера и идем по пути – Сканирование — Ошибки сканирования. В нижней половине страницы видим список ссылок на несуществующие страницы. В панели вебмастеров Google есть одна замечательная опция позволяющая отмечать исправленные ранее вами ссылки на несуществующие страницы. На я показал ее.
Программа Xenu Link Sleuth
Переходим по ссылке и скачиваем программу. После чего проводим ее установку. По окончанию установки запускаем программу и забиваем адрес проверяемого ресурса. Жмем кнопку Ок, и программа начинает сбор информации.
Busy – поставлена в очередь на проверку.
После окончания сбора информации программой будет звуковой сигнал об окончании работы, и вы можете просмотреть отчет о выполненной работе. Очень хорошая программа, пользуюсь ею постоянно.
И последний метод, который мы рассмотрим, это проверка сайта на битые ссылки с помощью плагина Broken Link Checker .
Для этого скачиваем плагин , активируем его и переходим по адресу – Параметры — Проверка ссылок и переходим на вкладку Дополнительно в которой жмем Перепроверить все страницы.
Недавно ко мне обратились с вопросом об одной особенности Google. Речь шла об индексации сайта. Google занес в свой индекс несуществующие страницы с причудливыми URL. Причем, многие из них были закрыты в robots.txt. Отвечая на вопрос, с целью помочь читателю моего сайта, я не заметил, как написал небольшую статейку.
Вопрос оказался очень мне знаком. Еще пару лет назад я сам ужесточено искал ответ на этот вопрос, когда у меня была задача выровнять соотношение проиндексированных страниц для нескольких сайтов в индексе поисковиков перед их монетизацией. Что я только не делал, удалял из индекса физически, закрывал в robots.txt, правил шаблоны сайтов и исходные файлы движков. Ровным счетом ничего не помогало, не помогли мне в свое время и более опытные коллеги.
Такая проблема оказалась повсеместна, но далеко не многие уделяют ей внимание. Google не делает сохраненных копий закрытых в robots.txt страниц, но добавляет все найденные URL себе в базу. Если сделать поиск среди всех страниц сайта, то Google выдаст кучу несуществующих страниц. Код 404 и закрытие в robots.txt при этом не помогают. Вот поэтому, если просканировать с десяток различных сайтов, то количество проиндексированных страниц в Google будет больше, иногда на пару страниц, а для крупных сайтов разница может достигать нескольких сотен страничек.
В свой индекс Google добавляет абсолютно все URL, на которые обнаружил ссылки. Это в большинстве случаев внутренние ссылки (из-за ошибок развертки CMS на сервере в коде могут присутствовать битые ссылки, это очень часто происходит при неправильной настройке ЧПУ), также это могут быть и внешние ссылки (кто-то написал ссылку на ваш сайт на каком-нибудь форуме и ошибся в написании).
Кроме того, на сайтах очень часто удаляются некоторые странички - изменили URL или физически удалили материал, в индексе страница по-прежнему останется, только сохранится в виде пустой ссылки.
В любом случае, ни по каким запросам эти «странички пустышки» в выдаче не появятся, если только мы не смотрим общее число проиндексированных страниц. Разница между реальным числом страниц на сайте и проиндексированным играет роль только при монетизации сайта. За большой разбег места под продажные ссылки будут хуже раскупаться.
Методы борьбы и профилактики
Способы избежать подобных ситуаций имеются, рассмотрим пути решения:
- В панеле Google Webmasters есть возможность физического удаления нежелательных страниц из индекса. Если страница закрыта в robots.txt или выдает 404 код ошибки, при получении заявки на удаление, страница в течение пары суток покидает индекс. В случае, если «страниц пустышек» очень много, способ не подходит, потому, как для каждой странички заявку нужно подавать отдельную, в совокупности уйдет масса времени.
- Второй способ более сложный, но навсегда избавит сайт от описанной проблемы. От индексации нужно скрывать страницу с помощью конструкции robots, которая прописывается в секции head непосредственно на странице. Вот, как это выглядит:
Нужно настроить движок сайта таким образом, чтобы при ошибке 404 загружалась заглушка - собственная страница с ошибкой (настраивается это буквально одной строчкой в.htaccess на Unix-хостинге). В секции head этой страницы-заглушки прописываем приведенный выше код. Теперь Google при обнаружении битых ссылок не будет добавлять их в индекс.
Такой оригинальный подход к индексации разработчики Google объясняют тем, что часто страницы, выдающие 404 код ошибки, не доступны лишь кратковременно по вине неправильных настроек сервера или каких-либо сбоев БД. При этом, очень часто среди таких страниц есть полезный контент. Google добавляет такие страницы в индекс в надежде, что они со временем заработают. А вот почему Google игнорирует инструкции robots.txt - объяснений тому объективных нет, но на практике, часто именно так и происходит.