Общие технические проблемы SEO и пути их решения

  • Дата:13.09.2012
  • Автор:Оксана Ведерникова

В поисковой оптимизации не бывает мелочей. Любая оплошность может привести к потере позиций или более жестким мерам со стороны поисковых систем. Пэдди Муген, seo-консультант американской компании Distilled, выполняя аудит очередного клиентского сайта, определил наиболее частые технические проблемы SEO. Проанализировав их, он предложил эффективные пути решения.

Заглавные URL-ы против строчных Опираясь на свой опыт, Пэдди Муген утверждает, что данная проблема является общей для сайтов в доменной зоне .NET. К продвижению в Google это не относится, так как он отлично обрабатывает особые знаки, содержащиеся в адресе ресурса. Что касается других поисковых систем, то на подобное способны далеко не все из них. Есть множество примеров, когда сайты, в адресе которых имелись заглавные буквы, не были проиндексированы.

Кроме того, от заглавных букв в URL стоит отказаться в пользу посетителей. Интернет-пользователи не обращают внимание на то, какими буквами написан адрес веб-сайта. Для них важен результат — попадание на необходимый ресурс. Поэтому лучше всего остановиться на варианте с прописными буквами, так как они более привычны для пользователей.

Решение: Есть отличный инструмент перезаписи урла — Search Engine Optimization Toolkit. Выполнив в нем определенные настройки, вы решите для себя проблему с заглавными буквами.

Дублирование главной страницы Это одна из самых распространенных проблем. Заключается она в том, что один и тот же контент выдается пользователям по разным адресам. К примеру, помимо главной страницы www.example.com, могут еще существовать страницы с расширением index.php: www.example.com/default.aspx, www.example.com/home, www.example.com/index.html.

Как правило, генерируются они самими CMS-ками. Раньше поисковые системы особо не обращали на это внимания. Дублированные страницы просто отфильтровывались или уходили в дополнительный индекс. Однако с выходом алгоритма Panda негативное влияние дублей стало более серьезным. В особенности это касается ресурсов с большим количеством дублированных страниц. Они попадают в основной индекс, вытесняя качественный материал и вызывая проблемы с дальнейшей индексацией сайта. В свою очередь это может привести к потере позиций и даже полному исключению из индекса.

Решение:
Важно определить все дублированные страницы. Процесс поиска дублей может быть немного запутанным, так как разные CMS генерируют различные расширения URL-ов. Одним из вариантов решения данной проблемы является преобразование копии сайта в формат CSV с дальнейшей фильтрацией по столбцу META title и выполнением поиска по заголовку главной страницы. Далее, по совету Педди Мугена, необходимо выполнить 301 редирект дублированных версий на корректный вариант главной страницы. Это самый простой способ найти дубликаты.

Также эффективным будет использование одного из следующих способов:

  • тэг rel="canonical";
  • файл robots.txt (блокирование поискового бота);
  • мета-тэг Robots NoIndex (указание поисковику не индексировать страницы-дубли);
  • атрибут NoFollow (ним помечаются все ссылки на дублированные страницы).

Полезным инструментом для определения дублей является Screaming Frog. Он позволяет находить внутренние ссылки на дублированные страницы. Также можно пойти прямым путем и просто отредактировать урлы. Это будет даже в некоторой степени лучше, чем 301 редирект, который нередко приводит к незначительной потере ссылочной массы.

И последний способ выявления дублированных страниц — просмотр кэша Google по каждому урлу. Если поисковик не обнаружил, что URL-ы совпадают, значения PageRank каждый день будут меняться.

Параметры запроса в конце URL-а Эта проблема более характерна для сайтов электронной коммерции, так как они чаще других ресурсов загружают информацию о продукции, добавляют в фильтр больше опций (размер, цвет, цена и т.п.). Такие URL-ы более дружественны для поисковой оптимизации, но довольно часто представляются в следующем виде: www.example.com/product-category?colour=12.

Вот один из примеров:

В этом примере использован фильтр по цветам. Это очень удобно для пользователей, но для SEO может сослужить плохую службу. В особенности, если покупатели не вводят в поисковую строку запросы, содержащие цвет или размер вещи. URL, содержащий параметры товара — не лучший вариант для целевой страницы. Рассмотрим еще один случай. Имеются два урла (например, www.example.com/product-category?size=5&colour=1 и www.example.com/product-category?colour=12&size=5), ведущие на одну и ту же страницу. В этом случае они будут рассматриваться поисковой системой как дублированный контент.

Решение:
Для эффективного решения данной проблемы необходимо тщательно проанализировать ключевые слова. К примеру, сайт продвигается по следующим ключевикам: водонепроницаемые куртки, походные ботинки, женские брюки. Каждый из этих товаров имеет свои атрибуты: размер, цена, цвет, бренд.

Ваша задача — найти параметры, которые являются частью ключевых слов, вводимых пользователями для поиска данных товаров. Также необходимо определить, какие комбинации атрибутов встречаются чаще всего. В результате вы определите самые продающие ключевые слова (к примеру, название бренда+водонепроницаемые куртки). При этом важно убедиться в том, что урл страницы записан правильно. Вместо «waterproof-jackets/?brand=5» лучше всего использовать «waterproof-jackets/north-face/» (north-face — название бренда). Кроме того, удостоверьтесь, что адреса веб-страниц являются частью навигационной структуры сайта. Это поможет повысить показатель PageRank и позволит пользователям проще находить ваш сайт. Следующий шаг на пути к решению данной проблемы заключается в том, чтобы определить факт индексации URL-а. Если он не проиндексировался, можно воспользоваться инструментом Fetch as Google от Webmaster Tools. Если страницы проиндексировались, лучшим решением проблемы является тэг rel="canonical".

С его помощью вы указываете поисковику URL наиболее релевантных страниц, которые ему необходимо проиндексировать.

Soft 404 errors Soft 404 error — это так называемая «мягкая» ошибка 404. Она является одной из наиболее распространенных проблем поисковой оптимизации. Вместо текста «Извините, запрашиваемая страница не найдена» Soft 404 error выдает стандартные страницы с кодом «200 ОК». Этот код передает поисковику информацию о том, что сайт работает корректно. «Мягкий» 404 представляет собой большую проблему для автоматизированных методов анализа работоспособности ссылок. Причиной его возникновения могут быть ошибки конфигурации, появляющиеся при использовании некоторого серверного ПО. К примеру, если путь к странице с 404 ошибкой, прописанный в файле .htaccess, является не относительным (с расширением /404.php), а абсолютным. Из-за «мягкого» 404 становится невозможным определение реальных проблем, которые возникают у пользователей сайта. Поисковик сможет проиндексировать любое количество дублированных страниц. А это точно не поможет вам в продвижении сайта.

Решение: Определить «мягкий» 404 можно при помощи специальных приложений в Google Webmaster Tools. Также можно выполнить ручную проверку нерабочих страниц на сайте (например, исключить урлы типа www.example.com/5435fdfdfd) или посмотреть код статуса. Хорошим инструментом для проверки наличия кода «200 ОК» является Web Sniffer. Для тех, кто предпочитает пользоваться Google Chrome, существует Ayima tool. А можно просто создать красивую 404 страницу, которая бы нравилась посетителям. Здесь представлены наиболее яркие примеры креативных 404 страниц.

Также можно попробовать создать правильную 404 страницу. Для этого в файле .htaccess необходимо прописать ErrorDocument 404 /404.php или ErrorDocument 404 /errors/404.html. Это пути, по которым вы сможете разместить нужные страницы, на которые будет перенаправляться пользователь при запросе с ошибкой.

302-й редирект вместо 301-го Для пользователей особой разницы между 302 и 301 редиректом не существует. Отличие заключается в отношении к ним поисковых систем. 301 редирект считается постоянным. Он означает, что веб-страница навсегда перемещена на новый адрес. 302 редирект является временным. Как правило, его используют для объединения домена без приставки www и с ней. Google спокойно относится к этому явлению. При использовании 302 редиректа вместо 301, исходный адрес страницы остается в индексе Google и удерживает свои позиции подобному тому, как если бы страница была недоступной. При этом пользователи, кликая по ссылке, попадают на новый URL — туда, куда вы планировали их направить.

В целом же, использование какого-то определенного редиректа зависит от целей перемещения страницы. К примеру, некоторые браузеры в ответ на 301 ошибку, автоматически перенастраивают закладки на новую веб-страницу. Кроме того, Google не всегда своевременно передает PR на страницы, перемещенные по 302 редиректу. Посчитав его «временным», он может «зазеркалить» оба ресурса.

Решение: Для поиска урлов с 302 редиректом отлично подходят такие инструменты, как Screaming Frog и IIS SEO Toolkit. Они позволяют проверить, какой именно редирект используется: 302 или 301.

Нерабочая/«устаревшая» карта сайта XML-карта сайта более оптимальна с точки зрения продвижения. Поисковым системам гораздо проще найти в ней продвигаемые страницы. К сожалению, некоторые XML-карты генерируются только один раз и быстро устаревают, вследствие чего появляются нерабочие ссылки. В идеале XML-карты должны регулярно обновляться. Это избавит вас от проблем с нерабочими ссылками и добавлением новых URL-ов. В особенности, в обновлениях карты сайта нуждаются крупные ресурсы, на которые постоянно добавляются новые страницы.

Решение: В первую очередь необходимо выполнить аудит текущего варианта карты сайта и выявить нерабочие ссылки. Для этого есть полезный инструмент от Mike King.

Во-вторых, чтобы сделать карту сайта динамичной, ее нужно регулярно обновлять. В зависимости от ресурса, обновления можно выполнять раз в день, неделю или месяц. Это может занять некоторое время, но будет работать на перспективу развития интернет-проекта.

И дополнительный совет от Пэдди Мугена: экспериментируйте и создавайте карты сайта, в которых содержатся только новые товары, обновляйте их чаще, чем обычно. Добиться более высоких позиций сайта поможет наличие в карте закрытых от индексации URL-ов.
Наверняка каждый seo-специалист сталкивался с подобными техническими проблемами. Не раз приходилось ломать голову над тем, что делать с дублями или как правильно составить URL. Поэтому вполне возможно, что советы ведущего американского seo-консультанта помогут вам успешно решить задачу, которая стоит перед вами в настоящий момент, и добиться более высоких позиций продвигаемого сайта. Желаем успехов!