The New Moz SEO: вопросы и ответы: пример миграции 100 000 URL-адресов

Стоит ли всегда ожидать падения трафика во время миграции сайта / URL, даже временного?

Если вы не заметили, Moz недавно запустил новую блестящую платформу вопросов и ответов для SEO, которую весь мир может увидеть, изучить и использовать для изучения SEO.

Первоначально запущенный как частная функция для членов Pro много лет назад, Q&A был открыт для публичного просмотра и просмотра в поисковых системах еще в 2011 году.

За прошедшие годы он вырос до более чем 60,000 сообщений охватывая все мыслимые темы SEO и десятки миллионов просмотров страниц. Долгое время значительная часть органического трафика Moz приходилась на вопросы и ответы.

К сожалению, как это часто бывает, вопросы и ответы со временем стали серьезно игнорироваться. Как результат:

• На платформе скопилась тонна технический долг, что делает практически невозможным обновление

• Страницы загружаются так медленно многие пользователи полностью отказались

• Спам становился все более распространенным

• Инструменты модерации устарели, и не мог угнаться

По этим причинам произошли две предсказуемые вещи:

1. Вопросы и ответы стали менее полезными и удовлетворяющими пользователей.

2. Со временем трафик значительно упал

Итак, у Моза был выбор: немедленно улучшить вопросы и ответы или убить его.

К счастью, мы решили его улучшить.

Работая с фантастической командой из NodeBB (кстати, настоятельно рекомендуется), мы быстро создали новую группу вопросов и ответов, используя нашу существующую базу данных, но с полностью современными технологиями как на передней, так и на внутренней стороне.

Почему эта миграция была сложной

У нас были жесткие ограничения по времени. То, что обычно занимает месяцы, нам нужно было сделать за пару недель. Это создало уникальные проблемы с точки зрения SEO.

Самый большой вызов? Вся наша структура URL-адресов должна была измениться. (Если бы у нас было больше времени, мы могли бы этого избежать, но такой роскоши у нас не было.)

Это означало, что нам нужно было перенести тысячи URL-адресов, которые выглядели так:

Миграция также включены все профили пользователей Moz, номера которых указаны в сотни тысяч. Честно говоря, большинство профилей пользователей на самом деле не индексируются.

Как бы то ни было, это была огромная миграция!

Другой потенциальный красный флаг заключался в том, что большинство вопросов и ответов будет использовать рендеринг на стороне клиента, что не считается лучшей практикой SEO! Мы могли бы реализовать решение для рендеринга на стороне сервера, но опять же, у нас просто не было времени. Мы были обеспокоены тем, что у Google возникнут проблемы с отображением контента, и это может снизить наш рейтинг (подробнее об этом позже).

Как мы выполнили миграцию

Чтобы осуществить эту огромную миграцию, минимизируя риск потери трафика, мы следовали основным передовым методам миграции сайта SEO, а также добавили несколько «специальных» дополнений для дополнительного ускорения.

1. Сопоставление переадресации 301

Проще говоря, то, как вы реализуете 301 редирект, либо повлияет на вашу реализацию миграции, либо сломает ее.

Для нас это была самая легкая и понятная часть работы, так как у нас есть большой опыт миграции сайтов! (Кто-нибудь помнит seomoz.org?)

1. Мы составили список всех возможных URL-адресов и URL-путей. Удивительно, сколько URL-адресов и шаблонов вы можете пропустить. Хороший сканер очень важен, чтобы помочь с этим, чтобы вы ничего не забыли. Что касается Moz, мы смогли добиться этого с помощью данных из Google Analytics, Search Console и нашего собственного сканирования сайта Moz Pro.

2. Мы сопоставили каждый URL-адрес с соответствующим URL-адресом на новой платформе NodeBB. Хотя мы обнаружили много крайних случаев, это было относительно просто.

3. Мы убедились, что перенаправляем все через 301. Это важно, потому что многие платформы и разработчики могут использовать 302 по умолчанию. В то время как Google сказал нам, что они передают PageRank равным образом через 302 и 301, Google также указал, что 301 является более сильным сигналом канонизации.

Говоря о канонизации, мы также запускали сканирование новых структур URL-адресов с помощью платформы NodeBB. В тех случаях, когда мы находили URL-пути, которые не соответствовали нашим старым шаблонам или которые мы считали лишними, команда NodeBB могла легко настроить шаблоны канонизации, чтобы избежать чрезмерной индексации Google наших URL-адресов.

2. Максимальное управление картой сайта

Ключевой частью нашей стратегии миграции было управление картой сайта. Это включало два этапа:

1. Старые URL: У нас уже есть карты сайта всех старых URL-адресов. Важно отметить, что мы поддерживали эти карты сайта в актуальном состоянии и регистрировали их в Search Console. Таким образом, Google продолжит сканирование старых URL-адресов и «увидит» перенаправления.

Часто веб-мастера делают ошибку, слишком рано удаляя карты сайта, что может привести к снижению скорости сканирования Google. Это означает, что Google потенциально может занять больше времени для обработки переадресации.

Файлы Sitemap не являются идеальной гарантией того, что Google посетит все ваши старые URL-адреса, но они дают подсказку. Фактически, по прошествии нескольких месяцев у нас все еще было несколько тысяч URL-адресов, которые Google все еще не посещал, даже при наличии карт сайта. Тем не менее, без карт сайта старых URL-адресов проблема могла бы занять гораздо больше времени.

2. Новые URL-адреса: Наши старые карты сайта были сгруппированы в списки по 50 000 в каждом — максимум, разрешенный Google. В сообществе SEO есть предположение, что группировка URL-адресов в более мелкие карты сайта может повысить эффективность сканирования.

К счастью, NodeBB позволил нам по умолчанию создавать карты сайта меньшего размера, что мы и сделали. Вместо 2-3 карт сайта с десятками тысяч URL теперь у нас 130 отдельных XML-карт сайта, как правило, не более 500 URL-адресов в каждом.

3. Спам + тщательная очистка

Как я упоминал ранее, старые вопросы и ответы 60 000 отдельных сообщений застроен более 10 лет.

Неизбежно, что некоторые из этих постов были очень низкого качества. Мы подозревали, что как низкое качество сообщений, так и плохой пользовательский опыт могут привести к тому, что Google поставит нас ниже.

Опять же, из-за нехватки времени мы не могли провести полный аудит удаления контента. К счастью, NodeBB снова пришел на помощь (это начинает звучать как рекламный проспект — я клянусь, что это не так!) И пропустил все 60000 сообщений через свой спам-плагин, чтобы удалить наиболее очевидных и некачественных нарушителей.

Всего мы удалили более 10 000 постов.

Мы не перенаправляли эти URL-адреса, а просто разрешили им 404 после миграции. Казалось, что по ним никто не скучает.

К вашему сведению: еще один отличный ресурс по сокращению контента — это отличный веб-семинар с Бернардом Хуангом, Сугантаном Моханадасаном и Энди Чедвиком.

4. Лучшее внутреннее связывание и удобство использования.

Несмотря на то, что мы переносили тот же контент и базовый дизайн, миграция предоставила потрясающую возможность улучшить взаимодействие с пользователем. Для этого мы внесли два небольших изменения в общий UX:

1. Добавлены панировочные сухари по всему приложению

2. На боковой панели добавлены очень релевантные «похожие вопросы»

В старом Q&A не было ни одной из этих функций. Пользователи, которые задавали вопрос, не имели возможности исследовать другие вопросы. В результате мы годами страдали от удручающе высокого показателя отказов и плохих показателей взаимодействия с сайтом.

Результаты: до и после миграции

Честно говоря, я никогда не видел такой миграции. Выполнив множество миграций, я приложил все усилия, чтобы подготовить всех к наиболее вероятному сценарию: быть готовым к падению трафика на 15-30% в течение 1-3 месяцев, пока Google обрабатывает все URL-адреса.

По правде говоря, ничего даже близкого к этому не произошло.

Как вы можете видеть на диаграмме ниже, мы фактически увидели рост трафика, практически начиная с первого дня.

Фактически, за два месяца после миграции органический трафик Google на страницы вопросов и ответов был почти на 19% по сравнению с трафиком на все остальные страницы.

Что вызвало такой немедленный рост трафика? Было ли это улучшенным покрытием карты сайта, улучшенными внутренними ссылками или чем-то еще?

Мы просто не знаем наверняка, но у нас есть подсказка.

Как только мы запустили новый раздел вопросов и ответов, показатели вовлеченности взлетели до небес:

• Больше времени на сайте

• Более низкий показатель отказов

• Больше страниц за сеанс

Короче говоря, казалось, что пользователи намного счастливее и более вовлечен с новым опытом.

Могло ли повышение вовлеченности пользователей помочь в рейтинге?

Опять же, мы не знаем. Google довольно скрытно относится к тому, как он может или не может использовать сигналы кликов пользователей для целей ранжирования, но у нас есть свои подозрения.

Движение в будущее

Мы все еще продолжаем улучшать систему вопросов и ответов. В частности, мы работаем над повышением скорости, особенно в свете работы Google над Core Web Vitals.

Тем не менее, это определенно была восхитительная миграция, когда мы не испытали падения трафика — даже на один день!

Возможно, если вы значительно улучшите свой пользовательский интерфейс, архитектуру сайта и передовые методы SEO, миграции действительно могут привести к быстрой чистой прибыли.