Современные реалии таковы, что не каждый бизнес может себе позволить сайт, особенно стартующий бизнес. Поэтому выгодно воспользоваться конструктором сайтов, например filandor. Запуск сайта через несколько минут.
Сеть постоянно меняется. Будь то новости или обновления в вашей социальной ленте, это постоянный поток информации. Как пользователь, это здорово. Но задумывались ли вы когда-нибудь, как поисковые системы справляются со всеми изменениями?
Оказывается, они регулярно «индексируют» сеть — рассылают ботов, которые постоянно сканируют веб-страницы в поисках изменений. Сегодня трафик ботов составляет около 30% от общего трафика в Интернете, и, учитывая, насколько фундаментальным для использования Интернета является поиск, неудивительно, что боты поисковых систем составляют значительную часть того, что могло бы стать неожиданностью. тем не менее, насколько неэффективна эта модель: по нашим оценкам, более 50% трафика поискового робота тратится впустую.
Это оказывает огромное влияние. Есть все дополнительные возможности, которые владельцы веб-сайтов должны встроить в свой сайт, чтобы поглощать ботов, ползающих по нему. Есть передача данных. Есть затраты ЦП на запуск ботов. И когда вы работаете в масштабах Интернета, все это имеет довольно большой экологический след.
Часть проблемы, однако, в том, что никто не остановился, чтобы спросить: может быть, есть лучший способ?
Прямо сейчас модель индексации веб-сайтов такая же, как и с 1990-х годов: модель «вытягивания», когда поисковая система отправляет сканер на веб-сайт через заранее определенное время. Во время Impact Week в прошлом году мы спросили: а как насчет того, чтобы перевернуть модель с ног на голову? Как насчет перехода к модели push-уведомлений, когда веб-сайт может просто отправить запрос поисковой системе, чтобы сообщить ей об обновлении?
Преимуществ у такой модели куча. Веб-сайт выигрывает: он не занимается ненужным сканированием. Он также следит за тем, чтобы как только происходит обновление его содержимого, оно отражалось в поисковой системе — ему не нужно было ждать следующего обхода. Владелец веб-сайта выигрывает, потому что ему не нужно управлять отдельными запросами сканирования поисковых систем. Поисковая система тоже выигрывает: она экономит деньги на сканировании и может быть уверена, что получает самый свежий контент.
Конечно, это требует работы с обеих сторон уравнения. Веб-сайтам нужен механизм для оповещения поисковых систем; а поисковым системам нужен механизм для получения предупреждений, чтобы они знали, когда выполнять сканирование.
Crawler Hints — решение Cloudflare для веб-сайтов
Именно для решения этой проблемы мы запустили Crawler Hints. Cloudflare занимает уникальное положение в Интернете — мы обслуживаем в среднем 36 миллионов HTTP-запросов в секунду. Это представляет много веб-сайтов. Это также означает, что у нас есть уникальная возможность помочь решить эту проблему: помочь краулерам подсказать, когда им следует выполнить повторное сканирование, если был добавлен новый контент или если контент на сайте недавно изменился.
С помощью Crawler Hints мы отправляем сигналы веб-индексаторам на основе данных кеша и кодов состояния источника, чтобы помочь им понять, когда контент, вероятно, изменился или был добавлен на сайт. Цель состоит в том, чтобы увеличить количество релевантных сканирований, а также резко сократить количество сканирований, которые не находят свежий контент, экономя пропускную способность и вычислительные ресурсы как для индексаторов, так и для сайтов, а также улучшая опыт использования поисковых систем.
Но, конечно, это только половина уравнения.
Протокол IndexNow — поисковая система переходит от Pull к Push
Веб-сайты, предупреждающие поисковую систему об изменениях, бесполезны, если поисковые системы не слушают — и они просто продолжают сканировать, как всегда. Конечно, поисковые системы невероятно сложны, и изменить способ их работы — непростая задача.
Протокол IndexNow — это стандарт, разработанный Microsoft, Seznam.cz и Яндекс, и он представляет собой серьезный сдвиг в работе поисковых систем. Используя IndexNow, поисковые системы получают механизм, с помощью которого они могут получать сигналы от Crawler Hints. Получив этот сигнал, они могут переключить свои поисковые роботы с модели вытягивания на модель выталкивания.
В недавнем обновлении Microsoft объявила, что миллионы веб-сайтов теперь используют IndexNow, чтобы сигнализировать сканерам поисковых систем, когда их контент должен быть просканирован, а IndexNow использовался для индексировать/сканировать около 7% всех новых URL-адресов щелкнул когда кто-то выбирает из результатов веб-поиска.
Что касается Cloudflare, то с момента выпуска Crawler Hints в октябре 2021 г. Crawler Hints обработало около шестьсот миллиардов сигналы для IndexNow.
Это много сохраненных сканирований.
Как включить подсказки сканера
Включив Crawler Hints на вашем веб-сайте простым нажатием кнопки, Cloudflare позаботится о том, чтобы сигнализировать этим поисковым системам об изменении вашего контента через API IndexNow. Больше ничего делать не нужно!
Советы Crawler бесплатны и доступны для всех клиентов Cloudflare. Если вы хотите узнать, как Crawler Hints может помочь индексации вашего веб-сайта крупнейшими поисковыми системами мира, пожалуйста, не стесняйтесь подписаться на услугу:
- Войдите в свою учетную запись Cloudflare.
- В панели управления перейдите на вкладку «Кэш».
- Нажмите на раздел Конфигурация.
- Найдите подсказки Crawler и включите их.
После включения Crawler Hints Cloudflare будет сообщать, когда контент на вашем сайте изменился и его необходимо повторно просканировать с помощью поисковых систем с использованием протокола IndexNow (этот блог может помочь, если вы хотите узнать больше о том, как работает этот механизм).
Что дальше?
В дальнейшем, поскольку преимущества для владельцев сайтов, поисковых операторов и окружающей среды столь значительны, мы планируем включить подсказки сканера по умолчанию для всех наших клиентов. Мы также надеемся, что Google, крупнейшая в мире поисковая система и самый расточительный пользователь интернет-ресурсов, примет IndexNow или аналогичный стандарт и снизит нагрузку на поисковое сканирование на планете.
Когда мы думаем о помощи в создании лучшего Интернета, именно это приходит на ум: создание и поддержка стандартов, которые сделают его работу лучше, экологичнее и быстрее. Мы очень довольны проделанной работой и продолжим работать над улучшением сигнализации, чтобы обеспечить своевременную отправку наиболее ценной информации в поисковые системы. Это включает в себя включение дополнительных сигналов, таких как etags, последние измененные заголовки и различия хэшей контента. Добавление этих сигналов поможет дополнительно информировать сканеры о том, когда им следует переиндексировать сайты и как часто им нужно возвращаться на конкретный сайт, чтобы проверить, был ли он изменен. Это только начало. Мы продолжим тестировать больше сигналов и работать с отраслевыми партнерами, чтобы помочь сканерам работать эффективно с помощью этих подсказок.
И наконец: если вы пользуетесь Cloudflare и хотите стать частью этой революции в том, как поисковые системы работают в Интернете (это бесплатно!), просто следуйте инструкциям в разделе выше.
