Мониторинг сетевого потока — общедоступный, обеспечивающий сквозную видимость трафика.

Сетевые инженеры часто обнаруживают, что им необходимо лучше контролировать сетевой трафик и операции при анализе DDoS-атак или устранении других аномалий трафика. Эти инженеры обычно имеют некоторые показатели высокого уровня о своем сетевом трафике, но им сложно собрать важную информацию о конкретных потоках трафика, которая могла бы прояснить проблему. Чтобы решить эту проблему, Cloudflare тестирует продукт для мониторинга потоков облачной сети под названием Magic Network Monitoring, который дает клиентам сквозную видимость всего трафика в их сети.

Сегодня Cloudflare рада сообщить, что Magic Network Monitoring (ранее называвшийся Flow Based Monitoring) теперь доступен всем корпоративным клиентам. За последний год команда инженеров Cloudflare значительно улучшила мониторинг сети Magic; Мы рады предложить продукт сетевых услуг, который поможет нашим клиентам быстрее выявлять угрозы, уменьшать количество уязвимостей и делать их сети более безопасными.

Magic Network Monitoring автоматически включается для всех корпоративных клиентов Magic Transit и Magic WAN. Продукт расположен на уровне учетной записи панели управления Cloudflare, и его можно открыть, перейдя в «Аналитика и журналы > Magic Monitoring». Процесс подключения к Magic Network Monitoring осуществляется самостоятельно, и все корпоративные клиенты, имеющие доступ, могут начать настройку продукта уже сегодня.

Любые корпоративные клиенты без Magic Transit или Magic WAN, заинтересованные в тестировании Magic Network Monitoring, могут получить доступ к бесплатной версии (с некоторыми ограничениями по объему трафика), отправив запрос в свою команду по работе с учетными записями Cloudflare или заполнив эту форму, чтобы поговорить с эксперт.

Что такое мониторинг сети Magic?

Magic Network Monitoring — это монитор потока облачной сети. Поток сетевого трафика — это любой поток пакетов между одним источником и одним пунктом назначения с одним и тем же интернет-протоколом и набором портов. Клиенты могут отправлять отчеты о сетевых потоках со своих маршрутизаторов (или любого другого генератора сетевых потоков) на общедоступную конечную точку в сети Anycast Cloudflare, даже если трафик изначально не проходил через сеть Cloudflare. Cloudflare анализирует данные сетевого потока, а затем предоставляет клиентам доступ к ключевым показателям сетевого трафика через аналитическую панель. Эти показатели включают в себя: объем трафика (в битах или пакетах) с течением времени, IP-адреса источника, IP-адреса назначения, порты, протоколы трафика и IP-адреса маршрутизатора. Клиенты также могут настроить оповещения для выявления DDoS-атак и любых других действий с аномальным объемом трафика.

Обнаружение типа корпоративной DDoS-атаки

Клиенты Magic Transit On Demand (MTOD) получат значительные преимущества в области видимости трафика при использовании Magic Network Monitoring. Magic Transit — это решение сетевой безопасности, которое обеспечивает защиту от DDoS-атак и ускорение трафика из каждого центра обработки данных Cloudflare для локальных, облачных и гибридных сетей. Клиенты Magic Transit On Demand могут активировать Magic Transit для защиты при обнаружении DDoS-атаки.

В целом мы заметили, что некоторым клиентам MTOD не хватает инструментов наблюдения за сетью, позволяющих быстро идентифицировать DDoS-атаки и принять соответствующие меры по их смягчению. Теперь клиенты MTOD могут использовать Magic Network Monitoring для анализа своих сетевых данных и получать оповещения в случае обнаружения DDoS-атаки.

После обнаружения DDoS-атаки клиенты Magic Network Monitoring могут вручную или автоматически включить Magic Transit для смягчения любых DDoS-атак.

Мониторинг корпоративной сети

Клиенты Cloudflare Magic WAN и Cloudflare One также могут получить выгоду от использования Magic Network Monitoring. Сегодня эти клиенты имеют превосходную видимость трафика, который они отправляют через сеть Cloudflare, но иногда им может не хватать информации о трафике, который не отправляется через Cloudflare. Это может включать трафик, который остается в локальной сети, или сетевой трафик, передаваемый между облачными средами. Клиенты Magic WAN и Cloudflare One могут добавить Magic Network Monitoring в свой набор продуктовых решений, чтобы обеспечить сквозную видимость всего трафика в своей сети.

Глубокое погружение в сетевой поток и выборку сетевого трафика.

Magic Network Monitoring дает клиентам лучший обзор сетевого трафика за счет приема и анализа данных о сетевых потоках.

Процесс начинается, когда маршрутизатор (или другое устройство генерации сетевого потока) собирает статистические выборки входящих и/или исходящих пакетных данных. Эти выборки собираются путем проверки 1 в каждом X пакетов, где X — частота выборки, настроенная на маршрутизаторе. Типичная частота выборки варьируется от 1 на каждые 1000 до 1 на каждые 4000 пакетов. Идеальная частота выборки зависит от объема трафика, разнообразия трафика и вычислительной мощности/мощности памяти оборудования вашего маршрутизатора. Подробнее о рекомендуемой частоте выборки сетевого потока можно прочитать в документации Cloudflare MNM Developer Docs.

Выборочные данные упаковываются в один из двух стандартных отраслевых форматов данных сетевых потоков: NetFlow или sFlow. В NetFlow выборочные данные пакета группируются по различным характеристикам пакета, таким как IP-адрес источника/назначения, порт и протокол. Каждая группа выборочных пакетных данных также включает оценку объема трафика. В sFlow в качестве репрезентативной выборки выбирается весь заголовок пакета без какого-либо суммирования данных. В результате sFlow представляет собой более богатый формат данных и включает больше подробностей о сетевом трафике, чем данные NetFlow. После сбора образцов данных NetFlow или sFlow они отправляются в Magic Network Monitoring для анализа и оповещения.

Почему простая случайная выборка не сработала для Magic Network Monitoring

Magic Network Monitoring прошел долгий путь с момента своего выпуска в раннем доступе год назад. В частности, команда инженеров Cloudflare потратила значительное время на повышение точности оценок объема трафика в MNM. В ранней версии Magic Network Monitoring клиенты неожиданно сообщали, что оценки объема сетевого трафика были слишком высокими и не соответствовали ожидаемому значению.

Magic Network Monitoring выполняет собственную выборку получаемых данных NetFlow или sFlow, что позволяет эффективно масштабировать и управлять данными, поступающими через глобальную сеть Cloudflare. Повышение точности оценок объема трафика оказалось сложнее, чем ожидалось, поскольку данные NetFlow или sFlow, анализируемые MNM, уже построены на основе выборочных пакетных данных. Это вводит несколько отдельных уровней выборки данных в аналитике продукта.

В первой версии Magic Network Monitoring использовалась случайная выборка, при которой для представления объема трафика в данный момент времени выбиралось случайное подмножество данных сетевого потока с одинаковой меткой времени. Характерной чертой данных сетевого потока является то, что некоторые выборки более значимы, чем другие, и представляют больший объем сетевого трафика. Чтобы учесть эту значимость, мы можем присвоить каждой выборке вес в зависимости от объема трафика, который она представляет. Веса данных сетевого потока всегда являются положительными числами и следуют распределению с длинным хвостом. Эти характеристики данных привели к тому, что случайная выборка MNM неправильно оценила объем трафика сети клиента. Клиенты могли видеть ложные всплески в аналитике объема трафика, когда выборка данных из «длинного хвоста» случайным образом выбиралась как репрезентативная для всего трафика на данный момент времени.

Повышение точности с помощью отбора проб резервуара VarOpt

Чтобы решить эту проблему, команда инженеров Cloudflare внедрила альтернативный метод отбора проб из резервуара под названием VarOpt. VarOpt предназначен для сбора выборок из потока данных, когда длина потока данных неизвестна (идеальное приложение для анализа входящих данных сетевого потока). В реализации VarOpt MNM мы начинаем с пустого резервуара фиксированного размера, который заполняется образцами данных сетевого потока. Когда резервуар заполнен, а новые данные о потоке сети все еще поступают, старый образец случайным образом выбрасывается из резервуара и заменяется новым.

После наблюдения определенного количества выборок мы рассчитываем объем трафика по всем взвешенным выборкам в резервуаре, и это расчетный объем трафика сетевого потока клиента на данный момент времени. Наконец, резервуар опорожняется, и цикл VarOpt перезапускается, заполняя резервуар следующим набором последних образцов сетевого потока.

Новый метод выборки VarOpt значительно повысил точность оценки объема трафика в Magic Network Monitoring и решил проблемы наших клиентов. Эти улучшения выборки проложили путь к общедоступности, и мы рады сделать точную аналитику сетевых потоков доступной каждому.

Документация разработчика и сообщество Discord

Существует подробная документация разработчика Magic Network Monitoring, в которой объясняются функции продукта и содержится пошаговое руководство по настройке для новых клиентов. Работая над документацией Magic Network Monitoring, оставляйте отзывы, нажав кнопку «Оставить отзыв» в правом верхнем углу документации для разработчиков.

Мы также создали канал в сообществе Discord Cloudflare, посвященный отладке проблем конфигурации, тестированию новых функций и предоставлению отзывов о продукте. Вы можете перейти по этой ссылке, чтобы присоединиться к серверу Cloudflare Discord.

Бесплатная версия

Бесплатная версия Magic Network Monitoring доступна всем корпоративным клиентам по запросу в их команду по работе с клиентами Cloudflare. Бесплатная версия предназначена для того, чтобы корпоративные клиенты могли быстро протестировать и оценить Magic Network Monitoring перед покупкой Magic Transit, Magic WAN или Cloudflare One. Корпоративные клиенты могут полностью настроить Magic Network Monitoring самостоятельно, следуя пошаговому руководству по настройке в документации продукта. Бесплатная версия имеет некоторые ограничения на объем обрабатываемого трафика, которые подробно описаны в документации продукта.

Бесплатная версия Magic Network Monitoring также доступна всем клиентам Cloudflare с бесплатным, профессиональным и бизнес-планами через закрытую бета-версию. Любой может запросить доступ к бесплатной версии, прочитав документацию по бесплатной версии и заполнив эту форму. Приоритетный доступ предоставляется любому, кто присоединяется к серверу Discord Cloudflare и отправляет сообщение в канал Discord Magic Network Monitoring.

Следующие шаги, которые вы можете предпринять сегодня

Magic Network Monitoring общедоступен, и сегодня всем клиентам Magic Transit и Magic WAN автоматически предоставлен доступ к продукту. Вы можете перейти к продукту, перейдя на уровень учетной записи панели управления Cloudflare и выбрав «Аналитика и журналы > Magic Monitoring».

Если вы являетесь корпоративным клиентом без Magic Transit или Magic WAN и хотите использовать Magic Network Monitoring для улучшения видимости трафика, вы можете поговорить с экспертом MNM сегодня.

Если вы заинтересованы в использовании Magic Transit и Magic Network Monitoring для защиты от DDoS, вы можете запросить демо-версию Magic Transit. Если вы хотите использовать Magic WAN и Magic Network Monitoring вместе, чтобы обеспечить сквозную видимость сетевого трафика, вы можете поговорить с экспертом Magic WAN.