Современные реалии таковы, что не каждый бизнес может себе позволить сайт, особенно стартующий бизнес. Поэтому выгодно воспользоваться конструктором сайтов, например filandor. Запуск сайта через несколько минут.
Журналы являются важной частью каждого успешного приложения. Продукты и услуги Cloudflare по всему миру генерируют огромное количество журналов, от которых зависят клиенты всех размеров. Структурированное ведение журналов из наших продуктов используется клиентами в таких целях, как аналитика, отладка проблем с производительностью, мониторинг работоспособности приложений, соблюдение стандартов безопасности для соответствия требованиям и многое другое.
Logpush — это продукт Cloudflare для отправки этих важных журналов в клиентские системы для использования и анализа. Всякий раз, когда наши продукты генерируют журналы в результате трафика или данных, проходящих через наши системы из любой точки мира, мы буферизуем эти журналы и отправляем их непосредственно в определенные клиентом места назначения, такие как Cloudflare R2, Splunk, AWS S3 и многие другие.
Сегодня мы объявляем о трех новых ключевых функциях, связанных с продуктом Logpush от Cloudflare. Во-первых, возможность отправлять только журналы, соответствующие определенным критериям. Во-вторых, возможность получать оповещения, когда журналы не отправляются из-за проблем с пунктами назначения клиентов или проблем с сетью, возникающих между Cloudflare и пунктом назначения клиента. Кроме того, клиенты также смогут запрашивать аналитику о работоспособности заданий Logpush, например, сколько байтов и записей было отправлено, количество успешных и неудачных отправок.
Фильтрация журналов перед их отправкой
Поскольку журналы являются критически важными и создаются в больших объемах, многим клиентам приходится поддерживать сложную инфраструктуру только для приема и хранения журналов, а также иметь дело с постоянно растущими сопутствующими расходами. В обычный день реальный примерный клиент получает около 21 миллиарда записей или 2,1 терабайта (около 24,9 ТБ без сжатия) журналов, сжатых gzip. В течение месяца это могут быть сотни миллиардов событий и сотни терабайт данных.
Часто нет необходимости хранить и анализировать все эти данные, и клиенты могут обойтись определенными подмножествами данных, соответствующими определенным критериям. Например, клиенту может понадобиться только набор данных HTTP с кодом состояния >= 400 или набор данных брандмауэра, в которых было предпринято действие по блокировке пользователя.
Теперь мы можем добиться этого в наших заданиях Logpush, установив определенные фильтры для полей самих сообщений журнала. Вы можете использовать либо наш API, либо панель инструментов Cloudflare для настройки фильтров.
Для этого на панели управления создайте новое задание Logpush или измените существующее задание. Вы увидите возможность установить определенные фильтры. Например, клиент электронной коммерции может захотеть получать журналы только для страницы оформления заказа, где оценка бота не равна нулю:
Оповещение о задании Logpush
Когда журналы являются важной частью вашей инфраструктуры, вы хотите быть уверенными в том, что инфраструктура журналов исправна. Имея это в виду, мы объявляем о возможности получать уведомления, когда ваши задания Logpush повторяли попытки отправки и терпели неудачу в течение 24 часов.
Чтобы настроить оповещения в панели управления Cloudflare:
1. Сначала перейдите к «Уведомлениям» на левой панели представления учетной записи.
2. Затем нажмите кнопку «Добавить».
3. Выберите предупреждение «Сбой задания Logpush отключен».
4. Настройте оповещение и нажмите Сохранить.
Вот и все — вы получите уведомление по электронной почте, если ваше задание Logpush отключено.
API состояния работы Logpush
Мы также добавили возможность запрашивать статистику, связанную с работоспособностью ваших заданий Logpush, в наш API-интерфейс graphql. Теперь клиенты могут использовать наш GraphQL API для запроса таких вещей, как количество отправленных байтов, количество отправленных сжатых байтов, количество отправленных записей, статус каждой отправки и многое другое. Используя эту статистику, клиенты могут лучше видеть основную часть инфраструктуры. API GraphQL является самодокументируемым, поэтому полная информация о новом logpushHealthAdaptiveGroups node можно найти с помощью любого клиента GraphQL, но для получения дополнительной информации обратитесь к документации GraphQL.
Ниже приведены несколько примеров запросов о том, как вы можете использовать GraphQL для поиска статистики, связанной с вашими заданиями Logpush.
Запрос количества нажатий на S3, которые привели к коду состояния! = 200
query
{
viewer
{
zones(filter: { zoneTag: $zoneTag})
{
logpushHealthAdaptiveGroups(filter: {
datetime_gt:"2022-08-15T00:00:00Z",
destinationType:"s3",
status_neq:200
},
limit:10)
{
count,
dimensions {
jobId,
status,
destinationType
}
}
}
}
}
Получение количества байтов, сжатых байтов и записей, которые были отправлены
query
{
viewer
{
zones(filter: { zoneTag: $zoneTag})
{
logpushHealthAdaptiveGroups(filter: {
datetime_gt:"2022-08-15T00:00:00Z",
destinationType:"s3",
status:200
},
limit:10)
{
sum {
bytes,
bytesCompressed,
records
}
}
}
}
}
Резюме
Logpush — это надежная и гибкая платформа для клиентов, которым необходимо интегрировать свои собственные системы ведения журналов и мониторинга с Cloudflare. Различные задания Logpush могут быть развернуты для поддержки нескольких назначений или, с фильтрацией, нескольких поднаборов журналов.
Клиентам, которые еще не создали задания Logpush, рекомендуется сделать это. Попробуйте отправить свои журналы на R2 для безопасного хранения! Для клиентов, которые в настоящее время не имеют доступа к этому мощному инструменту, рассмотрите возможность обновления вашего плана.
