Когда панели замедляются, отчётность нагружает приложение или хранить события становится слишком дорого, сначала нужно определить, какой рабочей нагрузке требуется другой подход.
Это типовые сценарии. Первая проверка определяет, находится ли причина проблемы в базе данных, конвейере, приложении или их сочетании.
Диаграммы завершаются по тайм-ауту, фильтры работают медленно, а каждому новому арендатору требуется больше предварительно рассчитанных отчётов. Рассмотрите выделенный аналитический слой для данных об использовании продукта и клиентской отчётности.
Большие сканирования и агрегации создают нагрузку на SQL Server, PostgreSQL или MySQL. Рассмотрите перенос выбранных отчётных запросов в аналитическую копию.
Рост приводит к увеличению затрат на вычисления, сокращению хранения или ограничениям на доступ к запросам. Сравните полную стоимость нагрузки при реалистичном использовании.
Журналы, трассировки и события устройств быстро растут, а выборка и короткий срок хранения затрудняют расследования. Проектируйте хранение вокруг вопросов, на которые нужно отвечать.
Заказы, доставки, устройства или транзакции меняются быстрее, чем обновляются отчёты. Определите решение, которому нужны более свежие данные, и доступное время для действия.
Нужно объяснять, какая модель, клиент или версия вызывает ошибки, задержки или расходы. Создайте аналитическую запись запросов, трассировок, оценок и результатов.
ClickHouse - это SQL-база данных для аналитики больших наборов данных. Её применимость зависит от запросов и жизненного цикла данных. Прочитать официальное введение .
Вы регулярно фильтруете, группируете или агрегируете растущие наборы событийных или бизнес-данных, а скорость запросов, актуальность или параллельность стали существенной проблемой.
Ваша нагрузка зависит от частых исправлений, сложных соединений, строгой согласованности или требовательной изоляции арендаторов. Эти требования необходимо явно моделировать и тестировать.
Небольшую отчётную нагрузку, редкий экспорт или проблему, устранимую индексом либо изменением запроса, лучше оставить в текущей системе. Построчные транзакции должны выполняться в подходящей транзакционной системе.
Для начала достаточно нескольких предложений о проблеме. Не нужно заранее знать, какие функции ClickHouse вы будете использовать.