Контроль синхронизации MongoDB ClickPipe
Этот документ описывает, как контролировать синхронизацию MongoDB ClickPipe, когда ClickPipe находится в режиме CDC (Работающий).
Обзор
Базы данных ClickPipe имеют архитектуру, которая состоит из двух параллельных процессов - извлечение данных из исходной базы данных и отправка в целевую базу данных. Процесс извлечения контролируется конфигурацией синхронизации, которая определяет, как часто данные должны извлекаться и сколько данных должно извлекаться за раз. Под "за раз" мы понимаем один пакет - поскольку ClickPipe извлекает и отправляет данные пакетами.
Существует два основных способа контролировать синхронизацию MongoDB ClickPipe. ClickPipe начнет отправку, когда сработает одна из следующих настроек.
Интервал синхронизации
Интервал синхронизации трубопровода - это количество времени (в секундах), в течение которого ClickPipe будет извлекать записи из исходной базы данных. Время отправки данных в ClickHouse не включается в этот интервал.
По умолчанию это 1 минута. Интервал синхронизации можно установить на любое положительное целое значение, но рекомендуется поддерживать его выше 10 секунд.
Размер извлекаемого пакета
Размер извлекаемого пакета - это количество записей, которые ClickPipe будет извлекать из исходной базы данных за один пакет. Записи означают вставки, обновления и удаления, произведенные в коллекциях, которые являются частью трубопровода.
По умолчанию это 100,000 записей. Безопасный максимум - 10 миллионов.
Настройка параметров синхронизации
Вы можете установить интервал синхронизации и размер извлекаемого пакета, когда создаете ClickPipe или редактируете существующий. При создании ClickPipe это будет видно на втором этапе мастера создания, как показано ниже:
При редактировании существующего ClickPipe вы можете перейти на вкладку Настройки трубопровода, приостановить трубопровод, а затем нажать Настроить здесь:
Это откроет всплывающее окно с настройками синхронизации, где вы можете изменить интервал синхронизации и размер извлекаемого пакета:
Мониторинг поведения управления синхронизацией
Вы можете видеть, сколько времени занимает каждый пакет в таблице CDC Syncs на вкладке Метрики ClickPipe. Обратите внимание, что длительность здесь включает время отправки, а также если нет входящих строк, ClickPipe ждет, и время ожидания также включается в продолжительность.
