Перейти к основному содержимому
Перейти к основному содержимому

Импорт данных из MongoDB в ClickHouse (с использованием CDC)

Beta feature. Learn more.
к сведению

Импорт данных из MongoDB в ClickHouse Cloud через ClickPipes находится на стадии публичного бета-тестирования.

примечание

В консоли ClickHouse Cloud и документации термины "таблица" и "коллекция" используются взаимозаменяемо для MongoDB.

Вы можете использовать ClickPipes для импорта данных из вашей базы данных MongoDB в ClickHouse Cloud. Исходная база данных MongoDB может быть развернута локально или в облаке, используя такие сервисы, как MongoDB Atlas.

Предварительные условия​

Для начала вам необходимо убедиться, что ваша база данных MongoDB правильно настроена для репликации. Шаги конфигурации зависят от того, как вы развертываете MongoDB, поэтому, пожалуйста, следуйте соответствующему руководству ниже:

  1. MongoDB Atlas

  2. Общий MongoDB

После настройки вашей исходной базы данных MongoDB вы можете продолжить создание вашего ClickPipe.

Создайте ваш ClickPipe​

Убедитесь, что вы вошли в свою учетную запись ClickHouse Cloud. Если у вас еще нет аккаунта, вы можете зарегистрироваться здесь.

  1. В консоли ClickHouse Cloud перейдите к вашему сервису ClickHouse Cloud.
Сервис ClickPipes
  1. Выберите кнопку Источники данных в левом меню и нажмите "Настроить ClickPipe".
Выберите импорт
  1. Выберите плитку MongoDB CDC.
Выберите MongoDB

Добавьте подключение к вашей исходной базе данных MongoDB​

  1. Заполните данные подключения для вашей исходной базы данных MongoDB, которую вы настроили на этапе предварительных условий.

    к сведению

    Прежде чем добавлять детали подключения, убедитесь, что вы включили IP-адреса ClickPipes в правилах вашего файервола. На следующей странице вы можете найти список IP-адресов ClickPipes. Для получения дополнительной информации обратитесь к руководствам настройки исходной MongoDB, связанным в начале этой страницы.

    Заполните данные подключения

Как только данные подключения заполнены, нажмите Далее.

Настройте расширенные параметры​

При необходимости вы можете настроить расширенные параметры. Краткое описание каждого параметра приведено ниже:

  • Интервал синхронизации: Это интервал, с которым ClickPipes будет опрашивать исходную базу данных на предмет изменений. Это влияет на сервис ClickHouse, поэтому для пользователей, озабоченных затратами, мы рекомендуем устанавливать это значение выше (более 3600).
  • Размер пакета извлечения: Количество строк, которые будут извлечены за один раз. Это настройка, основанная на лучших усилиях, и может не соблюдаться во всех случаях.
  • Количество таблиц, извлекаемых параллельно: Это количество таблиц, которые будут извлекаться параллельно во время начального снимка. Это полезно, когда у вас большое количество таблиц, и вы хотите контролировать количество извлекаемых таблиц параллельно.

Настройте таблицы​

  1. Здесь вы можете выбрать целевую базу данных для вашего ClickPipe. Вы можете выбрать существующую базу данных или создать новую.

    Выберите целевую базу данных

  2. Вы можете выбрать таблицы, которые хотите реплицировать из исходной базы данных MongoDB. При выборе таблиц вы также можете переименовать их в целевой базе данных ClickHouse.

Проверьте права доступа и начните ClickPipe​

  1. Выберите роль "Полный доступ" из выпадающего списка прав доступа и нажмите "Завершить настройку".

    Проверьте права доступа

Что дальше?​

После того как вы настроили ваш ClickPipe для репликации данных из MongoDB в ClickHouse Cloud, вы можете сосредоточиться на том, как запрашивать и моделировать ваши данные для оптимальной производительности.

Замечания​

Вот несколько замечаний, которые стоит учитывать при использовании этого коннектора:

  • Мы требуем версию MongoDB 5.1.0 или выше.
  • Мы используем нативное API Change Streams MongoDB для CDC, которое основано на oplog MongoDB для захвата изменений в реальном времени.
  • Документы из MongoDB по умолчанию реплицируются в ClickHouse в виде типа JSON. Это позволяет гибко управлять схемой и использовать богатый набор операторов JSON в ClickHouse для запросов и аналитики. Вы можете узнать больше о запросах к JSON данным здесь.
  • Конфигурация PrivateLink с самообслуживанием в настоящее время недоступна. Если вы находитесь на AWS и нуждаетесь в PrivateLink, пожалуйста, свяжитесь с db-integrations-support@clickhouse.com или создайте тикет в поддержку — мы поможем вам с его включением.