Как вставить данные из PostgreSQL

Мы рекомендуем прочитать это руководство, чтобы узнать о лучших практиках вставки данных в ClickHouse с оптимизацией для производительности вставки.

Для пакетной загрузки данных из PostgreSQL пользователи могут использовать:

• ClickPipes — управляемый сервис интеграции для ClickHouse Cloud.
• PeerDB by ClickHouse — ETL инструмент, специально разработанный для репликации баз данных PostgreSQL как на самоуправляемый ClickHouse, так и на ClickHouse Cloud.
• Postgres Table Function для непосредственного чтения данных. Это обычно подходит, если пакетная репликация на основе известного уровня воды, например, метки времени, достаточна или если это одноразовая миграция. Этот подход может масштабироваться до десятков миллионов строк. Пользователи, планирующие мигрировать более крупные наборы данных, должны рассмотреть возможность использования нескольких запросов, каждый из которых обрабатывает часть данных. Временные таблицы могут быть использованы для каждой части перед перемещением их партиций в окончательную таблицу. Это позволяет повторно пытаться выполнить неудавшиеся запросы. Для получения дополнительных деталей об этой стратегии пакетной загрузки, смотрите здесь.
• Данные можно экспортировать из Postgres в формате CSV. Затем их можно вставить в ClickHouse как из локальных файлов, так и через объектное хранилище с использованием табличных функций.