Настройки сервера
Этот раздел содержит описания настроек сервера. Это настройки, которые не могут быть изменены на уровне сессии или запроса.
Для получения дополнительной информации о файлах конфигурации в ClickHouse смотрите ""Файлы конфигурации"".
Другие настройки описаны в разделе ""Настройки"".
Перед изучением настроек мы рекомендуем прочитать раздел Файлы конфигурации и обратить внимание на использование подстановок (атрибуты incl
и optional
).
abort_on_logical_error
access_control_improvements
Настройки для опциональных улучшений в системе контроля доступа.
Настройка | Описание | По умолчанию |
---|---|---|
users_without_row_policies_can_read_rows | Устанавливает, могут ли пользователи без разрешений на строки все же читать строки с помощью запроса SELECT . Например, если есть два пользователя A и B и политика строк определена только для A, то если эта настройка истинна, пользователь B увидит все строки. Если эта настройка ложна, пользователь B не увидит никаких строк. | true |
on_cluster_queries_require_cluster_grant | Устанавливает, требуется ли для запросов ON CLUSTER разрешение CLUSTER . | true |
select_from_system_db_requires_grant | Устанавливает, требуется ли для SELECT * FROM system.<table> какие-либо разрешения и может ли он выполняться любым пользователем. Если установлено в true , этот запрос требует GRANT SELECT ON system.<table> , так же как и для нестандартных таблиц. Исключения: несколько системных таблиц (tables , columns , databases и некоторые постоянные таблицы, такие как one , contributors ) все еще доступны для всех; и если предоставлено привилегия SHOW (например, SHOW USERS ), то соответствующая системная таблица (т.е. system.users ) будет доступна. | true |
select_from_information_schema_requires_grant | Устанавливает, требуется ли для SELECT * FROM information_schema.<table> какие-либо разрешения и может ли он выполняться любым пользователем. Если установлено в true , этот запрос требует GRANT SELECT ON information_schema.<table> , так же как и для обычных таблиц. | true |
settings_constraints_replace_previous | Устанавливает, будет ли ограничение в профиле настроек для некоторой настройки отменять действия предыдущего ограничения (определенного в других профилях) для этой настройки, включая поля, которые не устанавливаются новым ограничением. Также включает тип ограничения changeable_in_readonly . | true |
table_engines_require_grant | Устанавливает, требуется ли разрешение для создания таблицы с определенным движком таблицы. | false |
role_cache_expiration_time_seconds | Устанавливает количество секунд с момента последнего доступа, на которое роль сохраняется в кеше ролей. | 600 |
Пример:
access_control_path
Путь к папке, где сервер ClickHouse хранит конфигурации пользователей и ролей, созданные с помощью SQL-команд.
Смотрите также
aggregate_function_group_array_action_when_limit_is_reached
выбросить
исключение или отбросить
лишние значения.
aggregate_function_group_array_max_element_size
allow_feature_tier
Контролирует, может ли пользователь изменять настройки, связанные с различными уровнями функций.
0
- Разрешены изменения любой настройки (экспериментальные, бета, производственные).1
- Разрешены изменения только для настроек бета и производственных функций. Изменения экспериментальных настроек отклоняются.2
- Разрешены изменения только для производственных настроек. Изменения экспериментальных или бета-настроек отклоняются.
Это эквивалентно установке ограничения только для чтения на все функции EXPERIMENTAL
/ BETA
.
Значение 0
означает, что все настройки могут быть изменены.
allow_implicit_no_password
Запрещает создание пользователя без пароля, если не указано явно 'IDENTIFIED WITH no_password'.
allow_no_password
Устанавливает, разрешен ли небезопасный тип пароля no_password или нет.
allow_plaintext_password
Устанавливает, разрешены ли типы паролей в открытом виде (небезопасные) или нет.
allow_use_jemalloc_memory
allowed_disks_for_table_engines
Список дисков, разрешенных для использования с Iceberg.
async_insert_queue_flush_on_shutdown
async_insert_threads
async_load_databases
Асинхронная загрузка баз данных и таблиц.
- Если
true
, все нестандартные базы данных с движкомOrdinary
,Atomic
иReplicated
будут загружены асинхронно после запуска сервера ClickHouse. Смотрите таблицуsystem.asynchronous_loader
, параметры сервераtables_loader_background_pool_size
иtables_loader_foreground_pool_size
. Любой запрос, который пытается получить доступ к таблице, которая еще не загружена, будет ждать, пока эта таблица не будет запущена. Если задача загрузки завершилась неудачно, запрос выбросит ошибку (вместо завершения всей работы сервера в случаеasync_load_databases = false
). Таблица, которая ожидалась хотя бы одним запросом, будет загружена с более высоким приоритетом. DDL-запросы на базу данных будут ждать, пока эта база данных не будет запущена. Также рассмотрите возможность установки лимитаmax_waiting_queries
для общего числа ожидающих запросов. - Если
false
, все базы данных загружаются при старте сервера.
Пример
async_load_system_database
Асинхронная загрузка системных таблиц. Полезно, если есть большое количество таблиц журналов и частей в базе данных system
. Независимо от настройки async_load_databases
.
- Если установлено в
true
, все системные базы данных с движкамиOrdinary
,Atomic
иReplicated
будут загружены асинхронно после запуска сервера ClickHouse. Смотрите таблицуsystem.asynchronous_loader
, параметры сервераtables_loader_background_pool_size
иtables_loader_foreground_pool_size
. Любой запрос, который пытается получить доступ к системной таблице, которая еще не загружена, будет ждать, пока эта таблица не будет запущена. Таблица, которая ожидалась хотя бы одним запросом, будет загружена с более высоким приоритетом. Также рассмотрите возможность установки параметраmax_waiting_queries
, чтобы ограничить общее количество ожидающих запросов. - Если установлено в
false
, системная база данных загружается перед запуском сервера.
Пример
asynchronous_heavy_metrics_update_period_s
asynchronous_insert_log
Настройки для системной таблицы asynchronous_insert_log для логирования асинхронных вставок.
Следующие настройки можно настроить с помощью под-тегов:
Настройка | Описание | Значение по умолчанию | Примечание |
---|---|---|---|
database | Имя базы данных. | ||
table | Имя системной таблицы. | ||
engine | Определение движка MergeTree для системной таблицы. | Не может быть использован, если указаны partition_by или order_by . Если не указано, по умолчанию выбирается MergeTree | |
partition_by | Пользовательский ключ партиционирования для системной таблицы. | Если для системной таблицы указан engine , параметр partition_by должен быть указан непосредственно в 'engine' | |
ttl | Указывает TTL таблицы. | Если для системной таблицы указан engine , параметр ttl должен быть указан непосредственно в 'engine' | |
order_by | Пользовательский ключ сортировки для системной таблицы. Не может быть использован, если задан engine . | Если для системной таблицы указан engine , параметр order_by должен быть указан непосредственно в 'engine' | |
storage_policy | Имя политики хранения, которую нужно использовать для таблицы (необязательно). | Если для системной таблицы указан engine , параметр storage_policy должен быть указан непосредственно в 'engine' | |
settings | Дополнительные параметры, которые контролируют поведение MergeTree (необязательно). | Если для системной таблицы указан engine , параметр settings должен быть указан непосредственно в 'engine' | |
flush_interval_milliseconds | Интервал для сброса данных из буфера в памяти в таблицу. | 7500 | |
max_size_rows | Максимальный размер в строках для логов. Когда количество несброшенных логов достигает max_size, логи сбрасываются на диск. | 1048576 | |
reserved_size_rows | Предварительно выделенный размер памяти в строках для логов. | 8192 | |
buffer_size_rows_flush_threshold | Пороговое значение для количества строк. Если пороговое значение достигнуто, сброс логов на диск запускается в фоновом режиме. | max_size_rows / 2 | |
flush_on_crash | Устанавливает, следует ли сбрасывать логи на диск в случае аварии. | false |
Пример
asynchronous_metric_log
Включен по умолчанию при развертывании ClickHouse Cloud.
Если настройка по умолчанию не включена в вашей среде, в зависимости от способа установки ClickHouse, вы можете следовать инструкциям ниже, чтобы включить или отключить ее.
Включение
Чтобы вручную включить сбор истории асинхронных логов метрик system.asynchronous_metric_log
, создайте файл /etc/clickhouse-server/config.d/asynchronous_metric_log.xml
со следующим содержимым:
Отключение
Чтобы отключить настройку asynchronous_metric_log
, вы должны создать следующий файл /etc/clickhouse-server/config.d/disable_asynchronous_metric_log.xml
со следующим содержимым:
Следующие настройки можно настроить с помощью под-тегов:
Настройка | Описание | Значение по умолчанию | Примечание |
---|---|---|---|
database | Имя базы данных. | ||
table | Имя системной таблицы. | ||
engine | Определение движка MergeTree для системной таблицы. | Не может быть использован, если указаны partition_by или order_by . Если не указано, по умолчанию выбирается MergeTree | |
partition_by | Пользовательский ключ партиционирования для системной таблицы. | Если для системной таблицы указан engine , параметр partition_by должен быть указан непосредственно в 'engine' | |
ttl | Указывает TTL таблицы. | Если для системной таблицы указан engine , параметр ttl должен быть указан непосредственно в 'engine' | |
order_by | Пользовательский ключ сортировки для системной таблицы. Не может быть использован, если задан engine . | Если для системной таблицы указан engine , параметр order_by должен быть указан непосредственно в 'engine' | |
storage_policy | Имя политики хранения, которую нужно использовать для таблицы (необязательно). | Если для системной таблицы указан engine , параметр storage_policy должен быть указан непосредственно в 'engine' | |
settings | Дополнительные параметры, которые контролируют поведение MergeTree (необязательно). | Если для системной таблицы указан engine , параметр settings должен быть указан непосредственно в 'engine' | |
flush_interval_milliseconds | Интервал для сброса данных из буфера в памяти в таблицу. | 7500 | |
max_size_rows | Максимальный размер в строках для логов. Когда количество несброшенных логов достигает max_size, логи сбрасываются на диск. | 1048576 | |
reserved_size_rows | Предварительно выделенный размер памяти в строках для логов. | 8192 | |
buffer_size_rows_flush_threshold | Пороговое значение для количества строк. Если пороговое значение достигнуто, сброс логов на диск запускается в фоновом режиме. | max_size_rows / 2 | |
flush_on_crash | Устанавливает, следует ли сбрасывать логи на диск в случае аварии. | false |
asynchronous_metrics_enable_heavy_metrics
asynchronous_metrics_update_period_s
auth_use_forwarded_address
Использовать исходный адрес для аутентификации клиентов, подключенных через прокси.
Эту настройку следует использовать с особой осторожностью, поскольку перенаправленные адреса могут быть легко подделаны — сервера, принимающие такую аутентификацию, не должны быть доступны непосредственно, а только через доверенный прокси.
background_buffer_flush_schedule_pool_size
background_common_pool_size
background_distributed_schedule_pool_size
background_fetches_pool_size
background_merges_mutations_concurrency_ratio
Устанавливает соотношение между количеством потоков и количеством фоновых слияний и мутаций, которые могут выполняться одновременно.
Например, если отношение равно 2 и background_pool_size
установлено в 16, то ClickHouse может выполнять 32 фоновых слияния одновременно. Это возможно, потому что фоновые операции могут быть приостановлены и отложены. Это необходимо, чтобы дать маленьким слияниям больше приоритета при выполнении.
Вы можете только увеличить это соотношение во время выполнения. Чтобы уменьшить его, необходимо перезапустить сервер.
Как и параметр background_pool_size
, background_merges_mutations_concurrency_ratio
может быть применен из профиля default
для обеспечения обратной совместимости.
background_merges_mutations_scheduling_policy
Политика определения порядка выполнения фоновых слияний и мутаций. Возможные значения: round_robin
и shortest_task_first
.
Алгоритм, используемый для выбора следующего слияния или мутации, которые будут выполняться пулом фоновых потоков. Политика может быть изменена во время выполнения без перезапуска сервера.
Может быть применена из профиля default
для обеспечения обратной совместимости.
Возможные значения:
round_robin
— Каждое одновременное слияние и мутация выполняются по круговому принципу, чтобы обеспечить отсутствие голодания. Меньшие слияния завершаются быстрее, чем большие, просто потому, что у них меньше блоков для слияния.shortest_task_first
— Всегда выполняйте меньшее слияние или мутацию. Слияния и мутации получают приоритеты на основе их конечного размера. Слияния с меньшими размерами строго предпочтительнее больших. Эта политика обеспечивает как можно быстрее слияние малых частей, но может привести к бесконечному голоданию больших слияний в партициях, перегруженныхINSERT
-ами.
background_message_broker_schedule_pool_size
background_move_pool_size
background_pool_size
Устанавливает количество потоков, выполняющих фоновые слияния и мутации для таблиц с движками MergeTree.
- Эта настройка также может быть применена при запуске сервера из конфигурации профиля
default
для обеспечения обратной совместимости при старте сервера ClickHouse. - Вы можете только увеличить количество потоков во время выполнения.
- Чтобы уменьшить количество потоков, необходимо перезапустить сервер.
- Настройка этой параметрой управляет загрузкой CPU и диска.
Размер пула меньше использует ресурсы CPU и диска, но фоновые процессы развиваются медленнее, что может в конечном итоге повлиять на производительность запросов.
Перед изменением обратите внимание и на связанные настройки MergeTree, такие как:
number_of_free_entries_in_pool_to_lower_max_size_of_merge
.number_of_free_entries_in_pool_to_execute_mutation
.number_of_free_entries_in_pool_to_execute_optimize_entire_partition
Пример
background_schedule_pool_max_parallel_tasks_per_type_ratio
background_schedule_pool_size
backup_log
Настройки для системной таблицы backup_log для логирования операций BACKUP
и RESTORE
.
Следующие настройки можно настроить с помощью под-тегов:
Настройка | Описание | Значение по умолчанию | Примечание |
---|---|---|---|
database | Имя базы данных. | ||
table | Имя системной таблицы. | ||
engine | Определение движка MergeTree для системной таблицы. | Не может быть использован, если указаны partition_by или order_by . Если не указано, по умолчанию выбирается MergeTree | |
partition_by | Пользовательский ключ партиционирования для системной таблицы. | Если для системной таблицы указан engine , параметр partition_by должен быть указан непосредственно в 'engine' | |
ttl | Указывает TTL таблицы. | Если для системной таблицы указан engine , параметр ttl должен быть указан непосредственно в 'engine' | |
order_by | Пользовательский ключ сортировки для системной таблицы. Не может быть использован, если задан engine . | Если для системной таблицы указан engine , параметр order_by должен быть указан непосредственно в 'engine' | |
storage_policy | Имя политики хранения, которую нужно использовать для таблицы (необязательно). | Если для системной таблицы указан engine , параметр storage_policy должен быть указан непосредственно в 'engine' | |
settings | Дополнительные параметры, которые контролируют поведение MergeTree (необязательно). | Если для системной таблицы указан engine , параметр settings должен быть указан непосредственно в 'engine' | |
flush_interval_milliseconds | Интервал для сброса данных из буфера в памяти в таблицу. | 7500 | |
max_size_rows | Максимальный размер в строках для логов. Когда количество несброшенных логов достигает max_size, логи сбрасываются на диск. | 1048576 | |
reserved_size_rows | Предварительно выделенный размер памяти в строках для логов. | 8192 | |
buffer_size_rows_flush_threshold | Пороговое значение для количества строк. Если пороговое значение достигнуто, сброс логов на диск запускается в фоновом режиме. | max_size_rows / 2 | |
flush_on_crash | Устанавливает, следует ли сбрасывать логи на диск в случае аварии. | false |
Пример
backup_threads
BACKUP
.
backups
Настройки для резервного копирования, используемые при записи BACKUP TO File()
.
Следующие настройки могут быть настроены с помощью подметок:
Настройка | Описание | По умолчанию |
---|---|---|
allowed_path | Путь для резервного копирования при использовании File() . Эта настройка должна быть установлена для использования File . Путь может быть относительным к каталогу экземпляра или абсолютным. | true |
remove_backup_files_after_failure | Если команда BACKUP завершается неудачно, ClickHouse попытается удалить файлы, уже скопированные в резервную копию до сбоя, иначе он оставит скопированные файлы без изменений. | true |
Эта настройка конфигурируется по умолчанию, как:
backups_io_thread_pool_queue_size
Максимальное количество заданий, которые могут быть запланированы в пуле потоков ввода-вывода резервных копий. Рекомендуется оставить эту очередь неограниченной из-за текущей логики резервного копирования S3.
Значение 0
(по умолчанию) означает неограниченно.
bcrypt_workfactor
Фактор работы для типа аутентификации bcrypt_password
, который использует алгоритм Bcrypt.
Фактор работы определяет количество вычислений и времени, необходимых для вычисления хеша и проверки пароля.
Для приложений с высокой частотой аутентификации, рассмотрите альтернативные методы аутентификации из-за вычислительных затрат bcrypt при более высоких факторах работы.
blob_storage_log
Настройки для системной таблицы blob_storage_log
.
Следующие настройки можно настроить с помощью под-тегов:
Настройка | Описание | Значение по умолчанию | Примечание |
---|---|---|---|
database | Имя базы данных. | ||
table | Имя системной таблицы. | ||
engine | Определение движка MergeTree для системной таблицы. | Не может быть использован, если указаны partition_by или order_by . Если не указано, по умолчанию выбирается MergeTree | |
partition_by | Пользовательский ключ партиционирования для системной таблицы. | Если для системной таблицы указан engine , параметр partition_by должен быть указан непосредственно в 'engine' | |
ttl | Указывает TTL таблицы. | Если для системной таблицы указан engine , параметр ttl должен быть указан непосредственно в 'engine' | |
order_by | Пользовательский ключ сортировки для системной таблицы. Не может быть использован, если задан engine . | Если для системной таблицы указан engine , параметр order_by должен быть указан непосредственно в 'engine' | |
storage_policy | Имя политики хранения, которую нужно использовать для таблицы (необязательно). | Если для системной таблицы указан engine , параметр storage_policy должен быть указан непосредственно в 'engine' | |
settings | Дополнительные параметры, которые контролируют поведение MergeTree (необязательно). | Если для системной таблицы указан engine , параметр settings должен быть указан непосредственно в 'engine' | |
flush_interval_milliseconds | Интервал для сброса данных из буфера в памяти в таблицу. | 7500 | |
max_size_rows | Максимальный размер в строках для логов. Когда количество несброшенных логов достигает max_size, логи сбрасываются на диск. | 1048576 | |
reserved_size_rows | Предварительно выделенный размер памяти в строках для логов. | 8192 | |
buffer_size_rows_flush_threshold | Пороговое значение для количества строк. Если пороговое значение достигнуто, сброс логов на диск запускается в фоновом режиме. | max_size_rows / 2 | |
flush_on_crash | Устанавливает, следует ли сбрасывать логи на диск в случае аварии. | false |
Пример:
builtin_dictionaries_reload_interval
Интервал в секундах перед перезагрузкой встроенных словарей.
ClickHouse перезагружает встроенные словари каждые x секунд. Это позволяет редактировать словари "на лету" без перезапуска сервера.
Пример
cache_size_to_ram_max_ratio
cannot_allocate_thread_fault_injection_probability
cgroups_memory_usage_observer_wait_time
Интервал в секундах, в течение которого максимальное разрешенное потребление памяти сервером настраивается соответствующим порогом в cgroups.
Чтобы отключить наблюдатель cgroup, установите это значение в 0
.
compiled_expression_cache_elements_size
compiled_expression_cache_size
compression
Настройки сжатия данных для таблиц с движком MergeTree.
Рекомендуем не изменять это, если вы только начали использовать ClickHouse.
Шаблон конфигурации:
Поля <case>
:
min_part_size
– Минимальный размер части данных.min_part_size_ratio
– Соотношение размера части данных к размеру таблицы.method
– Метод сжатия. Допустимые значения:lz4
,lz4hc
,zstd
,deflate_qpl
.level
– Уровень сжатия. Смотрите Кодеки.
Вы можете настроить несколько секций <case>
.
Действия при выполнении условий:
- Если часть данных соответствует установленному условию, ClickHouse использует указанный метод сжатия.
- Если часть данных соответствует нескольким наборам условий, ClickHouse использует первый совпадающий набор условий.
Если ни одно из условий не выполнено для части данных, ClickHouse использует сжатие lz4
.
Пример
concurrent_threads_scheduler
Политика по определению порядка распределения слотов CPU, указанных в concurrent_threads_soft_limit_num
и concurrent_threads_soft_limit_ratio_to_cores
. Алгоритм, используемый для регулирования того, как ограниченное количество слотов CPU распределяется между одновременными запросами. Планировщик может быть изменен во время выполнения без перезапуска сервера.
Возможные значения:
round_robin
— Каждый запрос с настройкойuse_concurrency_control
= 1 выделяет доmax_threads
слотов CPU. Один слот на поток. В случае конфликта слоты CPU выделяются запросам по круговому принципу. Обратите внимание, что первый слот выделяется без условий, что может привести к несправедливости и увеличению задержки запросов с высокимmax_threads
при наличии большого количества запросов сmax_threads
= 1.fair_round_robin
— Каждый запрос с настройкойuse_concurrency_control
= 1 выделяет доmax_threads - 1
слотов CPU. Вариантround_robin
, не требующий слот CPU для первого потока каждого запроса. Таким образом запросы сmax_threads
= 1 не требуют никаких слотов и не могут несправедливо выделить все слоты. Слоты не выделяются без условий.
concurrent_threads_soft_limit_num
Максимальное количество потоков обработки запросов, не включая потоки для извлечения данных из удаленных серверов, разрешенных для выполнения всех запросов. Это не жесткий лимит. В случае достижения лимита запрос все равно получит как минимум один поток для выполнения. Запрос может увеличить желаемое количество потоков во время выполнения, если станет доступно больше потоков.
Значение 0
(по умолчанию) означает неограниченно.
concurrent_threads_soft_limit_ratio_to_cores
concurrent_threads_soft_limit_num
, но с соотношением к ядрам.
config_reload_interval_ms
Как часто ClickHouse будет перезагружать конфигурацию и проверять новые изменения.
core_dump
Конфигурирует мягкий лимит для размера файла дампа памяти.
Жесткий лимит настраивается с помощью системных инструментов.
Пример
cpu_slot_preemption
Определяет, как выполняется планирование загрузки для ресурсов CPU (MASTER THREAD и WORKER THREAD).
- Если
true
(рекомендуется), учёт ведется на основе фактического времени CPU, которое было использовано. Число CPU-вычислений будет выделено конкурентным рабочим нагрузкам. Слоты выделяются на ограниченный период времени и запрашиваются повторно по истечении срока. Запрос слота может блокировать выполнение потока в случае перегрузки ресурсов CPU, т.е. может произойти предвосхищение. Это обеспечивает справедливость времени CPU. - Если
false
(по умолчанию), учёт ведется на основе количества выделенных слотов CPU. Число слотов CPU будет справедливо выделено конкурентным рабочим нагрузкам. Слот выделяется, когда поток начинает выполнение, удерживается непрерывно и освобождается, когда поток завершает выполнение. Число потоков, выделенных для выполнения запросов, может только увеличиваться с 1 доmax_threads
и никогда не уменьшаться. Это более выгодно для долгосрочных запросов и может привести к голоданию коротких запросов.
Пример
Смотрите также
cpu_slot_preemption_timeout_ms
Определяет, сколько миллисекунд может ждать рабочий поток во время предвосхищения, т.е. в ожидании, когда будет предоставлен другой слот CPU. После этого времени ожидания, если поток не смог получить новый слот CPU, он завершит работу, а запрос будет уменьшен до меньшего количества одновременно выполняемых потоков динамически. Обратите внимание, что главный поток никогда не уменьшается, но может быть предвосхищен без ограничения. Имеет смысл только при включенном cpu_slot_preemption
и если ресурс CPU определен для WORKER THREAD.
Пример
Смотрите также
cpu_slot_quantum_ns
Определяет, сколько наносекунд CPU разрешено потоку потреблять после получения слота CPU и перед тем, как он должен запросить другой слот CPU. Имеет смысл только при включенном cpu_slot_preemption
и если ресурс CPU определен для MASTER THREAD или WORKER THREAD.
Пример
Смотрите также
crash_log
Настройки для работы системной таблицы crash_log.
Следующие настройки можно настроить с помощью под-тегов:
Настройка | Описание | Значение по умолчанию | Примечание |
---|---|---|---|
database | Имя базы данных. | ||
table | Имя системной таблицы. | ||
engine | Определение движка MergeTree для системной таблицы. | Не может быть использован, если указаны partition_by или order_by . Если не указано, по умолчанию выбирается MergeTree | |
partition_by | Пользовательский ключ партиционирования для системной таблицы. | Если для системной таблицы указан engine , параметр partition_by должен быть указан непосредственно в 'engine' | |
ttl | Указывает TTL таблицы. | Если для системной таблицы указан engine , параметр ttl должен быть указан непосредственно в 'engine' | |
order_by | Пользовательский ключ сортировки для системной таблицы. Не может быть использован, если задан engine . | Если для системной таблицы указан engine , параметр order_by должен быть указан непосредственно в 'engine' | |
storage_policy | Имя политики хранения, которую нужно использовать для таблицы (необязательно). | Если для системной таблицы указан engine , параметр storage_policy должен быть указан непосредственно в 'engine' | |
settings | Дополнительные параметры, которые контролируют поведение MergeTree (необязательно). | Если для системной таблицы указан engine , параметр settings должен быть указан непосредственно в 'engine' | |
flush_interval_milliseconds | Интервал для сброса данных из буфера в памяти в таблицу. | 7500 | |
max_size_rows | Максимальный размер в строках для логов. Когда количество несброшенных логов достигает max_size, логи сбрасываются на диск. | 1048576 | |
reserved_size_rows | Предварительно выделенный размер памяти в строках для логов. | 8192 | |
buffer_size_rows_flush_threshold | Пороговое значение для количества строк. Если пороговое значение достигнуто, сброс логов на диск запускается в фоновом режиме. | max_size_rows / 2 | |
flush_on_crash | Устанавливает, следует ли сбрасывать логи на диск в случае аварии. | false |
Файл конфигурации сервера по умолчанию config.xml
содержит следующий раздел настроек:
custom_cached_disks_base_directory
Эта настройка определяет путь к кешу для пользовательских (созданных из SQL) кешированных дисков.
custom_cached_disks_base_directory
имеет более высокий приоритет для пользовательских дисков, чем filesystem_caches_path
(найден в filesystem_caches_path.xml
),
который используется, если первый отсутствует.
Путь для кеша файловой системы должен находиться внутри этого каталога,
в противном случае будет выброшено исключение, предотвращающее создание диска.
Это не повлияет на диски, созданные в предыдущей версии, для которой сервер был обновлён. В этом случае исключение не будет выброшено, чтобы сервер мог успешно запуститься.
Пример:
custom_settings_prefixes
Список префиксов для пользовательских настроек. Префиксы должны быть разделены запятыми.
Пример
Смотрите также
database_atomic_delay_before_drop_table_sec
Задержка, в течение которой удаляемую таблицу можно восстановить с помощью оператора UNDROP
. Если DROP TABLE
выполняется с модификатором SYNC
, настройка игнорируется.
По умолчанию это значение равно 480
(8 минут).
database_catalog_drop_error_cooldown_sec
database_catalog_drop_table_concurrency
database_catalog_unused_dir_cleanup_period_sec
Параметр задачи, которая очищает мусор из каталога store/
.
Устанавливает период планирования задачи.
Значение 0
означает "никогда". Значение по умолчанию соответствует 1 дню.
database_catalog_unused_dir_hide_timeout_sec
Параметр задачи, которая очищает мусор из каталога store/
.
Если какая-либо подкаталога не используется сервером clickhouse и этот каталог не изменялся в течение последних
database_catalog_unused_dir_hide_timeout_sec
секунд, задача "скроет" этот каталог, удалив все права доступа. Это также работает для каталогов, которые сервер clickhouse не ожидает увидеть внутри store/
.
Значение 0
означает "немедленно".
database_catalog_unused_dir_rm_timeout_sec
Параметр задачи, которая очищает мусор из директории store/
.
Если какая-либо поддиректория не используется clickhouse-server
и ранее была "скрыта"
(см. database_catalog_unused_dir_hide_timeout_sec)
и эта директория не была изменена в течение последних
database_catalog_unused_dir_rm_timeout_sec
секунд, задача удалит эту директорию.
Он также работает для директорий, которые clickhouse-server
не ожидает видеть внутри store/
.
Значение 0
означает "никогда". Значение по умолчанию соответствует 30 дням.
database_replicated_allow_detach_permanently
dead_letter_queue
Настройка для системной таблицы 'dead_letter_queue'.
Следующие настройки можно настроить с помощью под-тегов:
Настройка | Описание | Значение по умолчанию | Примечание |
---|---|---|---|
database | Имя базы данных. | ||
table | Имя системной таблицы. | ||
engine | Определение движка MergeTree для системной таблицы. | Не может быть использован, если указаны partition_by или order_by . Если не указано, по умолчанию выбирается MergeTree | |
partition_by | Пользовательский ключ партиционирования для системной таблицы. | Если для системной таблицы указан engine , параметр partition_by должен быть указан непосредственно в 'engine' | |
ttl | Указывает TTL таблицы. | Если для системной таблицы указан engine , параметр ttl должен быть указан непосредственно в 'engine' | |
order_by | Пользовательский ключ сортировки для системной таблицы. Не может быть использован, если задан engine . | Если для системной таблицы указан engine , параметр order_by должен быть указан непосредственно в 'engine' | |
storage_policy | Имя политики хранения, которую нужно использовать для таблицы (необязательно). | Если для системной таблицы указан engine , параметр storage_policy должен быть указан непосредственно в 'engine' | |
settings | Дополнительные параметры, которые контролируют поведение MergeTree (необязательно). | Если для системной таблицы указан engine , параметр settings должен быть указан непосредственно в 'engine' | |
flush_interval_milliseconds | Интервал для сброса данных из буфера в памяти в таблицу. | 7500 | |
max_size_rows | Максимальный размер в строках для логов. Когда количество несброшенных логов достигает max_size, логи сбрасываются на диск. | 1048576 | |
reserved_size_rows | Предварительно выделенный размер памяти в строках для логов. | 8192 | |
buffer_size_rows_flush_threshold | Пороговое значение для количества строк. Если пороговое значение достигнуто, сброс логов на диск запускается в фоновом режиме. | max_size_rows / 2 | |
flush_on_crash | Устанавливает, следует ли сбрасывать логи на диск в случае аварии. | false |
Значения по умолчанию:
default_database
default_password_type
Устанавливает тип пароля, который будет автоматически установлен для запросов, таких как CREATE USER u IDENTIFIED BY 'p'
.
Принимаемые значения:
plaintext_password
sha256_password
double_sha1_password
bcrypt_password
default_profile
Профиль настроек по умолчанию. Профили настроек находятся в файле, указанном в настройке user_config
.
Пример
default_replica_name
Имя реплики в ZooKeeper.
Пример
default_replica_path
Путь к таблице в ZooKeeper.
Пример
default_session_timeout
Тайм-аут сессии по умолчанию, в секундах.
dictionaries_config
Путь к файлу конфигурации для словарей.
Путь:
- Укажите абсолютный путь или путь относительно файла конфигурации сервера.
- Путь может содержать подстановочные знаки * и ?.
Смотрите также:
- "Словари".
Пример
dictionaries_lazy_load
Ленивая загрузка словарей.
- Если
true
, тогда каждый словарь загружается при первом использовании. Если загрузка не удалась, функция, использующая словарь, выбрасывает исключение. - Если
false
, тогда сервер загружает все словари при старте.
Сервер будет ждать при старте, пока все словари завершат свою загрузку, прежде чем принимать какие-либо подключения
(исключение: если wait_dictionaries_load_at_startup
установлено в false
).
Пример
dictionary_background_reconnect_interval
background_reconnect
.
disable_insertion_and_mutation
Отключает все запросы вставки/изменения/удаления. Эта настройка будет включена, если кому-то нужны узлы только для чтения, чтобы предотвратить влияние вставок и мутаций на производительность чтения.
disable_internal_dns_cache
disable_tunneling_for_https_requests_over_http_proxy
По умолчанию используется туннелирование (т.е. HTTP CONNECT
) для выполнения HTTPS
запросов через HTTP
прокси. Эта настройка может быть использована для его отключения.
no_proxy
По умолчанию все запросы проходят через прокси. Для отключения его для конкретных хостов, необходимо установить переменную no_proxy
.
Ее можно установить внутри клаузулы <proxy>
для списковых и удаленных резолверов, а также как переменную окружения для резолвера окружения.
Поддерживаются IP-адреса, домены, подсистемы и символ '*'
для полного обхода. Ведущие точки отбрасываются так же, как это делает curl.
Пример
Следующая конфигурация обходит прокси-запросы к clickhouse.cloud
и ко всем его подсистемам (например, auth.clickhouse.cloud
).
То же самое применяется к GitLab, даже несмотря на наличие ведущей точки. И gitlab.com
, и about.gitlab.com
будут обходить прокси.
disk_connections_soft_limit
disk_connections_store_limit
disk_connections_warn_limit
display_secrets_in_show_and_select
Включает или отключает отображение секретов в запросах SHOW
и SELECT
для таблиц, баз данных, табличных функций и словарей.
Пользователь, желающий видеть секреты, также должен иметь
format_display_secrets_in_show_and_select
формат настройки
включенным и привилегию
displaySecretsInShowAndSelect
.
Возможные значения:
0
— Отключено.1
— Включено.
distributed_cache_apply_throttling_settings_from_client
distributed_cache_keep_up_free_connections_ratio
distributed_ddl
Управляет выполнением распределенных ddl запросов (CREATE
, DROP
, ALTER
, RENAME
) в кластере.
Работает только если включен ZooKeeper.
Настраиваемые параметры внутри <distributed_ddl>
включают:
Параметр | Описание | Значение по умолчанию |
---|---|---|
path | путь в Keeper для task_queue для DDL запросов | |
profile | профиль, используемый для выполнения DDL запросов | |
pool_size | сколько запросов ON CLUSTER может выполняться одновременно | |
max_tasks_in_queue | максимальное количество задач, которые могут находиться в очереди. | 1,000 |
task_max_lifetime | удалить узел, если его возраст превышает это значение. | 7 * 24 * 60 * 60 (неделя в секундах) |
cleanup_delay_period | очистка начинается после получения нового события узла, если последняя очистка не проводилась не ранее чем cleanup_delay_period секунд назад. | 60 секунд |
Пример
dns_allow_resolve_names_to_ipv4
dns_allow_resolve_names_to_ipv6
dns_cache_max_entries
dns_cache_update_period
dns_max_consecutive_failures
drop_distributed_cache_pool_size
drop_distributed_cache_queue_size
enable_azure_sdk_logging
encryption
Конфигурирует команду для получения ключа, который будет использоваться кодеками шифрования. Ключ (или ключи) должны быть записаны в переменные окружения или установлены в файл конфигурации.
Ключи могут быть в шестнадцатеричном формате или строкой длиной 16 байт.
Пример
Загрузка из конфигурации:
Хранение ключей в файле конфигурации не рекомендуется. Это небезопасно. Вы можете переместить ключи в отдельный конфигурационный файл на безопасном диске и создать для него символическую ссылку в папке config.d/
.
Загрузка из конфигурации, когда ключ в шестнадцатеричном формате:
Загрузка ключа из переменной окружения:
Здесь current_key_id
устанавливает текущий ключ для шифрования, и все указанные ключи могут быть использованы для расшифровки.
Каждый из этих методов может быть применен для нескольких ключей:
Здесь current_key_id
показывает текущий ключ для шифрования.
Также пользователи могут добавить nonce, который должен иметь длину 12 байт (по умолчанию процессы шифрования и расшифровки используют nonce, состоящий из нулевых байтов):
Или он может быть установлен в шестнадцатеричном формате:
Все вышесказанное может применяться к aes_256_gcm_siv
(но ключ должен быть длиной 32 байта).
error_log
Он отключен по умолчанию.
Включение
Чтобы вручную включить сбор истории ошибок, создайте /etc/clickhouse-server/config.d/error_log.xml
со следующим содержимым:
Отключение
Чтобы отключить настройку error_log
, необходимо создать следующий файл /etc/clickhouse-server/config.d/disable_error_log.xml
со следующим содержимым:
Следующие настройки можно настроить с помощью под-тегов:
Настройка | Описание | Значение по умолчанию | Примечание |
---|---|---|---|
database | Имя базы данных. | ||
table | Имя системной таблицы. | ||
engine | Определение движка MergeTree для системной таблицы. | Не может быть использован, если указаны partition_by или order_by . Если не указано, по умолчанию выбирается MergeTree | |
partition_by | Пользовательский ключ партиционирования для системной таблицы. | Если для системной таблицы указан engine , параметр partition_by должен быть указан непосредственно в 'engine' | |
ttl | Указывает TTL таблицы. | Если для системной таблицы указан engine , параметр ttl должен быть указан непосредственно в 'engine' | |
order_by | Пользовательский ключ сортировки для системной таблицы. Не может быть использован, если задан engine . | Если для системной таблицы указан engine , параметр order_by должен быть указан непосредственно в 'engine' | |
storage_policy | Имя политики хранения, которую нужно использовать для таблицы (необязательно). | Если для системной таблицы указан engine , параметр storage_policy должен быть указан непосредственно в 'engine' | |
settings | Дополнительные параметры, которые контролируют поведение MergeTree (необязательно). | Если для системной таблицы указан engine , параметр settings должен быть указан непосредственно в 'engine' | |
flush_interval_milliseconds | Интервал для сброса данных из буфера в памяти в таблицу. | 7500 | |
max_size_rows | Максимальный размер в строках для логов. Когда количество несброшенных логов достигает max_size, логи сбрасываются на диск. | 1048576 | |
reserved_size_rows | Предварительно выделенный размер памяти в строках для логов. | 8192 | |
buffer_size_rows_flush_threshold | Пороговое значение для количества строк. Если пороговое значение достигнуто, сброс логов на диск запускается в фоновом режиме. | max_size_rows / 2 | |
flush_on_crash | Устанавливает, следует ли сбрасывать логи на диск в случае аварии. | false |
format_parsing_thread_pool_queue_size
Максимальное количество задач, которые могут быть запланированы в пуле потоков для разбора входных данных.
Значение 0
означает неограниченное.
format_schema_path
Путь к директории с схемами для входных данных, такими как схемы для формата CapnProto.
Пример
global_profiler_cpu_time_period_ns
global_profiler_real_time_period_ns
google_protos_path
Определяет директорию, содержащую proto файлы для типов Protobuf.
Пример:
graphite
Отправка данных в Graphite.
Настройки:
host
– Сервер Graphite.port
– Порт на сервере Graphite.interval
– Интервал отправки, в секундах.timeout
– Тайм-аут для отправки данных, в секундах.root_path
– Префикс для ключей.metrics
– Отправка данных из таблицы system.metrics.events
– Отправка дельты данных, накопленных за период времени, из таблицы system.events.events_cumulative
– Отправка кумулятивных данных из таблицы system.events.asynchronous_metrics
– Отправка данных из таблицы system.asynchronous_metrics.
Вы можете настроить несколько клауз <graphite>
. Например, вы можете использовать это для отправки различных данных с различными интервалами.
Пример
graphite_rollup
Настройки для уменьшения данных для Graphite.
Для получения дополнительной информации см. GraphiteMergeTree.
Пример
hsts_max_age
Срок действия HSTS в секундах.
Значение 0
означает, что ClickHouse отключает HSTS. Если вы установите положительное число, HSTS будет включен, а max-age будет равен заданному вами числу.
Пример
http_connections_soft_limit
http_connections_store_limit
http_connections_warn_limit
http_handlers
Позволяет использовать пользовательские HTTP-обработчики.
Чтобы добавить новый http-обработчик, просто добавьте новую <rule>
.
Правила проверяются сверху вниз, как определено,
и первое совпадение выполнит обработчик.
Следующие настройки могут быть настроены с помощью под-тэгов:
Под-тэги | Определение |
---|---|
url | Для сопоставления URL запроса вы можете использовать префикс 'regex:' для использования регулярного выражения (необязательно) |
methods | Для сопоставления методов запроса вы можете использовать запятые для разделения нескольких совпадений методов (необязательно) |
headers | Для сопоставления заголовков запроса сопоставьте каждый дочерний элемент (имя дочернего элемента — имя заголовка), вы можете использовать префикс 'regex:' для использования регулярного выражения (необязательно) |
handler | Обработчик запроса |
empty_query_string | Проверяйте, что в URL нет строки запроса |
handler
содержит следующие настройки, которые можно настроить с помощью под-тэгов:
Под-тэги | Определение |
---|---|
url | Местоположение для перенаправления |
type | Поддерживаемые типы: static, dynamic_query_handler, predefined_query_handler, redirect |
status | Используйте с типом static, код состояния ответа |
query_param_name | Используйте с типом dynamic_query_handler, извлекает и выполняет значение, соответствующее значению <query_param_name> в параметрах HTTP-запроса |
query | Используйте с типом predefined_query_handler, выполняет запрос, когда вызывается обработчик |
content_type | Используйте с типом static, тип содержимого ответа |
response_content | Используйте с типом static, Содержимое ответа, отправляемое клиенту, при использовании префикса 'file://' или 'config://', найдите содержимое из файла или конфигурации, отправляемой клиенту |
Вместе со списком правил, вы можете указать <defaults/>
, который указывает включить все стандартные обработчики.
Пример:
http_options_response
Используется для добавления заголовков к ответу в запросе HTTP OPTIONS
.
Метод OPTIONS
используется при выполнении предварительных запросов CORS.
Для получения дополнительной информации см. OPTIONS.
Пример:
http_server_default_response
Страница, которая отображается по умолчанию, когда вы получаете доступ к HTTP(s) серверу ClickHouse. Значение по умолчанию — "Ok." (с переносом строки в конце)
Пример
Открывает https://tabix.io/
при доступе к http://localhost: http_port
.
iceberg_catalog_threadpool_pool_size
iceberg_catalog_threadpool_queue_size
iceberg_metadata_files_cache_max_entries
iceberg_metadata_files_cache_policy
iceberg_metadata_files_cache_size
iceberg_metadata_files_cache_size_ratio
ignore_empty_sql_security_in_create_view_query
Если истинно, ClickHouse не записывает значения по умолчанию для пустого оператора SQL безопасности в запросах CREATE VIEW
.
Эта настройка необходима только на период миграции и устареет в 24.4
include_from
Путь к файлу с заменами. Поддерживаются форматы XML и YAML.
Для получения дополнительной информации см. раздел "Файлы конфигурации".
Пример
index_mark_cache_policy
index_mark_cache_size
Максимальный размер кэша для меток индексов.
Значение 0
означает отключение.
Эту настройку можно изменить во время выполнения, и она немедленно вступит в силу.
index_mark_cache_size_ratio
index_uncompressed_cache_policy
index_uncompressed_cache_size
Максимальный размер кэша для некодированных блоков индексов MergeTree
.
Значение 0
означает отключение.
Эту настройку можно изменить во время выполнения, и она немедленно вступит в силу.
index_uncompressed_cache_size_ratio
interserver_http_credentials
Имя пользователя и пароль, используемые для подключения к другим серверам во время репликации. Дополнительно, сервер аутентифицирует другие реплики, используя эти учетные данные.
Таким образом, interserver_http_credentials
должны быть одинаковыми для всех реплик в кластере.
- По умолчанию, если раздел
interserver_http_credentials
опущен, аутентификация не используется во время репликации. - Настройки
interserver_http_credentials
не относятся к учетным данным клиента ClickHouse конфигурации. - Эти учетные данные общие для репликации через
HTTP
иHTTPS
.
Следующие настройки могут быть настроены с помощью под-тэгов:
user
— Имя пользователя.password
— Пароль.allow_empty
— Еслиtrue
, то другим репликам разрешается подключение без аутентификации, даже если учетные данные установлены. Еслиfalse
, то подключения без аутентификации будут отклонены. По умолчанию:false
.old
— Содержит старыеuser
иpassword
, использованные во время вращения учетных данных. Можно указать несколько разделовold
.
Вращение Учетных Данных
ClickHouse поддерживает динамическое вращение учетных данных между серверами без остановки всех реплик одновременно для обновления их конфигурации. Учетные данные могут быть изменены за несколько шагов.
Чтобы включить аутентификацию, установите interserver_http_credentials.allow_empty
в true
и добавьте учетные данные. Это позволяет подключениям как с аутентификацией, так и без нее.
После настройки всех реплик установите allow_empty
в false
или удалите эту настройку. Это сделает аутентификацию с новыми учетными данными обязательной.
Чтобы изменить существующие учетные данные, переместите имя пользователя и пароль в раздел interserver_http_credentials.old
и обновите user
и password
новыми значениями. В этот момент сервер использует новые учетные данные для подключения к другим репликам и принимает подключения как с новыми, так и со старыми учетными данными.
Когда новые учетные данные применяются ко всем репликам, старые учетные данные могут быть удалены.
interserver_http_host
Имя хоста, которое могут использовать другие серверы для доступа к этому серверу.
Если опущено, оно определяется так же, как команда hostname -f
.
Полезно, чтобы отвязаться от конкретного сетевого интерфейса.
Пример
interserver_http_port
Порт для обмена данными между серверами ClickHouse.
Пример
interserver_https_host
Аналогично interserver_http_host
, за исключением того, что это имя хоста может использоваться другими серверами для доступа к этому серверу через HTTPS
.
Пример
interserver_https_port
Порт для обмена данными между серверами ClickHouse через HTTPS
.
Пример
interserver_listen_host
Ограничение для хостов, которые могут обмениваться данными между серверами ClickHouse. Если используется Keeper, то то же ограничение будет применяться к связи между различными экземплярами Keeper.
По умолчанию значение равно настройке listen_host
.
Пример
Тип:
Значение по умолчанию:
io_thread_pool_queue_size
Максимальное количество задач, которые могут быть запланированы в пуле потоков ввода-вывода.
Значение 0
означает неограниченное.
jemalloc_collect_global_profile_samples_in_trace_log
jemalloc_enable_background_threads
jemalloc_enable_global_profiler
jemalloc_flush_profile_interval_bytes
jemalloc_flush_profile_on_memory_exceeded
jemalloc_max_background_threads_num
keep_alive_timeout
Количество секунд, которое ClickHouse ждет входящих запросов для протокола HTTP, прежде чем закрыть подключение.
Пример
keeper_hosts
Динамическая настройка. Содержит набор [Zoo]Keeper хостов, к которым ClickHouse может потенциально подключаться. Не раскрывает информацию из <auxiliary_zookeepers>
keeper_multiread_batch_size
Максимальный размер батча для запроса MultiRead к [Zoo]Keeper, который поддерживает пакетирование. Если установить в 0, пакетирование отключается. Доступно только в ClickHouse Cloud.
ldap_servers
Список LDAP серверов с их параметрами подключения для:
- использования их в качестве аутентификаторов для выделенных локальных пользователей, у которых механизм аутентификации 'ldap' указан вместо 'password'
- использования их в качестве удалённых каталогов пользователей.
Следующие настройки могут быть сконфигурированы с помощью под-тегов:
Настройка | Описание |
---|---|
host | Имя хоста или IP адрес LDAP сервера, этот параметр обязателен и не может быть пустым. |
port | Порт LDAP сервера, по умолчанию 636, если enable_tls установлен в true, в противном случае 389 . |
bind_dn | Шаблон, используемый для построения DN для подключения. Полученный DN будет построен, заменив все подстроки \{user_name\} шаблона на фактическое имя пользователя во время каждой попытки аутентификации. |
user_dn_detection | Раздел с параметрами поиска LDAP для определения фактического DN пользователя, к которому выполнено подключение. В основном используется в фильтрах поиска для дальнейшего сопоставления ролей, когда сервер является Active Directory. Полученный DN пользователя будет использоваться для замены подстрок \{user_dn\} там, где это разрешено. По умолчанию DN пользователя устанавливается равным DN подключения, однако после выполнения поиска он будет обновлён фактическим обнаруженным значением DN пользователя. |
verification_cooldown | Период времени в секундах после успешной попытки подключения, в течение которого пользователь будет считаться успешно аутентифицированным для всех последовательных запросов без обращения к LDAP серверу. Укажите 0 (по умолчанию), чтобы отключить кэширование и заставить звонить к LDAP серверу для каждого запроса аутентификации. |
enable_tls | Флаг для активации использования защищенного соединения с LDAP сервером. Укажите no для протокола открытого текста (ldap:// ) (не рекомендуется). Укажите yes для LDAP по SSL/TLS (ldaps:// ) (рекомендуется, по умолчанию). Укажите starttls для устаревшего протокола StartTLS (простой текст (ldap:// ), обновленный до TLS). |
tls_minimum_protocol_version | Минимальная версия протокола SSL/TLS. Приемлемые значения: ssl2 , ssl3 , tls1.0 , tls1.1 , tls1.2 (по умолчанию). |
tls_require_cert | Поведение проверки сертификата SSL/TLS для пиров. Приемлемые значения: never , allow , try , demand (по умолчанию). |
tls_cert_file | Путь к файлу сертификата. |
tls_key_file | Путь к файлу ключа сертификата. |
tls_ca_cert_file | Путь к файлу CA сертификата. |
tls_ca_cert_dir | Путь к директории, содержащей CA сертификаты. |
tls_cipher_suite | Разрешенный набор шифров (в нотации OpenSSL). |
Настройка user_dn_detection
может быть сконфигурирована с под-тегами:
Настройка | Описание |
---|---|
base_dn | Шаблон, используемый для построения базового DN для поиска в LDAP. Полученный DN будет построен, заменив все подстроки \{user_name\} и '{bind_dn}' шаблона на фактическое имя пользователя и DN подключения во время поиска в LDAP. |
scope | Область поиска в LDAP. Приемлемые значения: base , one_level , children , subtree (по умолчанию). |
search_filter | Шаблон, используемый для построения фильтра поиска для поиска в LDAP. Полученный фильтр будет построен, заменив все подстроки \{user_name\} , \{bind_dn\} , и \{base_dn\} шаблона на фактическое имя пользователя, DN подключения и базовый DN во время поиска в LDAP. Обратите внимание, что специальные символы должны быть корректно экранированы в XML. |
Пример:
Пример (типичный Active Directory с настроенной детекцией DN пользователя для дальнейшего сопоставления ролей):
license_key
Лицензионный ключ для ClickHouse Enterprise Edition
listen_backlog
Размер очереди ожидания соединений для сокета прослушивания. Значение по умолчанию 4096
совпадает со значением в linux 5.4+).
Обычно это значение не нужно изменять, так как:
- Значение по умолчанию достаточно велико,
- Для принятия соединений клиентов у сервера есть отдельный поток.
Таким образом, даже если у вас есть TcpExtListenOverflows
(из nstat
) ненулевое и этот счетчик увеличивается для сервера ClickHouse, это не означает, что это значение нужно увеличивать, так как:
- Обычно, если
4096
недостаточно, это показывает некоторые внутренние проблемы масштабирования ClickHouse, поэтому лучше сообщить о проблеме. - Это не означает, что сервер сможет обрабатывать больше соединений позже (и даже если сможет, к этому моменту клиенты могут исчезнуть или быть отключены).
Пример
listen_host
Ограничение на хосты, с которых могут поступать запросы. Если вы хотите, чтобы сервер отвечал на все, укажите ::
.
Примеры:
listen_reuse_port
Разрешить нескольким серверам слушать на одном адресе:порт. Запросы будут направляться на случайный сервер операционной системой. Включение этой настройки не рекомендуется.
Пример
Тип:
По умолчанию:
listen_try
Сервер не завершит работу, если сети IPv6 или IPv4 недоступны при попытке прослушивания.
Пример
load_marks_threadpool_pool_size
load_marks_threadpool_queue_size
logger
Расположение и формат лог-сообщений.
Ключи:
Ключ | Описание |
---|---|
level | Уровень логирования. Приемлемые значения: none (выключить логирование), fatal , critical , error , warning , notice , information ,debug , trace , test |
log | Путь к файлу лога. |
errorlog | Путь к файлу ошибок. |
size | Политика ротации: Максимальный размер файлов лога в байтах. Как только размер файла лога превышает этот порог, он переименовывается и архивируется, и создается новый файл лога. |
count | Политика ротации: Сколько исторических файлов лога Clickhouse хранится максимально. |
stream_compress | Сжимать сообщения лога с помощью LZ4. Установите на 1 или true , чтобы включить. |
console | Включить логирование в консоль. Установите на 1 или true , чтобы включить. Значение по умолчанию 1 , если Clickhouse не работает в режиме демона, 0 в противном случае. |
console_log_level | Уровень логирования для вывода в консоль. По умолчанию равен level . |
formatting.type | Формат логирования для вывода в консоль. В настоящее время поддерживается только json |
use_syslog | Также перенаправлять лог-вывод в syslog. |
syslog_level | Уровень логирования для записи в syslog. |
async | Когда true (по умолчанию) логирование будет выполняться асинхронно (один фоновый поток на канал вывода). В противном случае он будет записывать внутри потока, вызывающего LOG |
async_queue_max_size | При использовании асинхронного логирования, максимальное количество сообщений, которые будут храниться в очереди, ожидая сброса. Дополнительные сообщения будут отбрасываться |
startup_level | Уровень запуска используется для установки уровня корневого логгера при запуске сервера. После запуска уровень логирования возвращается к настройке level |
shutdown_level | Уровень завершения используется для установки уровня корневого логгера при завершении сервера. |
Спецификаторы формата лога
Файлы в путях log
и errorLog
поддерживают следующие спецификаторы формата для полученного имени файла (причем часть директории их не поддерживает).
Столбец "Пример" показывает вывод на 2023-07-06 18:32:07
.
Спецификатор | Описание | Пример |
---|---|---|
%% | Литерал % | % |
%n | Символ новой строки | |
%t | Символ горизонтальной табуляции | |
%Y | Год в десятичном формате, например, 2017 | 2023 |
%y | Последние 2 цифры года в десятичном формате (диапазон [00,99]) | 23 |
%C | Первые 2 цифры года в десятичном формате (диапазон [00,99]) | 20 |
%G | Четырехзначный недельно-ориентированный год ISO 8601, т.е. год, который содержит указанную неделю. Обычно полезен только с %V | 2023 |
%g | Последние 2 цифры недельно-ориентированного года ISO 8601, т.е. год, который содержит указанную неделю. | 23 |
%b | Сокращенное название месяца, например, Окт (зависит от локали) | Jul |
%h | Синоним %b | Jul |
%B | Полное название месяца, например, Октябрь (зависит от локали) | July |
%m | Месяц в десятичном формате (диапазон [01,12]) | 07 |
%U | Номер недели в году в десятичном формате (воскресенье - первый день недели) (диапазон [00,53]) | 27 |
%W | Номер недели в году в десятичном формате (понедельник - первый день недели) (диапазон [00,53]) | 27 |
%V | Номер недели ISO 8601 (диапазон [01,53]) | 27 |
%j | День в году в десятичном формате (диапазон [001,366]) | 187 |
%d | День месяца в десятичном формате с заполнением нулями (диапазон [01,31]). Одноцифровое число предшествует нолю. | 06 |
%e | День месяца в десятичном формате с заполнением пробелами (диапазон [1,31]). Одноцифровое число предшествует пробелу. | 6 |
%a | Сокращенное название дня недели, например, Пт (зависит от локали) | Thu |
%A | Полное название дня недели, например, Пятница (зависит от локали) | Thursday |
%w | День недели в виде целого числа, где воскресенье - 0 (диапазон [0-6]) | 4 |
%u | День недели в десятичном формате, где понедельник - 1 (формат ISO 8601) (диапазон [1-7]) | 4 |
%H | Час в десятичном формате, 24-часовой формат (диапазон [00-23]) | 18 |
%I | Час в десятичном формате, 12-часовой формат (диапазон [01,12]) | 06 |
%M | Минуты в десятичном формате (диапазон [00,59]) | 32 |
%S | Секунды в десятичном формате (диапазон [00,60]) | 07 |
%c | Стандартная строка даты и времени, например, Вск Окт 17 04:41:13 2010 (зависит от локали) | Thu Jul 6 18:32:07 2023 |
%x | Локализованное представление даты (зависит от локали) | 07/06/23 |
%X | Локализованное представление времени, например, 18:40:20 или 6:40:20 PM (зависит от локали) | 18:32:07 |
%D | Краткая дата в формате MM/DD/YY, эквивалентно %m/%d/%y | 07/06/23 |
%F | Краткая дата в формате YYYY-MM-DD, эквивалентно %Y-%m-%d | 2023-07-06 |
%r | Локализованное 12-часовое время (зависит от локали) | 06:32:07 PM |
%R | Эквивалентно "%H:%M" | 18:32 |
%T | Эквивалентно "%H:%M:%S" (формат ISO 8601 времени) | 18:32:07 |
%p | Локализованное обозначение д.м. или п.м. (зависит от локали) | PM |
%z | Смещение от UTC в формате ISO 8601 (например, -0430), или без символов, если информация о временной зоне недоступна | +0800 |
%Z | Название или сокращение часового пояса, зависящее от локали, или без символов, если информация о временной зоне недоступна | Z AWST |
Пример
Чтобы выводить лог-сообщения только в консоль:
Переопределения на уровне логирования
Уровень логирования отдельных имен логов можно переопределить. Например, чтобы отключить все сообщения логгеров "Backup" и "RBAC".
syslog
Чтобы дополнительно записывать лог-сообщения в syslog:
Ключи для <syslog>
:
Ключ | Описание |
---|---|
address | Адрес syslog в формате host\[:port\] . Если опущен, используется локальный демон. |
hostname | Имя хоста, с которого отправляются логи (необязательно). |
facility | Ключевое слово syslog facility. Должен указываться с заглавными буквами и префиксом "LOG_", например, LOG_USER , LOG_DAEMON , LOG_LOCAL3 и т. д. По умолчанию: LOG_USER , если указан address , иначе LOG_DAEMON . |
format | Формат сообщения лога. Возможные значения: bsd и syslog. |
Форматы логов
Вы можете указать формат лога, который будет выводиться в консоль. В настоящее время поддерживается только JSON.
Пример
Вот пример JSON логов на выходе:
Чтобы включить поддержку JSON логирования, используйте следующую часть кода:
Переименование ключей для JSON логов
Названия ключей можно изменить, изменив значения тега внутри тега <names>
. Например, чтобы изменить DATE_TIME
на MY_DATE_TIME
, вы можете использовать <date_time>MY_DATE_TIME</date_time>
.
Пропуск ключей для JSON логов
Свойства лога могут быть пропущены, закомментировав свойство. Например, если вы не хотите, чтобы ваш лог печатал query_id
, вы можете закомментировать тег <query_id>
.
macros
Подстановка параметров для реплицированных таблиц.
Может быть пропущен, если реплицированные таблицы не используются.
Для получения дополнительной информации см. раздел Создание реплицированных таблиц.
Пример
mark_cache_policy
mark_cache_prewarm_ratio
mark_cache_size
Максимальный размер кэша для меток (индекс семейства MergeTree
).
Эту настройку можно изменять во время выполнения, и она вступит в силу немедленно.
mark_cache_size_ratio
max_active_parts_loading_thread_pool_size
max_authentication_methods_per_user
Максимальное количество методов аутентификации, с которыми может быть создан или изменён пользователь. Изменение этой настройки не влияет на существующих пользователей. Запросы на создание/изменение, связанные с аутентификацией, потерпят неудачу, если они превысят предел, указанный в этой настройке. Неаутентификационные запросы на создание/изменение будут успешными.
Значение 0
означает неограниченно.
max_backup_bandwidth_for_server
max_backups_io_thread_pool_free_size
max_backup_io_thread_pool_free_size
, ClickHouse освободит ресурсы, занятые неактивными потоками, и уменьшит размер пула. Потоки могут быть созданы снова при необходимости.
max_backups_io_thread_pool_size
max_backups_io_thread_pool_size
ограничивает максимальное количество потоков в пуле.
max_build_vector_similarity_index_thread_pool_size
Максимальное количество потоков, используемых для построения векторных индексов.
Значение 0
означает использование всех ядер.
max_concurrent_insert_queries
Ограничение на общее количество одновременно выполняемых запросов на вставку.
Значение 0
(по умолчанию) означает неограниченно.
Эту настройку можно изменять во время выполнения, и она вступит в силу немедленно. Запросы, которые уже выполняются, останутся без изменений.
max_concurrent_queries
Ограничение на общее количество одновременно выполняемых запросов. Обратите внимание, что также необходимо учитывать ограничения на запросы INSERT
и SELECT
, а также на максимальное количество запросов для пользователей.
См. также:
Значение 0
(по умолчанию) означает неограниченно.
Эту настройку можно изменять во время выполнения, и она вступит в силу немедленно. Запросы, которые уже выполняются, останутся без изменений.
max_concurrent_select_queries
Ограничение на общее количество одновременно выполняемых запросов на выборку.
Значение 0
(по умолчанию) означает неограниченно.
Эту настройку можно изменять во время выполнения, и она вступит в силу немедленно. Запросы, которые уже выполняются, останутся без изменений.
max_connections
max_database_num_to_throw
max_database_num_to_warn
Если количество присоединенных баз данных превышает указанное значение, сервер ClickHouse добавит сообщения предупреждения в таблицу system.warnings
.
Пример
max_database_replicated_create_table_thread_pool_size
max_dictionary_num_to_throw
Если количество словарей превышает это значение, сервер вызовет исключение.
Считаются только таблицы для движков баз данных:
- Атомные
- Обычные
- Реплицированные
- Ленивые
Значение 0
означает отсутствие ограничений.
Пример
max_dictionary_num_to_warn
Если количество присоединенных словарей превышает указанное значение, сервер ClickHouse добавит сообщения предупреждения в таблицу system.warnings
.
Пример
max_distributed_cache_read_bandwidth_for_server
max_distributed_cache_write_bandwidth_for_server
max_entries_for_hash_table_stats
max_fetch_partition_thread_pool_size
max_format_parsing_thread_pool_free_size
Максимальное количество бездействующих резервных потоков, чтобы поддерживать в пуле потоков для разбора входных данных.
max_format_parsing_thread_pool_size
Максимальное общее количество потоков, используемых для разбора входных данных.
max_io_thread_pool_free_size
Если количество бездействующих потоков в пуле потоков IO превышает max_io_thread_pool_free_size
, ClickHouse освободит ресурсы, занимаемые бездействующими потоками, и уменьшит размер пула. Потоки могут быть созданы заново при необходимости.
max_io_thread_pool_size
ClickHouse использует потоки из пула потоков IO для выполнения некоторых операций ввода-вывода (например, для взаимодействия с S3). max_io_thread_pool_size
ограничивает максимальное количество потоков в пуле.
max_keep_alive_requests
Максимальное количество запросов через одно соединение keep-alive, после чего оно будет закрыто сервером ClickHouse.
Пример
max_local_read_bandwidth_for_server
Максимальная скорость локальных чтений в байтах в секунду.
Значение 0
означает отсутствие ограничений.
max_local_write_bandwidth_for_server
Максимальная скорость локальных записей в байтах в секунду.
Значение 0
означает отсутствие ограничений.
max_materialized_views_count_for_table
Ограничение на количество материализованных представлений, прикрепленных к таблице.
Здесь рассматриваются только напрямую зависимые представления, и создание одного представления поверх другого не учитывается.
max_merges_bandwidth_for_server
max_mutations_bandwidth_for_server
max_named_collection_num_to_throw
Если количество именованных коллекций превышает это значение, сервер вызовет исключение.
Значение 0
означает отсутствие ограничений.
Пример
max_named_collection_num_to_warn
Если количество именованных коллекций превышает указанное значение, сервер ClickHouse добавит предупреждающие сообщения в таблицу system.warnings
.
Пример
max_open_files
Максимальное количество открытых файлов.
Рекомендуется использовать эту опцию в macOS, поскольку функция getrlimit()
возвращает некорректное значение.
Пример
max_os_cpu_wait_time_ratio_to_drop_connection
Максимальное соотношение между временем ожидания CPU ОС (метрика OSCPUWaitMicroseconds) и временем, когда CPU занят (метрика OSCPUVirtualTimeMicroseconds), для принятия решения о разрыве соединений. Для расчета вероятности используется линейная интерполяция между минимальным и максимальным соотношением, вероятность равна 1 в этой точке. Смотрите Управление поведением при перегрузке CPU сервера для получения дополнительных сведений.
max_outdated_parts_loading_thread_pool_size
max_part_num_to_warn
Если количество активных частей превышает указанное значение, сервер ClickHouse добавит предупреждающие сообщения в таблицу system.warnings
.
Пример
max_partition_size_to_drop
Ограничение на удаление партиций.
Если размер таблицы MergeTree превышает max_partition_size_to_drop
(в байтах), вы не можете удалить партицию, используя запрос DROP PARTITION.
Эта настройка не требует перезапуска сервера ClickHouse для применения. Другой способ отключить ограничение - это создать файл <clickhouse-path>/flags/force_drop_table
.
Значение 0
означает, что вы можете удалять партиции без каких-либо ограничений.
Это ограничение не касается удаления таблиц и обрезки таблиц, см. max_table_size_to_drop
Пример
max_parts_cleaning_thread_pool_size
max_pending_mutations_execution_time_to_warn
Если любая из ожидающих мутаций превышает указанное значение в секундах, сервер ClickHouse добавит предупреждающие сообщения в таблицу system.warnings
.
Пример
max_pending_mutations_to_warn
Если количество ожидающих мутаций превышает указанное значение, сервер ClickHouse добавит предупреждающие сообщения в таблицу system.warnings
.
Пример
max_prefixes_deserialization_thread_pool_free_size
Если количество бездействующих потоков в пуле потоков десериализации префиксов превышает max_prefixes_deserialization_thread_pool_free_size
, ClickHouse освободит ресурсы, занимаемые бездействующими потоками, и уменьшит размер пула. Потоки могут быть созданы заново при необходимости.
max_prefixes_deserialization_thread_pool_size
ClickHouse использует потоки из пула потоков десериализации префиксов для параллельного чтения метаданных колонок и подколонок из префиксов файлов в широких частях в MergeTree. max_prefixes_deserialization_thread_pool_size
ограничивает максимальное количество потоков в пуле.
max_remote_read_network_bandwidth_for_server
Максимальная скорость обмена данными по сети в байтах в секунду для чтения.
Значение 0
(по умолчанию) означает отсутствие ограничений.
max_remote_write_network_bandwidth_for_server
Максимальная скорость обмена данными по сети в байтах в секунду для записи.
Значение 0
(по умолчанию) означает отсутствие ограничений.
max_replicated_fetches_network_bandwidth_for_server
max_replicated_sends_network_bandwidth_for_server
max_replicated_table_num_to_throw
Если количество реплицированных таблиц превышает это значение, сервер вызовет исключение.
Учитываются только таблицы для движков баз данных:
- Atomic
- Ordinary
- Replicated
- Lazy
Значение 0
означает отсутствие ограничений.
Пример
max_server_memory_usage
Максимальное количество памяти, которое сервер может использовать, выраженное в байтах.
Максимальное потребление памяти сервером дополнительно ограничивается установкой max_server_memory_usage_to_ram_ratio
.
В качестве исключения, значение 0
(по умолчанию) означает, что сервер может использовать всю доступную память (исключая дальнейшие ограничения, налагаемые max_server_memory_usage_to_ram_ratio
).
max_server_memory_usage_to_ram_ratio
Максимальное количество памяти, которое сервер может использовать, выраженное как отношение к всей доступной памяти.
Например, значение 0.9
(по умолчанию) означает, что сервер может использовать 90% от доступной памяти.
Позволяет снизить использование памяти на системах с небольшим объемом оперативной памяти.
На хостах с низким объемом ОЗУ и свопа вам, возможно, потребуется установить max_server_memory_usage_to_ram_ratio
больше чем 1.
Максимальное потребление памяти сервером дополнительно ограничивается установкой max_server_memory_usage
.
max_session_timeout
Максимальный тайм-аут сессии в секундах.
Пример:
max_table_num_to_throw
Если количество таблиц превышает это значение, сервер вызовет исключение.
Следующие таблицы не учитываются:
- view
- remote
- dictionary
- system
Учитываются только таблицы для движков баз данных:
- Atomic
- Ordinary
- Replicated
- Lazy
Значение 0
означает отсутствие ограничений.
Пример
max_table_num_to_warn
Если количество прикрепленных таблиц превышает указанное значение, сервер ClickHouse добавит предупреждающие сообщения в таблицу system.warnings
.
Пример
max_table_size_to_drop
Ограничение на удаление таблиц.
Если размер таблицы MergeTree превышает max_table_size_to_drop
(в байтах), вы не можете удалить ее, используя запрос DROP
или TRUNCATE
.
Значение 0
означает, что вы можете удалять все таблицы без каких-либо ограничений.
Эта настройка не требует перезапуска сервера ClickHouse для применения. Другой способ отключить ограничение - это создать файл <clickhouse-path>/flags/force_drop_table
.
Пример
max_temporary_data_on_disk_size
Максимальное количество места для хранения, которое может быть использовано для внешней агрегации, соединений или сортировки. Запросы, превышающие этот лимит, завершатся с исключением.
Значение 0
означает отсутствие ограничений.
Смотрите также:
max_thread_pool_free_size
Если количество бездействующих потоков в глобальном пуле потоков больше чем max_thread_pool_free_size
, то ClickHouse освобождает ресурсы, занимаемые некоторыми потоками, и размер пула уменьшается. Потоки могут быть созданы заново при необходимости.
Пример
max_thread_pool_size
ClickHouse использует потоки из глобального пула потоков для обработки запросов. Если нет бездействующего потока для обработки запроса, то в пуле создается новый поток. max_thread_pool_size
ограничивает максимальное число потоков в пуле.
Пример
max_unexpected_parts_loading_thread_pool_size
max_view_num_to_throw
Если количество представлений превышает это значение, сервер вызовет исключение.
Учитываются только таблицы для движков баз данных:
- Atomic
- Ordinary
- Replicated
- Lazy
Значение 0
означает отсутствие ограничений.
Пример
max_view_num_to_warn
Если количество прикрепленных представлений превышает указанное значение, сервер ClickHouse добавит предупреждающие сообщения в таблицу system.warnings
.
Пример
max_waiting_queries
Лимит на общее количество одновременно ожидающих запросов.
Выполнение ожидающего запроса блокируется, пока требуемые таблицы загружаются асинхронно (см. async_load_databases
.
Ожидающие запросы не учитываются, когда проверяются ограничения, контролируемые следующими настройками:
max_concurrent_queries
max_concurrent_insert_queries
max_concurrent_select_queries
max_concurrent_queries_for_user
max_concurrent_queries_for_all_users
Эта коррекция сделана для избежания достижения этих ограничений сразу после старта сервера.
Значение 0
(по умолчанию) означает отсутствие ограничений.
Эта настройка может быть изменена во время выполнения и вступит в силу немедленно. Запросы, которые уже выполняются, останутся без изменений.
memory_worker_correct_memory_tracker
Должен ли фоновый рабочий процесс памяти корректировать внутренний трекер памяти на основе информации из внешних источников, таких как jemalloc и cgroups.
memory_worker_period_ms
Период тика фонового рабочего процесса памяти, который корректирует использование памяти трекера памяти и очищает неиспользуемые страницы при высоком использовании памяти. Если установлено на 0, будет использоваться значение по умолчанию в зависимости от источника использования памяти.
memory_worker_use_cgroup
Использовать текущую информацию о использовании памяти в cgroup для корректировки отслеживания памяти.
merge_tree
Тонкая настройка для таблиц в MergeTree.
Для получения дополнительной информации смотрите заголовочный файл MergeTreeSettings.h.
Пример
merge_workload
Используется для регулирования того, как ресурсы используются и распределяются между процедурами слияния и другими рабочими процессами. Указанное значение используется в качестве значения настройки workload
для всех фоновых слияний. Может быть переопределено настройкой дерева слияний.
Смотрите также
merges_mutations_memory_usage_soft_limit
Устанавливает лимит на то, сколько ОЗУ разрешается использовать для выполнения операций слияния и мутации. Если ClickHouse достигает установленного лимита, он не будет планировать никаких новых фоновых процессов слияния или мутации, но продолжит выполнять уже запланированные задачи.
Значение 0
означает отсутствие ограничений.
Пример
merges_mutations_memory_usage_to_ram_ratio
Значение по умолчанию для merges_mutations_memory_usage_soft_limit
вычисляется как memory_amount * merges_mutations_memory_usage_to_ram_ratio
.
Смотрите также:
metric_log
По умолчанию отключен.
Включение
Чтобы вручную включить сбор истории метрик system.metric_log
, создайте файл /etc/clickhouse-server/config.d/metric_log.xml
со следующим содержанием:
Отключение
Чтобы отключить настройки metric_log
, вам следует создать следующий файл /etc/clickhouse-server/config.d/disable_metric_log.xml
со следующим содержанием:
Следующие настройки можно настроить с помощью под-тегов:
Настройка | Описание | Значение по умолчанию | Примечание |
---|---|---|---|
database | Имя базы данных. | ||
table | Имя системной таблицы. | ||
engine | Определение движка MergeTree для системной таблицы. | Не может быть использован, если указаны partition_by или order_by . Если не указано, по умолчанию выбирается MergeTree | |
partition_by | Пользовательский ключ партиционирования для системной таблицы. | Если для системной таблицы указан engine , параметр partition_by должен быть указан непосредственно в 'engine' | |
ttl | Указывает TTL таблицы. | Если для системной таблицы указан engine , параметр ttl должен быть указан непосредственно в 'engine' | |
order_by | Пользовательский ключ сортировки для системной таблицы. Не может быть использован, если задан engine . | Если для системной таблицы указан engine , параметр order_by должен быть указан непосредственно в 'engine' | |
storage_policy | Имя политики хранения, которую нужно использовать для таблицы (необязательно). | Если для системной таблицы указан engine , параметр storage_policy должен быть указан непосредственно в 'engine' | |
settings | Дополнительные параметры, которые контролируют поведение MergeTree (необязательно). | Если для системной таблицы указан engine , параметр settings должен быть указан непосредственно в 'engine' | |
flush_interval_milliseconds | Интервал для сброса данных из буфера в памяти в таблицу. | 7500 | |
max_size_rows | Максимальный размер в строках для логов. Когда количество несброшенных логов достигает max_size, логи сбрасываются на диск. | 1048576 | |
reserved_size_rows | Предварительно выделенный размер памяти в строках для логов. | 8192 | |
buffer_size_rows_flush_threshold | Пороговое значение для количества строк. Если пороговое значение достигнуто, сброс логов на диск запускается в фоновом режиме. | max_size_rows / 2 | |
flush_on_crash | Устанавливает, следует ли сбрасывать логи на диск в случае аварии. | false |
min_os_cpu_wait_time_ratio_to_drop_connection
Минимальное соотношение между временем ожидания CPU ОС (метрика OSCPUWaitMicroseconds) и временем, когда CPU занят (метрика OSCPUVirtualTimeMicroseconds), для принятия решения о разрыве соединений. Для расчета вероятности используется линейная интерполяция между минимальным и максимальным соотношением, вероятность равна 0 в этой точке. Смотрите Управление поведением при перегрузке CPU сервера для получения дополнительных сведений.
mlock_executable
Выполнять mlockall
после старта для снижения задержки первых запросов и предотвращения выгрузки исполняемого файла clickhouse под высоким нагрузкой ввода-вывода.
Рекомендуется включать эту опцию, но это приведет к увеличению времени запуска до нескольких секунд. Имейте в виду, что эта настройка не будет работать без возможности "CAP_IPC_LOCK".
Пример
mmap_cache_size
Эта настройка позволяет избежать частых вызовов открытия/закрытия (которые очень затратны из-за последующих ошибок страниц) и повторно использовать отображения из нескольких потоков и запросов. Значение настройки - это количество отображенных регионов (обычно равно количеству отображенных файлов).
Количество данных в отображаемых файлах можно отслеживать в следующих системных таблицах с помощью следующих метрик:
MMappedFiles
/MMappedFileBytes
/MMapCacheCells
вsystem.metrics
,system.metric_log
CreatedReadBufferMMap
/CreatedReadBufferMMapFailed
/MMappedFileCacheHits
/MMappedFileCacheMisses
вsystem.events
,system.processes
,system.query_log
,system.query_thread_log
,system.query_views_log
Количество данных в отображаемых файлах не потребляет память напрямую и не учитывается в использовании памяти запроса или сервера — так как эта память может быть отброшена, аналогично кешу страниц ОС. Кеш автоматически сбрасывается (файлы закрываются) при удалении старых частей в таблицах, относящихся к семейству MergeTree, также его можно сбросить вручную с помощью запроса SYSTEM DROP MMAP CACHE
.
Эта настройка может быть изменена во время выполнения и вступит в силу немедленно.
mutation_workload
Используется для регулирования того, как ресурсы используются и распределяются между мутациями и другими рабочими процессами. Указанное значение используется в качестве значения настройки workload
для всех фоновых мутаций. Может быть переопределено настройкой дерева слияний.
Смотрите также
mysql_port
Порт для связи с клиентами по протоколу MySQL.
- Положительные целые числа указывают номер порта для прослушивания
- Пустые значения используются для отключения связи с клиентами по протоколу MySQL.
Пример
mysql_require_secure_transport
Если установлено в true, требуется безопасная связь с клиентами через mysql_port. Соединение с опцией --ssl-mode=none
будет отклонено. Используйте вместе с настройками OpenSSL.
openSSL
Конфигурация SSL клиента/сервера.
Поддержка SSL предоставляется библиотекой libpoco
. Доступные параметры конфигурации объясняются в SSLManager.h. Значения по умолчанию можно найти в SSLManager.cpp.
Ключи для настроек сервера/клиента:
Опция | Описание | Значение по умолчанию |
---|---|---|
privateKeyFile | Путь к файлу с секретным ключом PEM-сертификата. Файл может содержать как ключ, так и сертификат одновременно. | |
certificateFile | Путь к файлу клиентского/серверного сертификата в формате PEM. Вы можете опустить его, если privateKeyFile содержит сертификат. | |
caConfig | Путь к файлу или директории, содержащей доверенные CA-сертификаты. Если это указывает на файл, он должен быть в формате PEM и может содержать несколько CA-сертификатов. Если это указывает на директорию, она должна содержать один .pem файл на каждый CA-сертификат. Имена файлов ищутся по хешу имени субъекта CA. Подробности можно найти в описании команды SSL_CTX_load_verify_locations. | |
verificationMode | Метод проверки сертификатов узла. Подробности приведены в описании класса Context. Возможные значения: none , relaxed , strict , once . | relaxed |
verificationDepth | Максимальная длина цепочки проверки. Проверка завершится неудачей, если длина цепочки сертификатов превышает установленное значение. | 9 |
loadDefaultCAFile | Использовать встроенные CA-сертификаты для OpenSSL или нет. ClickHouse предполагает, что встроенные CA-сертификаты находятся в файле /etc/ssl/cert.pem (или директории /etc/ssl/certs ) или в файле (или директории), указанной переменной окружения SSL_CERT_FILE (или SSL_CERT_DIR ). | true |
cipherList | Поддерживаемые шифры OpenSSL. | ALL:!ADH:!LOW:!EXP:!MD5:!3DES:@STRENGTH |
cacheSessions | Включает или отключает кэширование сессий. Должен использоваться в сочетании с sessionIdContext . Приемлемые значения: true , false . | false |
sessionIdContext | Уникальный набор случайных символов, который сервер добавляет к каждому сгенерированному идентификатору. Длина строки не должна превышать SSL_MAX_SSL_SESSION_ID_LENGTH . Этот параметр всегда рекомендуется использовать, так как он помогает избежать проблем как при кэшировании сессии сервером, так и если клиент запрашивает кэширование. | $\{application.name\} |
sessionCacheSize | Максимальное количество сессий, которые сервер кэширует. Значение 0 означает неограниченное количество сессий. | 1024*20 |
sessionTimeout | Время для кэширования сессии на сервере в часах. | 2 |
extendedVerification | Если включено, проверяет, что CN или SAN сертификата совпадает с именем хоста партнера. | false |
requireTLSv1 | Требовать TLSv1 соединение. Приемлемые значения: true , false . | false |
requireTLSv1_1 | Требовать TLSv1.1 соединение. Приемлемые значения: true , false . | false |
requireTLSv1_2 | Требовать TLSv1.2 соединение. Приемлемые значения: true , false . | false |
fips | Активирует режим FIPS OpenSSL. Поддерживается, если версия OpenSSL библиотеки поддерживает FIPS. | false |
privateKeyPassphraseHandler | Класс (подкласс PrivateKeyPassphraseHandler), который запрашивает пароль для доступа к приватному ключу. Например: <privateKeyPassphraseHandler> , <name>KeyFileHandler</name> , <options><password>test</password></options> , </privateKeyPassphraseHandler> . | KeyConsoleHandler |
invalidCertificateHandler | Класс (подкласс CertificateHandler) для проверки недействительных сертификатов. Например: <invalidCertificateHandler> <name>RejectCertificateHandler</name> </invalidCertificateHandler> . | RejectCertificateHandler |
disableProtocols | Протоколы, использование которых запрещено. | |
preferServerCiphers | Предпочтительные шифры сервера для клиента. | false |
Пример настроек:
opentelemetry_span_log
Настройки для системной таблицы opentelemetry_span_log
.
Следующие настройки можно настроить с помощью под-тегов:
Настройка | Описание | Значение по умолчанию | Примечание |
---|---|---|---|
database | Имя базы данных. | ||
table | Имя системной таблицы. | ||
engine | Определение движка MergeTree для системной таблицы. | Не может быть использован, если указаны partition_by или order_by . Если не указано, по умолчанию выбирается MergeTree | |
partition_by | Пользовательский ключ партиционирования для системной таблицы. | Если для системной таблицы указан engine , параметр partition_by должен быть указан непосредственно в 'engine' | |
ttl | Указывает TTL таблицы. | Если для системной таблицы указан engine , параметр ttl должен быть указан непосредственно в 'engine' | |
order_by | Пользовательский ключ сортировки для системной таблицы. Не может быть использован, если задан engine . | Если для системной таблицы указан engine , параметр order_by должен быть указан непосредственно в 'engine' | |
storage_policy | Имя политики хранения, которую нужно использовать для таблицы (необязательно). | Если для системной таблицы указан engine , параметр storage_policy должен быть указан непосредственно в 'engine' | |
settings | Дополнительные параметры, которые контролируют поведение MergeTree (необязательно). | Если для системной таблицы указан engine , параметр settings должен быть указан непосредственно в 'engine' | |
flush_interval_milliseconds | Интервал для сброса данных из буфера в памяти в таблицу. | 7500 | |
max_size_rows | Максимальный размер в строках для логов. Когда количество несброшенных логов достигает max_size, логи сбрасываются на диск. | 1048576 | |
reserved_size_rows | Предварительно выделенный размер памяти в строках для логов. | 8192 | |
buffer_size_rows_flush_threshold | Пороговое значение для количества строк. Если пороговое значение достигнуто, сброс логов на диск запускается в фоновом режиме. | max_size_rows / 2 | |
flush_on_crash | Устанавливает, следует ли сбрасывать логи на диск в случае аварии. | false |
Пример:
os_cpu_busy_time_threshold
os_threads_nice_value_distributed_cache_tcp_handler
Значение nice в Linux для потоков обработчика TCP кэша распределенного. Более низкие значения означают более высокий приоритет CPU.
Требуется возможность CAP_SYS_NICE, в противном случае неактивно.
Допустимые значения: от -20 до 19.
os_threads_nice_value_merge_mutate
Значение nice в Linux для потоков слияния и мутаций. Более низкие значения означают более высокий приоритет CPU.
Требуется возможность CAP_SYS_NICE, в противном случае неактивно.
Допустимые значения: от -20 до 19.
os_threads_nice_value_zookeeper_client_send_receive
Значение nice в Linux для потоков отправки и получения в клиенте ZooKeeper. Более низкие значения означают более высокий приоритет CPU.
Требуется возможность CAP_SYS_NICE, в противном случае неактивно.
Допустимые значения: от -20 до 19.
page_cache_free_memory_ratio
page_cache_history_window_ms
page_cache_max_size
page_cache_min_size
page_cache_policy
page_cache_shards
page_cache_size_ratio
part_log
Ведение журнала событий, связанных с MergeTree. Например, добавление или слияние данных. Вы можете использовать журнал для имитации алгоритмов слияния и сравнения их характеристик. Вы можете визуализировать процесс слияния.
Запросы регистрируются в таблице system.part_log, а не в отдельном файле. Вы можете настроить имя этой таблицы в параметре table
(см. ниже).
Следующие настройки можно настроить с помощью под-тегов:
Настройка | Описание | Значение по умолчанию | Примечание |
---|---|---|---|
database | Имя базы данных. | ||
table | Имя системной таблицы. | ||
engine | Определение движка MergeTree для системной таблицы. | Не может быть использован, если указаны partition_by или order_by . Если не указано, по умолчанию выбирается MergeTree | |
partition_by | Пользовательский ключ партиционирования для системной таблицы. | Если для системной таблицы указан engine , параметр partition_by должен быть указан непосредственно в 'engine' | |
ttl | Указывает TTL таблицы. | Если для системной таблицы указан engine , параметр ttl должен быть указан непосредственно в 'engine' | |
order_by | Пользовательский ключ сортировки для системной таблицы. Не может быть использован, если задан engine . | Если для системной таблицы указан engine , параметр order_by должен быть указан непосредственно в 'engine' | |
storage_policy | Имя политики хранения, которую нужно использовать для таблицы (необязательно). | Если для системной таблицы указан engine , параметр storage_policy должен быть указан непосредственно в 'engine' | |
settings | Дополнительные параметры, которые контролируют поведение MergeTree (необязательно). | Если для системной таблицы указан engine , параметр settings должен быть указан непосредственно в 'engine' | |
flush_interval_milliseconds | Интервал для сброса данных из буфера в памяти в таблицу. | 7500 | |
max_size_rows | Максимальный размер в строках для логов. Когда количество несброшенных логов достигает max_size, логи сбрасываются на диск. | 1048576 | |
reserved_size_rows | Предварительно выделенный размер памяти в строках для логов. | 8192 | |
buffer_size_rows_flush_threshold | Пороговое значение для количества строк. Если пороговое значение достигнуто, сброс логов на диск запускается в фоновом режиме. | max_size_rows / 2 | |
flush_on_crash | Устанавливает, следует ли сбрасывать логи на диск в случае аварии. | false |
Пример
parts_kill_delay_period
Период для полного удаления частей для SharedMergeTree. Доступно только в ClickHouse Cloud
parts_kill_delay_period_random_add
Добавляет равномерно распределённое значение от 0 до x секунд к kill_delay_period, чтобы избежать эффекта громогласных толп и последующего DoS ZooKeeper в случае очень большого числа таблиц. Доступно только в ClickHouse Cloud
parts_killer_pool_size
Потоки для очистки устаревших потоков общего дерева слияния. Доступно только в ClickHouse Cloud
path
Путь к директории, содержащей данные.
Косая черта в конце обязательна.
Пример
postgresql_port
Порт для связи с клиентами по протоколу PostgreSQL.
- Положительные целые числа указывают номер порта для прослушивания.
- Пустые значения используются для отключения связи с клиентами по протоколу PostgreSQL.
Пример
postgresql_require_secure_transport
Если установлено в true, требуется защищенная связь с клиентами по postgresql_port. Соединение с параметром sslmode=disable
будет отказано. Используйте это с настройками OpenSSL.
prefetch_threadpool_pool_size
prefetch_threadpool_queue_size
prefixes_deserialization_thread_pool_thread_pool_queue_size
Максимальное количество задач, которые могут быть запланированы в пул потоков десериализации префиксов.
Значение 0
означает неограниченное количество.
prepare_system_log_tables_on_startup
Если true, ClickHouse создает все настроенные system.*_log
таблицы перед запуском. Это может быть полезно, если некоторые стартовые скрипты зависят от этих таблиц.
primary_index_cache_policy
primary_index_cache_prewarm_ratio
primary_index_cache_size
primary_index_cache_size_ratio
process_query_plan_packet
Эта настройка позволяет читать пакет QueryPlan. Этот пакет отправляется для распределенных запросов, когда включено serialize_query_plan. Отключено по умолчанию, чтобы избежать возможных проблем с безопасностью, которые могут быть вызваны ошибками в бинарной десериализации плана запроса.
Пример
processors_profile_log
Настройки для системной таблицы processors_profile_log
.
Следующие настройки можно настроить с помощью под-тегов:
Настройка | Описание | Значение по умолчанию | Примечание |
---|---|---|---|
database | Имя базы данных. | ||
table | Имя системной таблицы. | ||
engine | Определение движка MergeTree для системной таблицы. | Не может быть использован, если указаны partition_by или order_by . Если не указано, по умолчанию выбирается MergeTree | |
partition_by | Пользовательский ключ партиционирования для системной таблицы. | Если для системной таблицы указан engine , параметр partition_by должен быть указан непосредственно в 'engine' | |
ttl | Указывает TTL таблицы. | Если для системной таблицы указан engine , параметр ttl должен быть указан непосредственно в 'engine' | |
order_by | Пользовательский ключ сортировки для системной таблицы. Не может быть использован, если задан engine . | Если для системной таблицы указан engine , параметр order_by должен быть указан непосредственно в 'engine' | |
storage_policy | Имя политики хранения, которую нужно использовать для таблицы (необязательно). | Если для системной таблицы указан engine , параметр storage_policy должен быть указан непосредственно в 'engine' | |
settings | Дополнительные параметры, которые контролируют поведение MergeTree (необязательно). | Если для системной таблицы указан engine , параметр settings должен быть указан непосредственно в 'engine' | |
flush_interval_milliseconds | Интервал для сброса данных из буфера в памяти в таблицу. | 7500 | |
max_size_rows | Максимальный размер в строках для логов. Когда количество несброшенных логов достигает max_size, логи сбрасываются на диск. | 1048576 | |
reserved_size_rows | Предварительно выделенный размер памяти в строках для логов. | 8192 | |
buffer_size_rows_flush_threshold | Пороговое значение для количества строк. Если пороговое значение достигнуто, сброс логов на диск запускается в фоновом режиме. | max_size_rows / 2 | |
flush_on_crash | Устанавливает, следует ли сбрасывать логи на диск в случае аварии. | false |
Настройки по умолчанию:
prometheus
Экспорт метрик для сбора из Prometheus.
Настройки:
endpoint
– HTTP-эндпоинт для сбора метрик сервером prometheus. Начинается с '/'.port
– Порт дляendpoint
.metrics
– Экспорт метрик из таблицы system.metrics.events
– Экспорт метрик из таблицы system.events.asynchronous_metrics
– Экспорт текущих значений метрик из таблицы system.asynchronous_metrics.errors
- Экспорт количества ошибок по кодам ошибок, произошедших с момента последнего перезапуска сервера. Эта информация также может быть получена из system.errors.
Пример
Проверьте (замените 127.0.0.1
на IP адрес или имя хоста вашего сервера ClickHouse):
proxy
Определите прокси-серверы для HTTP и HTTPS запросов, которые в настоящее время поддерживаются S3 хранилищем, S3 табличными функциями и URL функциями.
Есть три способа определения прокси-серверов:
- переменные окружения
- списки прокси
- удаленные резолверы прокси.
Поддерживается также обход прокси-серверов для конкретных хостов с помощью no_proxy
.
Переменные окружения
Переменные окружения http_proxy
и https_proxy
позволяют указать
прокси-сервер для определенного протокола. Если вы настроили это в своей системе, оно должно работать без проблем.
Это самый простой подход, если для данного протокола есть только один прокси-сервер, и этот прокси-сервер не меняется.
Списки прокси
Этот подход позволяет указать один или несколько прокси-серверов для протокола. Если определено более одного прокси-сервера, ClickHouse использует разные прокси по круговому принципу, распределяя нагрузку между серверами. Это самый простой подход, если существует более одного прокси-сервера для протокола, и список прокси-серверов не меняется.
Шаблон конфигурации
Выберите родительское поле в вкладках ниже, чтобы просмотреть их дочерние элементы:
- <proxy>
- <http> и <https>
Поле | Описание |
---|---|
<http> | Список одного или нескольких HTTP-прокси |
<https> | Список одного или нескольких HTTPS-прокси |
Поле | Описание |
---|---|
<uri> | URI прокси |
Удаленные резолверы прокси
Возможно, что прокси-серверы меняются динамически. В этом случае
вы можете определить конечную точку резолвера. ClickHouse отправляет
пустой GET запрос к этой конечной точке, удаленный резолвер должен вернуть хост прокси.
ClickHouse будет использовать его для формирования URI прокси, используя следующий шаблон: \{proxy_scheme\}://\{proxy_host\}:{proxy_port}
Шаблон конфигурации
Выберите родительское поле в вкладках ниже, чтобы просмотреть их дочерние элементы:
- <proxy>
- <http> и <https>
- <resolver>
Поле | Описание |
---|---|
<http> | Список одного или нескольких резолверов* |
<https> | Список одного или нескольких резолверов* |
Поле | Описание |
---|---|
<resolver> | Конечная точка и другие детали для резолвера |
Вы можете иметь несколько <resolver>
элементов, но используется только первый
<resolver>
для данного протокола. Любые другие <resolver>
элементы для этого протокола игнорируются. Это означает, что балансировка нагрузки
(если это необходимо) должна быть реализована удаленным резолвером.
Поле | Описание |
---|---|
<endpoint> | URI резолвера прокси |
<proxy_scheme> | Протокол конечного URI прокси. Это может быть либо http , либо https . |
<proxy_port> | Номер порта резолвера прокси |
<proxy_cache_time> | Время в секундах, в течение которого значения из резолвера должны кэшироваться ClickHouse. Установка этого значения в 0 приводит к тому, что ClickHouse будет обращаться к резолверу для каждого HTTP или HTTPS запроса. |
Приоритет
Настройки прокси определяются в следующем порядке:
Порядок | Настройка |
---|---|
1. | Удаленные резолверы прокси |
2. | Списки прокси |
3. | Переменные окружения |
ClickHouse будет проверять резолвер с наивысшим приоритетом для запрашиваемого протокола. Если он не определен, он проверит следующий резолвер с более высоким приоритетом, пока не достигнет резолвера окружения. Это также позволяет использовать смешанные типы резолверов.
query_cache
Конфигурация кэша запросов.
Доступные настройки:
Настройка | Описание | Значение по умолчанию |
---|---|---|
max_size_in_bytes | Максимальный размер кэша в байтах. 0 означает, что кэш запросов отключен. | 1073741824 |
max_entries | Максимальное количество результатов SELECT запросов, хранящихся в кэше. | 1024 |
max_entry_size_in_bytes | Максимальный размер в байтах, который могут иметь результаты SELECT запросов, чтобы быть сохраненными в кэше. | 1048576 |
max_entry_size_in_rows | Максимальное количество строк, которые могут иметь результаты SELECT запросов, чтобы быть сохраненными в кэше. | 30000000 |
- Измененные настройки вступают в силу немедленно.
- Данные для кэша запросов выделяются в DRAM. Если память в дефиците, убедитесь, что установлено небольшое значение для
max_size_in_bytes
или полностью отключите кэш запросов.
Пример
query_condition_cache_policy
query_condition_cache_size
Максимальный размер кэша условий запроса.
Эту настройку можно изменять во время выполнения, и она вступит в силу немедленно.
query_condition_cache_size_ratio
query_log
Настройка для ведения журнала запросов, полученных с настроенной log_queries=1.
Запросы регистрируются в таблице system.query_log, а не в отдельном файле. Вы можете изменить имя таблицы в параметре table
(см. ниже).
Следующие настройки можно настроить с помощью под-тегов:
Настройка | Описание | Значение по умолчанию | Примечание |
---|---|---|---|
database | Имя базы данных. | ||
table | Имя системной таблицы. | ||
engine | Определение движка MergeTree для системной таблицы. | Не может быть использован, если указаны partition_by или order_by . Если не указано, по умолчанию выбирается MergeTree | |
partition_by | Пользовательский ключ партиционирования для системной таблицы. | Если для системной таблицы указан engine , параметр partition_by должен быть указан непосредственно в 'engine' | |
ttl | Указывает TTL таблицы. | Если для системной таблицы указан engine , параметр ttl должен быть указан непосредственно в 'engine' | |
order_by | Пользовательский ключ сортировки для системной таблицы. Не может быть использован, если задан engine . | Если для системной таблицы указан engine , параметр order_by должен быть указан непосредственно в 'engine' | |
storage_policy | Имя политики хранения, которую нужно использовать для таблицы (необязательно). | Если для системной таблицы указан engine , параметр storage_policy должен быть указан непосредственно в 'engine' | |
settings | Дополнительные параметры, которые контролируют поведение MergeTree (необязательно). | Если для системной таблицы указан engine , параметр settings должен быть указан непосредственно в 'engine' | |
flush_interval_milliseconds | Интервал для сброса данных из буфера в памяти в таблицу. | 7500 | |
max_size_rows | Максимальный размер в строках для логов. Когда количество несброшенных логов достигает max_size, логи сбрасываются на диск. | 1048576 | |
reserved_size_rows | Предварительно выделенный размер памяти в строках для логов. | 8192 | |
buffer_size_rows_flush_threshold | Пороговое значение для количества строк. Если пороговое значение достигнуто, сброс логов на диск запускается в фоновом режиме. | max_size_rows / 2 | |
flush_on_crash | Устанавливает, следует ли сбрасывать логи на диск в случае аварии. | false |
Если таблица не существует, ClickHouse создаст ее. Если структура журнала запросов изменилась при обновлении сервера ClickHouse, таблица со старой структурой будет переименована, а новая таблица будет создана автоматически.
Пример
query_masking_rules
Правила на основе регулярных выражений, которые будут применены к запросам, а также ко всем сообщениям журнала перед их сохранением в журналах сервера,
system.query_log
, system.text_log
, system.processes
и в журналах, отправленных клиенту. Это позволяет предотвратить
утечку конфиденциальных данных из SQL-запросов, таких как имена, электронные адреса, личные идентификаторы или номера кредитных карт в журналы.
Пример
Поля конфигурации:
Настройка | Описание |
---|---|
name | название правила (необязательно) |
regexp | Совместимое регулярное выражение RE2 (обязательно) |
replace | строка замещения для конфиденциальных данных (необязательно, по умолчанию - шесть звездочек) |
Правила маскировки применяются ко всему запросу (чтобы предотвратить утечку конфиденциальных данных из неправильно оформленных / неразборчивых запросов).
В таблице system.events
находится счетчик QueryMaskingRulesMatch
, который содержит общее количество совпадений правил маскировки запросов.
Для распределенных запросов каждый сервер должен быть настроен отдельно, в противном случае подзапросы, переданные другим узлам, будут храниться без маскировки.
query_metric_log
По умолчанию отключено.
Включение
Чтобы вручную включить сбор истории метрик system.query_metric_log
, создайте файл /etc/clickhouse-server/config.d/query_metric_log.xml
со следующим содержимым:
Отключение
Чтобы отключить настройку query_metric_log
, вы должны создать следующий файл /etc/clickhouse-server/config.d/disable_query_metric_log.xml
со следующим содержимым:
Следующие настройки можно настроить с помощью под-тегов:
Настройка | Описание | Значение по умолчанию | Примечание |
---|---|---|---|
database | Имя базы данных. | ||
table | Имя системной таблицы. | ||
engine | Определение движка MergeTree для системной таблицы. | Не может быть использован, если указаны partition_by или order_by . Если не указано, по умолчанию выбирается MergeTree | |
partition_by | Пользовательский ключ партиционирования для системной таблицы. | Если для системной таблицы указан engine , параметр partition_by должен быть указан непосредственно в 'engine' | |
ttl | Указывает TTL таблицы. | Если для системной таблицы указан engine , параметр ttl должен быть указан непосредственно в 'engine' | |
order_by | Пользовательский ключ сортировки для системной таблицы. Не может быть использован, если задан engine . | Если для системной таблицы указан engine , параметр order_by должен быть указан непосредственно в 'engine' | |
storage_policy | Имя политики хранения, которую нужно использовать для таблицы (необязательно). | Если для системной таблицы указан engine , параметр storage_policy должен быть указан непосредственно в 'engine' | |
settings | Дополнительные параметры, которые контролируют поведение MergeTree (необязательно). | Если для системной таблицы указан engine , параметр settings должен быть указан непосредственно в 'engine' | |
flush_interval_milliseconds | Интервал для сброса данных из буфера в памяти в таблицу. | 7500 | |
max_size_rows | Максимальный размер в строках для логов. Когда количество несброшенных логов достигает max_size, логи сбрасываются на диск. | 1048576 | |
reserved_size_rows | Предварительно выделенный размер памяти в строках для логов. | 8192 | |
buffer_size_rows_flush_threshold | Пороговое значение для количества строк. Если пороговое значение достигнуто, сброс логов на диск запускается в фоновом режиме. | max_size_rows / 2 | |
flush_on_crash | Устанавливает, следует ли сбрасывать логи на диск в случае аварии. | false |
query_thread_log
Настройка для ведения журнала потоков запросов, полученных с настроенной log_query_threads=1.
Запросы регистрируются в таблице system.query_thread_log, а не в отдельном файле. Вы можете изменить имя таблицы в параметре table
(см. ниже).
Следующие настройки можно настроить с помощью под-тегов:
Настройка | Описание | Значение по умолчанию | Примечание |
---|---|---|---|
database | Имя базы данных. | ||
table | Имя системной таблицы. | ||
engine | Определение движка MergeTree для системной таблицы. | Не может быть использован, если указаны partition_by или order_by . Если не указано, по умолчанию выбирается MergeTree | |
partition_by | Пользовательский ключ партиционирования для системной таблицы. | Если для системной таблицы указан engine , параметр partition_by должен быть указан непосредственно в 'engine' | |
ttl | Указывает TTL таблицы. | Если для системной таблицы указан engine , параметр ttl должен быть указан непосредственно в 'engine' | |
order_by | Пользовательский ключ сортировки для системной таблицы. Не может быть использован, если задан engine . | Если для системной таблицы указан engine , параметр order_by должен быть указан непосредственно в 'engine' | |
storage_policy | Имя политики хранения, которую нужно использовать для таблицы (необязательно). | Если для системной таблицы указан engine , параметр storage_policy должен быть указан непосредственно в 'engine' | |
settings | Дополнительные параметры, которые контролируют поведение MergeTree (необязательно). | Если для системной таблицы указан engine , параметр settings должен быть указан непосредственно в 'engine' | |
flush_interval_milliseconds | Интервал для сброса данных из буфера в памяти в таблицу. | 7500 | |
max_size_rows | Максимальный размер в строках для логов. Когда количество несброшенных логов достигает max_size, логи сбрасываются на диск. | 1048576 | |
reserved_size_rows | Предварительно выделенный размер памяти в строках для логов. | 8192 | |
buffer_size_rows_flush_threshold | Пороговое значение для количества строк. Если пороговое значение достигнуто, сброс логов на диск запускается в фоновом режиме. | max_size_rows / 2 | |
flush_on_crash | Устанавливает, следует ли сбрасывать логи на диск в случае аварии. | false |
Если таблица не существует, ClickHouse создаст ее. Если структура журнала потоков запросов изменилась при обновлении сервера ClickHouse, таблица со старой структурой будет переименована, а новая таблица будет создана автоматически.
Пример
query_views_log
Настройка для логирования представлений (live, материализованные и т.д.), зависящих от полученных запросов с настройкой log_query_views=1.
Запросы записываются в таблицу system.query_views_log, а не в отдельный файл. Вы можете изменить имя таблицы в параметре table
(см. ниже).
Следующие настройки можно настроить с помощью под-тегов:
Настройка | Описание | Значение по умолчанию | Примечание |
---|---|---|---|
database | Имя базы данных. | ||
table | Имя системной таблицы. | ||
engine | Определение движка MergeTree для системной таблицы. | Не может быть использован, если указаны partition_by или order_by . Если не указано, по умолчанию выбирается MergeTree | |
partition_by | Пользовательский ключ партиционирования для системной таблицы. | Если для системной таблицы указан engine , параметр partition_by должен быть указан непосредственно в 'engine' | |
ttl | Указывает TTL таблицы. | Если для системной таблицы указан engine , параметр ttl должен быть указан непосредственно в 'engine' | |
order_by | Пользовательский ключ сортировки для системной таблицы. Не может быть использован, если задан engine . | Если для системной таблицы указан engine , параметр order_by должен быть указан непосредственно в 'engine' | |
storage_policy | Имя политики хранения, которую нужно использовать для таблицы (необязательно). | Если для системной таблицы указан engine , параметр storage_policy должен быть указан непосредственно в 'engine' | |
settings | Дополнительные параметры, которые контролируют поведение MergeTree (необязательно). | Если для системной таблицы указан engine , параметр settings должен быть указан непосредственно в 'engine' | |
flush_interval_milliseconds | Интервал для сброса данных из буфера в памяти в таблицу. | 7500 | |
max_size_rows | Максимальный размер в строках для логов. Когда количество несброшенных логов достигает max_size, логи сбрасываются на диск. | 1048576 | |
reserved_size_rows | Предварительно выделенный размер памяти в строках для логов. | 8192 | |
buffer_size_rows_flush_threshold | Пороговое значение для количества строк. Если пороговое значение достигнуто, сброс логов на диск запускается в фоновом режиме. | max_size_rows / 2 | |
flush_on_crash | Устанавливает, следует ли сбрасывать логи на диск в случае аварии. | false |
Если таблица не существует, ClickHouse создаст ее. Если структура лога представлений запросов изменится при обновлении сервера ClickHouse, таблица со старой структурой будет переименована, и новая таблица будет создана автоматически.
Пример
remap_executable
Настройка для перераспределения памяти для машинного кода ("текст") с использованием больших страниц.
Эта функция является altamente экспериментальной.
Пример:
remote_servers
Конфигурация кластеров, используемых движком таблиц Distributed и табличной функции cluster
.
Пример
Для значения атрибута incl
смотрите раздел "Файлы конфигурации".
См. также
remote_url_allow_hosts
Список хостов, которые разрешены для использования в движках хранения и табличных функциях, связанных с URL.
При добавлении хоста с помощью xml-тега \<host\>
:
- он должен быть указан точно так же, как в URL, так как имя проверяется до разрешения DNS. Например:
<host>clickhouse.com</host>
- если порт явно указан в URL, то проверяется host:port целиком. Например:
<host>clickhouse.com:80</host>
- если хост указан без порта, разрешается любой порт хоста. Например: если указан
<host>clickhouse.com</host>
, то разрешеныclickhouse.com:20
(FTP),clickhouse.com:80
(HTTP),clickhouse.com:443
(HTTPS) и т.д. - если хост указан как IP-адрес, то он проверяется так, как указано в URL. Например:
[2a02:6b8:a::a]
. - если есть перенаправления и поддержка перенаправлений включена, то каждое перенаправление (поле location) проверяется.
Например:
replica_group_name
Имя группы реплик для базы данных Replicated.
Кластер, созданный реплицированной базой данных, будет состоять из реплик в одной и той же группе. DDL запросы будут ждать только реплик в одной группе.
По умолчанию пусто.
Пример
replicated_fetches_http_connection_timeout
http_connection_timeout
, если явно не задано.
replicated_fetches_http_receive_timeout
http_receive_timeout
, если явно не задано.
replicated_fetches_http_send_timeout
http_send_timeout
, если явно не задано.
replicated_merge_tree
Тонкая настройка для таблиц в ReplicatedMergeTree. Эта настройка имеет более высокий приоритет.
Дополнительную информацию смотрите в заголовочном файле MergeTreeSettings.h.
Пример
restore_threads
s3_max_redirects
s3_retry_attempts
s3queue_disable_streaming
s3queue_log
Настройки для системной таблицы s3queue_log
.
Следующие настройки можно настроить с помощью под-тегов:
Настройка | Описание | Значение по умолчанию | Примечание |
---|---|---|---|
database | Имя базы данных. | ||
table | Имя системной таблицы. | ||
engine | Определение движка MergeTree для системной таблицы. | Не может быть использован, если указаны partition_by или order_by . Если не указано, по умолчанию выбирается MergeTree | |
partition_by | Пользовательский ключ партиционирования для системной таблицы. | Если для системной таблицы указан engine , параметр partition_by должен быть указан непосредственно в 'engine' | |
ttl | Указывает TTL таблицы. | Если для системной таблицы указан engine , параметр ttl должен быть указан непосредственно в 'engine' | |
order_by | Пользовательский ключ сортировки для системной таблицы. Не может быть использован, если задан engine . | Если для системной таблицы указан engine , параметр order_by должен быть указан непосредственно в 'engine' | |
storage_policy | Имя политики хранения, которую нужно использовать для таблицы (необязательно). | Если для системной таблицы указан engine , параметр storage_policy должен быть указан непосредственно в 'engine' | |
settings | Дополнительные параметры, которые контролируют поведение MergeTree (необязательно). | Если для системной таблицы указан engine , параметр settings должен быть указан непосредственно в 'engine' | |
flush_interval_milliseconds | Интервал для сброса данных из буфера в памяти в таблицу. | 7500 | |
max_size_rows | Максимальный размер в строках для логов. Когда количество несброшенных логов достигает max_size, логи сбрасываются на диск. | 1048576 | |
reserved_size_rows | Предварительно выделенный размер памяти в строках для логов. | 8192 | |
buffer_size_rows_flush_threshold | Пороговое значение для количества строк. Если пороговое значение достигнуто, сброс логов на диск запускается в фоновом режиме. | max_size_rows / 2 | |
flush_on_crash | Устанавливает, следует ли сбрасывать логи на диск в случае аварии. | false |
Настройки по умолчанию:
send_crash_reports
Настройки для отправки отчетов о сбоях команде разработчиков ClickHouse.
Включение этой функции, особенно в пред-продуктовых средах, очень приветствуется.
Ключи:
Ключ | Описание |
---|---|
enabled | Логический флаг для включения функции, по умолчанию true . Установите в false , чтобы избежать отправки отчетов о сбоях. |
send_logical_errors | LOGICAL_ERROR подобен assert , это ошибка в ClickHouse. Этот логический флаг позволяет отправлять эти исключения (По умолчанию: true ). |
endpoint | Вы можете переопределить URL-адрес конечной точки для отправки отчетов о сбоях. |
Рекомендуемое использование
series_keeper_path
Путь в Keeper с автоинкрементными номерами, генерируемыми функцией generateSerialID
. Каждая серия будет узлом под этим путем.
show_addresses_in_stack_traces
shutdown_wait_backups_and_restores
shutdown_wait_unfinished
shutdown_wait_unfinished_queries
skip_binary_checksum_checks
ssh_server
Публичная часть ключа хоста будет записана в файл known_hosts на стороне клиента SSH при первом подключении.
Конфигурации ключей хоста по умолчанию неактивны. Раскомментируйте конфигурации ключей хоста и укажите путь к соответствующему ssh ключу, чтобы активировать их:
Пример:
startup_mv_delay_ms
storage_configuration
Позволяет настраивать многодисковую конфигурацию хранения.
Конфигурация хранения основывается на следующей структуре:
Configuration of disks
Конфигурация disks
соответствует структуре, приведенной ниже:
Подтеги выше определяют следующие параметры для disks
:
Настройка | Описание |
---|---|
<disk_name_N> | Имя диска, которое должно быть уникальным. |
path | Путь, по которому будут храниться данные сервера (каталоги data и shadow ). Должен заканчиваться на / |
keep_free_space_bytes | Размер резервируемого свободного пространства на диске. |
Порядок дисков не имеет значения.
Configuration of policies
Подтеги выше определяют следующие параметры для policies
:
Настройка | Описание |
---|---|
policy_name_N | Имя политики. Имена политик должны быть уникальными. |
volume_name_N | Имя тома. Имена томов должны быть уникальными. |
disk | Диск, находящийся внутри тома. |
max_data_part_size_bytes | Максимальный размер блока данных, который может находиться на любом из дисков в этом томе. Если в результате слияния размер блока превышает max_data_part_size_bytes, блок будет записан в следующий том. Эта функция позволяет хранить новые / маленькие блоки на горячем (SSD) томе и перемещать их на холодный (HDD) том, когда они достигают большого размера. Не используйте эту опцию, если у политики только один том. |
move_factor | Доля доступного свободного пространства на томе. Если пространство становится меньше, данные начнут перемещаться на следующий том, если он существует. Для переноса блоки сортируются по размеру от большего к меньшему (по убыванию), и выбираются блоки, общий размер которых достаточен для выполнения условия move_factor . Если общий размер всех блоков недостаточен, будут перемещены все блоки. |
perform_ttl_move_on_insert | Отключает перемещение данных с истекшим TTL при вставке. По умолчанию (если включено), если мы вставляем часть данных, которая уже истекла согласно правилу перемещения по времени жизни, она немедленно перемещается на указанный в правиле том / диск. Это может значительно замедлить вставку в случае, если целевой том / диск медленный (например, S3). Если отключено, истекшая часть данных записывается на том по умолчанию, а затем немедленно перемещается на указанный в правилах том для истекшего TTL. |
load_balancing | Политика балансировки дисков, round_robin или least_used . |
least_used_ttl_ms | Устанавливает таймаут (в миллисекундах) для обновления доступного пространства на всех дисках (0 - всегда обновлять, -1 - никогда не обновлять, значение по умолчанию 60000 ). Обратите внимание, если диск используется только ClickHouse и не будет подвергаться динамическому изменению файловой системы, вы можете использовать значение -1 . В противном случае это не рекомендуется, так как в конечном итоге приведет к неправильному распределению пространства. |
prefer_not_to_merge | Отключает слияние частей данных на этом томе. Примечание: это потенциально вредно и может вызвать замедление. Когда эта настройка включена (не делайте этого), слияние данных на этом томе запрещено (что плохо). Это позволяет контролировать, как ClickHouse взаимодействует с медленными дисками. Мы рекомендуем вообще не использовать это. |
volume_priority | Определяет приоритет (порядок) заполнения томов. Чем меньше значение, тем выше приоритет. Значения параметров должны быть натуральными числами и охватывать диапазон от 1 до N (N — наибольшее указанное значение параметра) без пропусков. |
Что касается volume_priority
:
- Если все тома имеют этот параметр, они получают приоритет в указанном порядке.
- Если только некоторые тома имеют его, то тома, которые его не имеют, имеют наименьший приоритет. Те, которые его имеют, получают приоритет в соответствии со значением тега, приоритет остальных определяется по порядку описания в файле конфигурации относительно друг друга.
- Если никакие тома не имеют этого параметра, их порядок определяется порядком описания в файле конфигурации.
- Приоритет томов может быть не идентичным.
storage_connections_soft_limit
storage_connections_store_limit
storage_connections_warn_limit
storage_metadata_write_full_object_key
storage_shared_set_join_use_inner_uuid
table_engines_require_grant
Если установлено в true, пользователи требуют разрешения для создания таблицы с конкретным движком, например GRANT TABLE ENGINE ON TinyLog to user
.
По умолчанию, для обратной совместимости создание таблицы с конкретным движком таблицы игнорирует разрешения, однако вы можете изменить это поведение, установив это значение в true.
tables_loader_background_pool_size
Устанавливает количество потоков, выполняющих асинхронные задания загрузки в фоновом режиме. Фоновый пул используется для асинхронной загрузки таблиц после запуска сервера, если нет ожидающих запросов для таблицы. Рекомендуется поддерживать небольшое количество потоков в фоновом пуле, если таблиц много. Это сохранит ресурсы CPU для выполнения параллельных запросов.
Значение 0
означает, что будут использоваться все доступные ЦП.
tables_loader_foreground_pool_size
Устанавливает количество потоков, выполняющих задания загрузки в фоновом пуле. Фоновый пул используется для синхронной загрузки таблиц перед тем, как сервер начинает прослушивать порт, и для загрузки таблиц, которые ожидаются. Фоновый пул имеет более высокий приоритет, чем фоновой пул. Это означает, что никаких заданий не запускается в фоновом пуле, пока в фоновом пуле работают задания.
Значение 0
означает, что будут использоваться все доступные ЦП.
tcp_close_connection_after_queries_num
tcp_close_connection_after_queries_seconds
tcp_port
Порт для связи с клиентами по протоколу TCP.
Пример
tcp_port_secure
Порт TCP для безопасной связи с клиентами. Используйте его с настройками OpenSSL.
Значение по умолчанию
tcp_ssh_port
Порт для SSH-сервера, который позволяет пользователю подключаться и выполнять запросы в интерактивном режиме с помощью встроенного клиента через PTY.
Пример:
temporary_data_in_cache
С этой опцией временные данные будут храниться в кэше для конкретного диска. В этом разделе вы должны указать имя диска с типом cache
. В этом случае кэш и временные данные будут разделять одно и то же пространство, и кэш диска может быть очищен для создания временных данных.
Можно использовать только одну опцию для конфигурации хранения временных данных: tmp_path
, tmp_policy
, temporary_data_in_cache
.
Пример
Как кэш для local_disk
, так и временные данные будут храниться в /tiny_local_cache
в файловой системе, управляемой tiny_local_cache
.
temporary_data_in_distributed_cache
text_log
Настройки для системной таблицы text_log для логирования текстовых сообщений.
Следующие настройки можно настроить с помощью под-тегов:
Настройка | Описание | Значение по умолчанию | Примечание |
---|---|---|---|
database | Имя базы данных. | ||
table | Имя системной таблицы. | ||
engine | Определение движка MergeTree для системной таблицы. | Не может быть использован, если указаны partition_by или order_by . Если не указано, по умолчанию выбирается MergeTree | |
partition_by | Пользовательский ключ партиционирования для системной таблицы. | Если для системной таблицы указан engine , параметр partition_by должен быть указан непосредственно в 'engine' | |
ttl | Указывает TTL таблицы. | Если для системной таблицы указан engine , параметр ttl должен быть указан непосредственно в 'engine' | |
order_by | Пользовательский ключ сортировки для системной таблицы. Не может быть использован, если задан engine . | Если для системной таблицы указан engine , параметр order_by должен быть указан непосредственно в 'engine' | |
storage_policy | Имя политики хранения, которую нужно использовать для таблицы (необязательно). | Если для системной таблицы указан engine , параметр storage_policy должен быть указан непосредственно в 'engine' | |
settings | Дополнительные параметры, которые контролируют поведение MergeTree (необязательно). | Если для системной таблицы указан engine , параметр settings должен быть указан непосредственно в 'engine' | |
flush_interval_milliseconds | Интервал для сброса данных из буфера в памяти в таблицу. | 7500 | |
max_size_rows | Максимальный размер в строках для логов. Когда количество несброшенных логов достигает max_size, логи сбрасываются на диск. | 1048576 | |
reserved_size_rows | Предварительно выделенный размер памяти в строках для логов. | 8192 | |
buffer_size_rows_flush_threshold | Пороговое значение для количества строк. Если пороговое значение достигнуто, сброс логов на диск запускается в фоновом режиме. | max_size_rows / 2 | |
flush_on_crash | Устанавливает, следует ли сбрасывать логи на диск в случае аварии. | false |
Кроме того:
Настройка | Описание | Значение по умолчанию |
---|---|---|
level | Максимальный уровень сообщения (по умолчанию Trace ), который будет храниться в таблице. | Trace |
Пример
thread_pool_queue_size
Максимальное количество заданий, которое может быть запланировано в Объединённом Потоке. Увеличение размера очереди приводит к большему использованию памяти. Рекомендуется поддерживать это значение равным max_thread_pool_size
.
Значение 0
означает неограниченное количество.
Пример
threadpool_local_fs_reader_pool_size
local_filesystem_read_method = 'pread_threadpool'
.
threadpool_local_fs_reader_queue_size
threadpool_remote_fs_reader_pool_size
remote_filesystem_read_method = 'threadpool'
.
threadpool_remote_fs_reader_queue_size
threadpool_writer_pool_size
threadpool_writer_queue_size
throw_on_unknown_workload
Определяет поведение при доступе к неизвестной WORKLOAD с настройкой запроса 'workload'.
- Если
true
, выбрасывается исключение RESOURCE_ACCESS_DENIED из запроса, который пытается получить доступ к неизвестной нагрузке. Полезно для принуждения распределения ресурсов для всех запросов после установления иерархии WORKLOAD, которая содержит WORKLOAD по умолчанию. - Если
false
(по умолчанию), неограниченный доступ без распределения ресурсов предоставляется запросу с настройкой 'workload', указывающим на неизвестную нагрузку. Это важно на этапе настройки иерархии WORKLOAD, до добавления WORKLOAD по умолчанию.
Пример
См. также
timezone
Часовой пояс сервера.
Указывается как идентификатор IANA для часового пояса UTC или географического местоположения (например, Africa/Abidjan).
Часовой пояс необходим для преобразования между строковыми и временными форматами при выводе полей DateTime в текстовом формате (выведены на экран или в файл) и при получении DateTime из строки. Кроме того, часовой пояс используется в функциях, которые работают со временем и датой, если они не получили часовой пояс в входных параметрах.
Пример
См. также
tmp_path
Путь на локальной файловой системе для хранения временных данных для обработки больших запросов.
- Можно использовать только одну опцию для конфигурации хранения временных данных:
tmp_path
,tmp_policy
,temporary_data_in_cache
. - Обязательна косая черта в конце.
Пример
tmp_policy
Политика хранения временных данных. Все файлы с префиксом tmp
будут удалены при запуске.
Рекомендации по использованию объектного хранения в качестве tmp_policy
:
- Используйте отдельные
bucket:path
на каждом сервере. - Используйте
metadata_type=plain
. - Вы также можете установить TTL для этой корзины.
- Можно использовать только одну опцию для конфигурации хранения временных данных:
tmp_path
,tmp_policy
,temporary_data_in_cache
. move_factor
,keep_free_space_bytes
,max_data_part_size_bytes
игнорируются.- Политика должна иметь ровно один том.
Для получения дополнительной информации смотрите документацию MergeTree Table Engine.
Пример
Когда /disk1
будет заполнен, временные данные будут храниться на /disk2
.
top_level_domains_list
Определяет список пользовательских доменов верхнего уровня, которые следует добавить, где каждая запись имеет формат <name>/path/to/file</name>
.
Например:
См. также:
- Функция
cutToFirstSignificantSubdomainCustom
и ее вариации, которая принимает имя пользовательского списка TLD и возвращает часть домена, которая включает субдомены верхнего уровня до первого значимого субдомена.
total_memory_profiler_sample_max_allocation_size
total_memory_profiler_sample_probability
. 0 означает отключено. Возможно, вам стоит установить 'max_untracked_memory' в 0, чтобы этот порог работал как ожидается.
total_memory_profiler_sample_min_allocation_size
total_memory_profiler_sample_probability
. 0 означает отключено. Возможно, вам стоит установить 'max_untracked_memory' в 0, чтобы этот порог работал как ожидается.
total_memory_profiler_step
total_memory_tracker_sample_probability
Позволяет собирать случайные выделения и деалокации и записывать их в системную таблицу system.trace_log с trace_type
, равным MemorySample
, с заданной вероятностью. Вероятность относится к каждому выделению или деалокации, независимо от размера выделения. Обратите внимание, что выборка происходит только тогда, когда количество неучтенной памяти превышает лимит неучтенной памяти (значение по умолчанию 4
MiB). Его можно уменьшить, если total_memory_profiler_step будет уменьшен. Вы можете установить total_memory_profiler_step
равным 1
для дополнительной детализированной выборки.
Допустимые значения:
- Положительное дробное число.
0
— Запись случайных выделений и деалокаций в системной таблицеsystem.trace_log
отключена.
trace_log
Настройки для системной таблицы trace_log.
Следующие настройки можно настроить с помощью под-тегов:
Настройка | Описание | Значение по умолчанию | Примечание |
---|---|---|---|
database | Имя базы данных. | ||
table | Имя системной таблицы. | ||
engine | Определение движка MergeTree для системной таблицы. | Не может быть использован, если указаны partition_by или order_by . Если не указано, по умолчанию выбирается MergeTree | |
partition_by | Пользовательский ключ партиционирования для системной таблицы. | Если для системной таблицы указан engine , параметр partition_by должен быть указан непосредственно в 'engine' | |
ttl | Указывает TTL таблицы. | Если для системной таблицы указан engine , параметр ttl должен быть указан непосредственно в 'engine' | |
order_by | Пользовательский ключ сортировки для системной таблицы. Не может быть использован, если задан engine . | Если для системной таблицы указан engine , параметр order_by должен быть указан непосредственно в 'engine' | |
storage_policy | Имя политики хранения, которую нужно использовать для таблицы (необязательно). | Если для системной таблицы указан engine , параметр storage_policy должен быть указан непосредственно в 'engine' | |
settings | Дополнительные параметры, которые контролируют поведение MergeTree (необязательно). | Если для системной таблицы указан engine , параметр settings должен быть указан непосредственно в 'engine' | |
flush_interval_milliseconds | Интервал для сброса данных из буфера в памяти в таблицу. | 7500 | |
max_size_rows | Максимальный размер в строках для логов. Когда количество несброшенных логов достигает max_size, логи сбрасываются на диск. | 1048576 | |
reserved_size_rows | Предварительно выделенный размер памяти в строках для логов. | 8192 | |
buffer_size_rows_flush_threshold | Пороговое значение для количества строк. Если пороговое значение достигнуто, сброс логов на диск запускается в фоновом режиме. | max_size_rows / 2 | |
flush_on_crash | Устанавливает, следует ли сбрасывать логи на диск в случае аварии. | false |
Конфигурационный файл сервера по умолчанию config.xml
содержит следующий раздел настроек:
uncompressed_cache_policy
uncompressed_cache_size
Максимальный размер (в байтах) для несжатых данных, используемых движками таблиц из семейства MergeTree.
Существует один общий кэш для сервера. Память выделяется по мере необходимости. Кэш используется, если параметр use_uncompressed_cache
включен.
Несжатый кэш выгоден для очень коротких запросов в отдельных случаях.
Значение 0
означает отключено.
Эту настройку можно изменять во время выполнения, и она вступит в силу немедленно.
uncompressed_cache_size_ratio
url_scheme_mappers
Конфигурация для перевода укороченных или символических префиксов URL в полные URL.
Пример:
use_minimalistic_part_header_in_zookeeper
Метод хранения заголовков частей данных в ZooKeeper. Эта настройка применяется только к семейству MergeTree
. Ее можно указать:
Глобально в разделе merge_tree файла config.xml
ClickHouse использует настройку для всех таблиц на сервере. Вы можете изменить настройку в любое время. Существующие таблицы изменяют свое поведение, когда настройка изменяется.
Для каждой таблицы
При создании таблицы укажите соответствующую настройку движка. Поведение существующей таблицы с этой настройкой не изменяется, даже если глобальная настройка изменяется.
Возможные значения
0
— Функциональность отключена.1
— Функциональность включена.
Если use_minimalistic_part_header_in_zookeeper = 1
, то реплицированные таблицы хранят заголовки частей данных компактно, используя один znode
. Если таблица содержит много колонок, этот метод хранения значительно сокращает объем данных, хранящихся в Zookeeper.
После применения use_minimalistic_part_header_in_zookeeper = 1
вы не можете понизить версию сервера ClickHouse на версию, которая не поддерживает эту настройку. Будьте осторожны при обновлении ClickHouse на серверах в кластере. Не обновляйте все серверы сразу. Безопаснее тестировать новые версии ClickHouse в тестовой среде или на лишь нескольких серверах кластера.
Заголовки частей данных, уже хранящиеся с этой настройкой, не могут быть восстановлены в их прежнее (не компактное) представление.
user_defined_executable_functions_config
Путь к файлу конфигурации для исполняемых пользовательских функций.
Путь:
- Укажите абсолютный путь или путь относительно файла конфигурации сервера.
- Путь может содержать подстановочные знаки * и ?.
См. также:
Пример
user_defined_path
Директория с пользовательскими файлами. Используется для SQL пользовательских функций SQL пользовательские функции.
Пример
user_directories
Раздел файла конфигурации, который содержит настройки:
- Путь к файлу конфигурации с предопределенными пользователями.
- Путь к папке, где хранятся пользователи, созданные SQL-командами.
- Путь узла ZooKeeper, где хранятся и реплицируются пользователи, созданные SQL-командами (экспериментально).
Если этот раздел указан, путь из users_config и access_control_path не будет использоваться.
Раздел user_directories
может содержать любое количество элементов, порядок элементов означает их приоритет (чем выше элемент, тем выше приоритет).
Примеры
Пользователи, роли, политики строк, квоты и профили также могут храниться в ZooKeeper:
Вы также можете определить разделы memory
— означает хранение информации только в памяти, без записи на диск, и ldap
— означает хранение информации на сервере LDAP.
Чтобы добавить сервер LDAP в качестве удаленной директории пользователей, которые не определены локально, определите единый раздел ldap
со следующими настройками:
Настройка | Описание |
---|---|
server | одна из имен серверов LDAP, определенных в разделе конфигурации ldap_servers . Этот параметр обязателен и не может быть пустым. |
roles | раздел со списком локально определенных ролей, которые будут назначены каждому пользователю, полученному от сервера LDAP. Если роли не указаны, пользователь не сможет выполнять никакие действия после аутентификации. Если любая из указанных ролей не определена локально в момент аутентификации, попытка аутентификации завершится неудачей, как будто предоставленный пароль был неверным. |
Пример
user_files_path
Директория с пользовательскими файлами. Используется в табличной функции file(), fileCluster().
Пример
user_scripts_path
Директория с файлами пользовательских скриптов. Используется для исполняемых пользовательских функций Исполняемые пользовательские функции.
Пример
Тип:
По умолчанию:
users_config
Путь к файлу, который содержит:
- Конфигурации пользователей.
- Права доступа.
- Профили настроек.
- Настройки квоты.
Пример
validate_tcp_client_information
По умолчанию это false
:
vector_similarity_index_cache_max_entries
vector_similarity_index_cache_policy
vector_similarity_index_cache_size
Эту настройку можно изменить во время выполнения, и она вступит в силу мгновенно.
vector_similarity_index_cache_size_ratio
wait_dictionaries_load_at_startup
Эта настройка позволяет указать поведение, если dictionaries_lazy_load
равно false
.
(Если dictionaries_lazy_load
равно true
, эта настройка не влияет на что-либо.)
Если wait_dictionaries_load_at_startup
равно false
, то сервер
начнет загрузку всех словарей при старте, и он будет принимать подключения параллельно с этой загрузкой.
Когда словарь используется в запросе впервые, запрос будет ожидать, пока словарь не будет загружен, если он еще не загружен.
Установка wait_dictionaries_load_at_startup
в false
может ускорить запуск ClickHouse, однако некоторые запросы могут выполняться медленнее
(поскольку им придется ждать, пока некоторые словари загрузятся).
Если wait_dictionaries_load_at_startup
равно true
, то сервер будет ждать при старте,
пока все словари не завершат свою загрузку (успешно или нет) перед получением каких-либо подключений.
Пример
workload_path
Директория, используемая в качестве хранилища для всех запросов CREATE WORKLOAD
и CREATE RESOURCE
. По умолчанию используется папка /workload/
под рабочей директорией сервера.
Пример
См. также
workload_zookeeper_path
Путь к узлу ZooKeeper, который используется в качестве хранилища для всех запросов CREATE WORKLOAD
и CREATE RESOURCE
. Для согласованности все определения SQL хранятся как значение этого единственного znod. По умолчанию ZooKeeper не используется, и определения хранятся на диске.
Пример
См. также
zookeeper
Содержит настройки, которые позволяют ClickHouse взаимодействовать с кластером ZooKeeper. ClickHouse использует ZooKeeper для хранения метаданных реплик при использовании реплицированных таблиц. Если реплицированные таблицы не используются, этот раздел параметров можно опустить.
Следующие параметры можно настроить с помощью подметок:
Настройка | Описание |
---|---|
node | Контактная точка ZooKeeper. Вы можете установить несколько контактных точек. Например, <node index="1"><host>example_host</host><port>2181</port></node> . Атрибут index указывает порядок узла при попытке подключиться к кластеру ZooKeeper. |
session_timeout_ms | Максимальный тайм-аут для сессии клиента в миллисекундах. |
operation_timeout_ms | Максимальный тайм-аут для одной операции в миллисекундах. |
root (необязательный) | Узел, который используется в качестве корня для znodes, используемых сервером ClickHouse. |
fallback_session_lifetime.min (необязательный) | Минимальный лимит для продолжительности сессии зоопарка для резервного узла, когда основной недоступен (балансировка нагрузки). Указывается в секундах. По умолчанию: 3 часа. |
fallback_session_lifetime.max (необязательный) | Максимальный лимит для продолжительности сессии зоопарка для резервного узла, когда основной недоступен (балансировка нагрузки). Указывается в секундах. По умолчанию: 6 часов. |
identity (необязательный) | Пользователь и пароль, необходимые для ZooKeeper для доступа к запрашиваемым znodes. |
use_compression (необязательный) | Включает сжатие в протоколе Keeper, если установлено в true. |
Существует также настройка zookeeper_load_balancing
(необязательная), которая позволяет выбрать алгоритм для выбора узла ZooKeeper:
Название алгоритма | Описание |
---|---|
random | случайно выбирает один из узлов ZooKeeper. |
in_order | выбирает первый узел ZooKeeper, если он недоступен, то второй и так далее. |
nearest_hostname | выбирает узел ZooKeeper с именем хоста, наиболее похожим на имя хоста сервера; имя хоста сравнивается по префиксу. |
hostname_levenshtein_distance | как nearest_hostname, но сравнивает имя хоста с учетом расстояния Левенштейна. |
first_or_random | выбирает первый узел ZooKeeper, если он недоступен, то случайным образом выбирает один из оставшихся узлов ZooKeeper. |
round_robin | выбирает первый узел ZooKeeper; если происходит повторное подключение, выбирает следующий. |
Пример конфигурации
См. также