Функции для работы со словарями

примечание

Для словарей, созданных с помощью DDL-запросов, параметр dict_name должен быть полностью указан, например, <database>.<dict_name>. В противном случае будет использована текущая база данных.

Для получения информации о подключении и настройке словарей смотрите Словари.

dictGet, dictGetOrDefault, dictGetOrNull

Извлекает значения из словаря.

dictGet('dict_name', attr_names, id_expr)
dictGetOrDefault('dict_name', attr_names, id_expr, default_value_expr)
dictGetOrNull('dict_name', attr_name, id_expr)

Аргументы

dict_name — Название словаря. Строковый литерал.
attr_names — Название колонки словаря, Строковый литерал или кортеж названий колонок, Кортеж(Строковый литерал.
id_expr — Значение ключа. Выражение, возвращающее значение типа ключа словаря или значение типа Кортеж в зависимости от конфигурации словаря.
default_value_expr — Значения, возвращаемые если словарь не содержит строки с ключом id_expr. Выражение или Кортеж(Выражение), возвращающее значение (или значения) в типах данных, настроенных для атрибута attr_names.

Возвращаемое значение

Если ClickHouse успешно анализирует атрибут в типе данных атрибута, функции возвращают значение атрибута словаря, соответствующее id_expr.
Если в словаре нет ключа, соответствующего id_expr, тогда:
- dictGet возвращает содержимое элемента <null_value>, указанного для атрибута в конфигурации словаря.
- dictGetOrDefault возвращает значение, переданное как параметр default_value_expr.
- dictGetOrNull возвращает NULL, если ключ не найден в словаре.

ClickHouse выбрасывает исключение, если он не может разобрать значение атрибута или если значение не соответствует типу данных атрибута.

Пример для словаря с простым ключом

Создайте текстовый файл ext-dict-test.csv, содержащий следующее:

1,1
2,2

Первый столбец — id, второй столбец — c1.

Настройте словарь:

<clickhouse>
    <dictionary>
        <name>ext-dict-test</name>
        <source>
            <file>
                <path>/path-to/ext-dict-test.csv</path>
                <format>CSV</format>
            </file>
        </source>
        <layout>
            <flat />
        </layout>
        <structure>
            <id>
                <name>id</name>
            </id>
            <attribute>
                <name>c1</name>
                <type>UInt32</type>
                <null_value></null_value>
            </attribute>
        </structure>
        <lifetime>0</lifetime>
    </dictionary>
</clickhouse>

Выполните запрос:

SELECT
    dictGetOrDefault('ext-dict-test', 'c1', number + 1, toUInt32(number * 10)) AS val,
    toTypeName(val) AS type
FROM system.numbers
LIMIT 3;

┌─val─┬─type───┐
│   1 │ UInt32 │
│   2 │ UInt32 │
│  20 │ UInt32 │
└─────┴────────┘

Пример для словаря со сложным ключом

Создайте текстовый файл ext-dict-mult.csv, содержащий следующее:

1,1,'1'
2,2,'2'
3,3,'3'

Первый столбец — id, второй — c1, третий — c2.

Настройте словарь:

<clickhouse>
    <dictionary>
        <name>ext-dict-mult</name>
        <source>
            <file>
                <path>/path-to/ext-dict-mult.csv</path>
                <format>CSV</format>
            </file>
        </source>
        <layout>
            <flat />
        </layout>
        <structure>
            <id>
                <name>id</name>
            </id>
            <attribute>
                <name>c1</name>
                <type>UInt32</type>
                <null_value></null_value>
            </attribute>
            <attribute>
                <name>c2</name>
                <type>String</type>
                <null_value></null_value>
            </attribute>
        </structure>
        <lifetime>0</lifetime>
    </dictionary>
</clickhouse>

Выполните запрос:

SELECT
    dictGet('ext-dict-mult', ('c1','c2'), number + 1) AS val,
    toTypeName(val) AS type
FROM system.numbers
LIMIT 3;

┌─val─────┬─type──────────────────┐
│ (1,'1') │ Tuple(UInt8, String)  │
│ (2,'2') │ Tuple(UInt8, String)  │
│ (3,'3') │ Tuple(UInt8, String)  │
└─────────┴───────────────────────┘

Пример для словаря с диапазоном ключей

Входная таблица:

CREATE TABLE range_key_dictionary_source_table
(
    key UInt64,
    start_date Date,
    end_date Date,
    value String,
    value_nullable Nullable(String)
)
ENGINE = TinyLog();

INSERT INTO range_key_dictionary_source_table VALUES(1, toDate('2019-05-20'), toDate('2019-05-20'), 'First', 'First');
INSERT INTO range_key_dictionary_source_table VALUES(2, toDate('2019-05-20'), toDate('2019-05-20'), 'Second', NULL);
INSERT INTO range_key_dictionary_source_table VALUES(3, toDate('2019-05-20'), toDate('2019-05-20'), 'Third', 'Third');

Создайте словарь:

CREATE DICTIONARY range_key_dictionary
(
    key UInt64,
    start_date Date,
    end_date Date,
    value String,
    value_nullable Nullable(String)
)
PRIMARY KEY key
SOURCE(CLICKHOUSE(HOST 'localhost' PORT tcpPort() TABLE 'range_key_dictionary_source_table'))
LIFETIME(MIN 1 MAX 1000)
LAYOUT(RANGE_HASHED())
RANGE(MIN start_date MAX end_date);

Выполните запрос:

SELECT
    (number, toDate('2019-05-20')),
    dictHas('range_key_dictionary', number, toDate('2019-05-20')),
    dictGetOrNull('range_key_dictionary', 'value', number, toDate('2019-05-20')),
    dictGetOrNull('range_key_dictionary', 'value_nullable', number, toDate('2019-05-20')),
    dictGetOrNull('range_key_dictionary', ('value', 'value_nullable'), number, toDate('2019-05-20'))
FROM system.numbers LIMIT 5 FORMAT TabSeparated;

Результат:

(0,'2019-05-20')        0       \N      \N      (NULL,NULL)
(1,'2019-05-20')        1       First   First   ('First','First')
(2,'2019-05-20')        1       Second  \N      ('Second',NULL)
(3,'2019-05-20')        1       Third   Third   ('Third','Third')
(4,'2019-05-20')        0       \N      \N      (NULL,NULL)

См. также

Словари

dictHas

Проверяет, присутствует ли ключ в словаре.

dictHas('dict_name', id_expr)

Аргументы

dict_name — Название словаря. Строковый литерал.
id_expr — Значение ключа. Выражение, возвращающее значение типа ключа словаря или значение типа Кортеж в зависимости от конфигурации словаря.

Возвращаемое значение

0, если ключ отсутствует. UInt8.
1, если ключ присутствует. UInt8.

dictGetHierarchy

Создает массив, содержащий всех родителей ключа в иерархическом словаре.

Синтаксис

dictGetHierarchy('dict_name', key)

Аргументы

dict_name — Название словаря. Строковый литерал.
key — Значение ключа. Выражение, возвращающее значение типа UInt64.

Возвращаемое значение

Родители для ключа. Массив(UInt64).

dictIsIn

Проверяет предка ключа на протяжении всей иерархической цепочки в словаре.

dictIsIn('dict_name', child_id_expr, ancestor_id_expr)

Аргументы

dict_name — Название словаря. Строковый литерал.
child_id_expr — Ключ, который нужно проверить. Выражение, возвращающее значение типа UInt64.
ancestor_id_expr — Предполагаемый предок ключа child_id_expr. Выражение, возвращающее значение типа UInt64.

Возвращаемое значение

0, если child_id_expr не является потомком ancestor_id_expr. UInt8.
1, если child_id_expr является потомком ancestor_id_expr или если child_id_expr является ancestor_id_expr. UInt8.

dictGetChildren

Возвращает потомков первого уровня в виде массива индексов. Это обратное преобразование для dictGetHierarchy.

Синтаксис

dictGetChildren(dict_name, key)

Аргументы

dict_name — Название словаря. Строковый литерал.
key — Значение ключа. Выражение, возвращающее значение типа UInt64.

Возвращаемые значения

Потомки первого уровня для ключа. Массив(UInt64).

Пример

Рассмотрим иерархический словарь:

┌─id─┬─parent_id─┐
│  1 │         0 │
│  2 │         1 │
│  3 │         1 │
│  4 │         2 │
└────┴───────────┘

Потомки первого уровня:

SELECT dictGetChildren('hierarchy_flat_dictionary', number) FROM system.numbers LIMIT 4;

┌─dictGetChildren('hierarchy_flat_dictionary', number)─┐
│ [1]                                                  │
│ [2,3]                                                │
│ [4]                                                  │
│ []                                                   │
└──────────────────────────────────────────────────────┘

dictGetDescendant

Возвращает всех потомков, как если бы функция dictGetChildren применялась level раз рекурсивно.

Синтаксис

dictGetDescendants(dict_name, key, level)

Аргументы

dict_name — Название словаря. Строковый литерал.
key — Значение ключа. Выражение, возвращающее значение типа UInt64.
level — Уровень иерархии. Если level = 0, возвращает всех потомков до конца. UInt8.

Возвращаемые значения

Потомки для ключа. Массив(UInt64).

Пример

Рассмотрим иерархический словарь:

┌─id─┬─parent_id─┐
│  1 │         0 │
│  2 │         1 │
│  3 │         1 │
│  4 │         2 │
└────┴───────────┘

Все потомки:

SELECT dictGetDescendants('hierarchy_flat_dictionary', number) FROM system.numbers LIMIT 4;

┌─dictGetDescendants('hierarchy_flat_dictionary', number)─┐
│ [1,2,3,4]                                               │
│ [2,3,4]                                                 │
│ [4]                                                     │
│ []                                                      │
└─────────────────────────────────────────────────────────┘

Потомки первого уровня:

SELECT dictGetDescendants('hierarchy_flat_dictionary', number, 1) FROM system.numbers LIMIT 4;

┌─dictGetDescendants('hierarchy_flat_dictionary', number, 1)─┐
│ [1]                                                        │
│ [2,3]                                                      │
│ [4]                                                        │
│ []                                                         │
└────────────────────────────────────────────────────────────┘

dictGetAll

Извлекает значения атрибутов всех узлов, которые соответствуют каждому ключу в словаре деревьев регулярных выражений.

Кроме возврата значений типа Array(T) вместо T, эта функция ведет себя подобно dictGet.

Синтаксис

dictGetAll('dict_name', attr_names, id_expr[, limit])

Аргументы

dict_name — Название словаря. Строковый литерал.
attr_names — Название колонки словаря, Строковый литерал или кортеж названий колонок, Кортеж(Строковый литерал).
id_expr — Значение ключа. Выражение, возвращающее массив значений типа ключа словаря или значение типа Кортеж в зависимости от конфигурации словаря.
limit - Максимальная длина для каждого возвращаемого массива значений. При усечении дочерние узлы имеют преимущество перед родительскими узлами, и в противном случае соблюдается определенный порядок для словаря деревьев регулярных выражений. Если не указано, длина массива неограничена.

Возвращаемое значение

Если ClickHouse успешно анализирует атрибут в типе данных атрибута, как определено в словаре, возвращает массив значений атрибутов словаря, которые соответствуют id_expr для каждого атрибута, указанного в attr_names.
Если в словаре нет ключа, соответствующего id_expr, то возвращается пустой массив.

Пример

Рассмотрим следующий словарь деревьев регулярных выражений:

CREATE DICTIONARY regexp_dict
(
    regexp String,
    tag String
)
PRIMARY KEY(regexp)
SOURCE(YAMLRegExpTree(PATH '/var/lib/clickhouse/user_files/regexp_tree.yaml'))
LAYOUT(regexp_tree)
...


# /var/lib/clickhouse/user_files/regexp_tree.yaml
- regexp: 'foo'
  tag: 'foo_attr'
- regexp: 'bar'
  tag: 'bar_attr'
- regexp: 'baz'
  tag: 'baz_attr'

Получите все совпадающие значения:

SELECT dictGetAll('regexp_dict', 'tag', 'foobarbaz');

┌─dictGetAll('regexp_dict', 'tag', 'foobarbaz')─┐
│ ['foo_attr','bar_attr','baz_attr']            │
└───────────────────────────────────────────────┘

Получите до 2 совпадающих значений:

SELECT dictGetAll('regexp_dict', 'tag', 'foobarbaz', 2);

┌─dictGetAll('regexp_dict', 'tag', 'foobarbaz', 2)─┐
│ ['foo_attr','bar_attr']                          │
└──────────────────────────────────────────────────┘

Другие функции

ClickHouse поддерживает специализированные функции, которые преобразуют значения атрибутов словаря в определенный тип данных, независимо от конфигурации словаря.

Функции:

dictGetInt8, dictGetInt16, dictGetInt32, dictGetInt64
dictGetUInt8, dictGetUInt16, dictGetUInt32, dictGetUInt64
dictGetFloat32, dictGetFloat64
dictGetDate
dictGetDateTime
dictGetUUID
dictGetString
dictGetIPv4, dictGetIPv6

Все эти функции имеют модификацию OrDefault. Например, dictGetDateOrDefault.

Синтаксис:

dictGet[Type]('dict_name', 'attr_name', id_expr)
dictGet[Type]OrDefault('dict_name', 'attr_name', id_expr, default_value_expr)

Аргументы

dict_name — Название словаря. Строковый литерал.
attr_name — Название колонки словаря. Строковый литерал.
id_expr — Значение ключа. Выражение, возвращающее значение UInt64 или значение типа Кортеж в зависимости от конфигурации словаря.
default_value_expr — Значение, возвращаемое если словарь не содержит строки с ключом id_expr. Выражение, возвращающее значение в типе данных, настроенном для атрибута attr_name.

Возвращаемое значение

Если ClickHouse успешно анализирует атрибут в типе данных атрибута, функции возвращают значение атрибута словаря, соответствующее id_expr.
Если запрашиваемый id_expr отсутствует в словаре, тогда:
- dictGet[Type] возвращает содержимое элемента <null_value>, указанного для атрибута в конфигурации словаря.
- dictGet[Type]OrDefault возвращает значение, переданное как параметр default_value_expr.

dictGet, dictGetOrDefault, dictGetOrNull​

dictHas​

dictGetHierarchy​

dictIsIn​

dictGetChildren​

dictGetDescendant​

dictGetAll​

Другие функции​

dictGet, dictGetOrDefault, dictGetOrNull

dictHas

dictGetHierarchy

dictIsIn

dictGetChildren

dictGetDescendant

dictGetAll

Другие функции