186 lines
10 KiB
Markdown
186 lines
10 KiB
Markdown
|
[Документация](../../README-ru.md#документация) → [Конфигурация](../config.ru.md) → Дисковые параметры OSD
|
|||
|
|
|||
|
-----
|
|||
|
|
|||
|
[Read in English](layout-osd.en.md)
|
|||
|
|
|||
|
# Дисковые параметры OSD
|
|||
|
|
|||
|
Данные параметры используются только OSD и, также как и общекластерные
|
|||
|
дисковые параметры, задаются в момент инициализации дисков OSD и не могут быть
|
|||
|
изменены после этого без потери данных.
|
|||
|
|
|||
|
- [data_device](#data_device)
|
|||
|
- [meta_device](#meta_device)
|
|||
|
- [journal_device](#journal_device)
|
|||
|
- [journal_offset](#journal_offset)
|
|||
|
- [journal_size](#journal_size)
|
|||
|
- [meta_offset](#meta_offset)
|
|||
|
- [data_offset](#data_offset)
|
|||
|
- [data_size](#data_size)
|
|||
|
- [meta_block_size](#meta_block_size)
|
|||
|
- [journal_block_size](#journal_block_size)
|
|||
|
- [disable_data_fsync](#disable_data_fsync)
|
|||
|
- [disable_meta_fsync](#disable_meta_fsync)
|
|||
|
- [disable_journal_fsync](#disable_journal_fsync)
|
|||
|
- [disable_device_lock](#disable_device_lock)
|
|||
|
- [disk_alignment](#disk_alignment)
|
|||
|
|
|||
|
## data_device
|
|||
|
|
|||
|
- Тип: строка
|
|||
|
|
|||
|
Путь к диску (блочному устройству) для хранения данных. Крайне рекомендуется
|
|||
|
использовать стабильные пути: `/dev/disk/by-partuuid/xxx...` вместо простых
|
|||
|
`/dev/sda` или `/dev/nvme0n1`, чтобы пути не могли спутаться после
|
|||
|
перезагрузки сервера. Также вместо блочных устройств можно указывать файлы,
|
|||
|
но это реализовано только для тестирования, а не для боевой среды.
|
|||
|
|
|||
|
## meta_device
|
|||
|
|
|||
|
- Тип: строка
|
|||
|
|
|||
|
Путь к диску метаданных. Метаданные должны располагаться на быстром
|
|||
|
SSD-диске, иначе производительность пострадает. Если эта опция не указана,
|
|||
|
для метаданных используется `data_device`.
|
|||
|
|
|||
|
## journal_device
|
|||
|
|
|||
|
- Тип: строка
|
|||
|
|
|||
|
Путь к диску журнала. Журнал должен располагаться на быстром SSD-диске,
|
|||
|
иначе производительность пострадает. Если эта опция не указана,
|
|||
|
для журнала используется `meta_device`, если же пуста и она, журнал
|
|||
|
располагается на `data_device`. Нормально располагать журнал и метаданные
|
|||
|
на одном устройстве, в этом случае достаточно указать только `meta_device`.
|
|||
|
|
|||
|
## journal_offset
|
|||
|
|
|||
|
- Тип: целое число
|
|||
|
- Значение по умолчанию: 0
|
|||
|
|
|||
|
Смещение на устройстве в байтах, по которому располагается журнал.
|
|||
|
|
|||
|
## journal_size
|
|||
|
|
|||
|
- Тип: целое число
|
|||
|
|
|||
|
Размер журнала в байтах. По умолчанию для журнала используется всё доступное
|
|||
|
место между journal_offset и data_offset, meta_offset или концом диска.
|
|||
|
В SSD-кластерах большие журналы не нужны, достаточно 32 МБ. В гибридных
|
|||
|
(SSD+HDD) кластерах осмысленно использовать больший размер журнал (например, 1 ГБ)
|
|||
|
и включить [throttle_small_writes](osd.ru.md#throttle_small_writes).
|
|||
|
|
|||
|
## meta_offset
|
|||
|
|
|||
|
- Тип: целое число
|
|||
|
- Значение по умолчанию: 0
|
|||
|
|
|||
|
Смещение на устройстве в байтах, по которому располагаются метаданные.
|
|||
|
Эту опцию нужно задать, если метаданные у вас хранятся на том же
|
|||
|
устройстве, что данные или журнал.
|
|||
|
|
|||
|
## data_offset
|
|||
|
|
|||
|
- Тип: целое число
|
|||
|
- Значение по умолчанию: 0
|
|||
|
|
|||
|
Смещение на устройстве в байтах, по которому располагаются данные.
|
|||
|
Эту опцию нужно задать, если данные у вас хранятся на том же
|
|||
|
устройстве, что метаданные или журнал.
|
|||
|
|
|||
|
## data_size
|
|||
|
|
|||
|
- Тип: целое число
|
|||
|
|
|||
|
Размер области данных в байтах. По умолчанию под данные будет использована
|
|||
|
вся доступная область устройства данных до конца устройства, но вы можете
|
|||
|
использовать эту опцию, чтобы ограничить её меньшим размером. Заметьте, что
|
|||
|
опции размера области метаданных нет - она вычисляется из размера области
|
|||
|
данных автоматически.
|
|||
|
|
|||
|
## meta_block_size
|
|||
|
|
|||
|
- Тип: целое число
|
|||
|
- Значение по умолчанию: 4096
|
|||
|
|
|||
|
Размер физического блока устройства метаданных. 4096 для большинства
|
|||
|
современных SSD и HDD.
|
|||
|
|
|||
|
## journal_block_size
|
|||
|
|
|||
|
- Тип: целое число
|
|||
|
- Значение по умолчанию: 4096
|
|||
|
|
|||
|
Размер физического блока устройства журнала. Должен быть кратен
|
|||
|
`disk_alignment`. 4096 для большинства современных SSD и HDD.
|
|||
|
|
|||
|
## disable_data_fsync
|
|||
|
|
|||
|
- Тип: булево (да/нет)
|
|||
|
- Значение по умолчанию: false
|
|||
|
|
|||
|
Не отправлять fsync-и устройству данных, т.е. не сбрасывать его кэш.
|
|||
|
Безопасно, ТОЛЬКО если ваше устройство данных имеет кэш со сквозной
|
|||
|
записью (write-through). Если вы отключаете кэш через `hdparm` или
|
|||
|
`scsi_disk/cache_type`, то удостоверьтесь, что команда отключения кэша
|
|||
|
выполняется перед каждым запуском Vitastor OSD, например, в systemd unit-е.
|
|||
|
Смотрите также опцию `immediate_commit` для инструкций по отключению кэша
|
|||
|
и о том, как из этого извлечь выгоду.
|
|||
|
|
|||
|
## disable_meta_fsync
|
|||
|
|
|||
|
- Тип: булево (да/нет)
|
|||
|
- Значение по умолчанию: false
|
|||
|
|
|||
|
То же, что disable_data_fsync, но для устройства метаданных. Если устройство
|
|||
|
метаданных не задано или если оно равно устройству данных, значение опции
|
|||
|
игнорируется и вместо него используется значение опции disable_data_fsync.
|
|||
|
|
|||
|
## disable_journal_fsync
|
|||
|
|
|||
|
- Тип: булево (да/нет)
|
|||
|
- Значение по умолчанию: false
|
|||
|
|
|||
|
То же, что disable_data_fsync, но для устройства журнала. Если устройство
|
|||
|
журнала не задано или если оно равно устройству метаданных, значение опции
|
|||
|
игнорируется и вместо него используется значение опции disable_meta_fsync.
|
|||
|
Если одно и то же устройство используется и под данные, и под журнал, и под
|
|||
|
метаданные - значение опции также игнорируется и вместо него используется
|
|||
|
значение опции disable_data_fsync.
|
|||
|
|
|||
|
## disable_device_lock
|
|||
|
|
|||
|
- Тип: булево (да/нет)
|
|||
|
- Значение по умолчанию: false
|
|||
|
|
|||
|
Не блокировать устройства данных, метаданных и журнала от открытия их
|
|||
|
другими OSD с помощью flock(). Так делать не рекомендуется, но теоретически
|
|||
|
вы можете это использовать, чтобы запускать несколько OSD на одном
|
|||
|
устройстве с разными смещениями и без использования разделов.
|
|||
|
|
|||
|
## disk_alignment
|
|||
|
|
|||
|
- Тип: целое число
|
|||
|
- Значение по умолчанию: 4096
|
|||
|
|
|||
|
Требуемое выравнивание записи на физические диски. Почти все современные
|
|||
|
SSD и HDD диски используют 4 КБ физические секторы, даже если показывают
|
|||
|
логический размер сектора 512 байт, поэтому 4 КБ - хорошее значение по
|
|||
|
умолчанию.
|
|||
|
|
|||
|
Однако стоит понимать, что физический размер сектора тоже влияет на
|
|||
|
избыточную запись (WA), потому что ничего меньше блока (сектора) на блочное
|
|||
|
устройство записать невозможно. Таким образом, когда Vitastor-у нужно
|
|||
|
записать на диск всего лишь одну 32-байтную запись метаданных, фактически
|
|||
|
приходится перезаписывать 4 КБ сектор целиком.
|
|||
|
|
|||
|
Поэтому, на самом деле, может быть выгодно найти SSD, хорошо работающие с
|
|||
|
меньшими, 512-байтными, блоками и использовать 512-байтные disk_alignment,
|
|||
|
journal_block_size и meta_block_size. Однако единственные SSD, которые
|
|||
|
теоретически могут попасть в эту категорию - это Intel Optane (но и это
|
|||
|
пока не проверялось автором).
|
|||
|
|
|||
|
Клиентам не обязательно знать про disk_alignment, так что помещать значение
|
|||
|
этого параметра в etcd в /vitastor/config/global не нужно.
|