Compare commits
382 Commits
Author | SHA1 | Date |
---|---|---|
|
fe8e611e23 | |
|
7636f9c726 | |
|
d5f7005ddd | |
|
70d6fcd32a | |
|
17caaa59af | |
|
2dac6ee38b | |
|
8be67a2d5b | |
|
9c2132882c | |
|
9f25bb059b | |
|
ee3094c5e5 | |
|
ba9f263b75 | |
|
30eaa1a8e6 | |
|
6a8daedbe2 | |
|
2b96ac0b44 | |
|
986cd11705 | |
|
b804051eaf | |
|
3cc326500e | |
|
f848c450a4 | |
|
4121c66281 | |
|
b3716fbe23 | |
|
97f49d7d94 | |
|
131de4b790 | |
|
ce359c5a69 | |
|
521e867b10 | |
|
333c54ebbf | |
|
58d3da95c8 | |
|
4e90e752eb | |
|
09342d7189 | |
|
eb3e8b8c19 | |
|
e2ca3ad99e | |
|
dd4b0aed2b | |
|
42851a061c | |
|
8e0f242d30 | |
|
0daa8ea39b | |
|
b263d311ef | |
|
8720185780 | |
|
20584414d8 | |
|
306a3db7f3 | |
|
5b0aebada4 | |
|
d6f0b480c8 | |
|
f1f8531fd4 | |
|
8d79d59964 | |
|
551a209a50 | |
|
06cafd7702 | |
|
3018352443 | |
|
f8edfb4a71 | |
|
8239ea2356 | |
|
e898335b8d | |
|
e7869611fa | |
|
e1c2500b60 | |
|
42cf3a11df | |
|
4d9293f0e9 | |
|
7a13f85ae2 | |
|
fc219b8602 | |
|
989d73f874 | |
|
f0630722ce | |
|
93b0947720 | |
|
9c628646fa | |
|
cf476a3b95 | |
|
23f9273ba3 | |
|
74b88bf8ba | |
|
1254d5a0de | |
|
f87bece253 | |
|
ba85d0ef16 | |
|
17a909ea3a | |
|
a4dfc220ab | |
|
26426dd95e | |
|
9f38b7e5c1 | |
|
20057defbe | |
|
b4e9140755 | |
|
413959e75a | |
|
8973982570 | |
|
990c3ba7eb | |
|
1771d2ef36 | |
|
d88ab76636 | |
|
c010a0aa54 | |
|
0d42712d29 | |
|
66b438106a | |
|
3aef6682fb | |
|
8535bccf4c | |
|
0487b3b239 | |
|
a54ef97f5d | |
|
10434a9b2b | |
|
c6be194508 | |
|
df668286fb | |
|
667c5999c9 | |
|
8ad63465cd | |
|
976290e6a9 | |
|
79f1d1969b | |
|
918e1f83b0 | |
|
abbba6ade4 | |
|
21d1171ba4 | |
![]() |
8f83086889 | |
|
ceb18f25db | |
|
ed51a89f70 | |
|
f59456f22d | |
|
ca63cd507d | |
|
ea0d72289c | |
|
e400a851f4 | |
|
0fec7a9fea | |
|
b9de2a92a9 | |
|
5360a70853 | |
|
4c2328eb13 | |
|
313daef12d | |
|
ad9c12e1b9 | |
|
4473eb5512 | |
|
6501abc060 | |
|
1228403e74 | |
|
4eabebd245 | |
|
cf60b6818c | |
|
1a4a7cdc37 | |
|
1b48085e21 | |
|
a71847244e | |
|
848c2d2722 | |
|
86832dc43f | |
|
1f6da79463 | |
|
9bf57c3760 | |
|
a0305b5b4a | |
|
1546f8e447 | |
|
8ce962b312 | |
|
50e56b3b92 | |
|
a12d328793 | |
|
c79b38bd26 | |
|
44692d148a | |
|
ba52359611 | |
|
23a9aa93b5 | |
|
2412d9e239 | |
|
9301c857b1 | |
|
3094358ec2 | |
|
87f666d2a2 | |
|
bd7fe4ef8f | |
|
1b3f9a1416 | |
|
a7b7354f38 | |
|
765befa22f | |
|
87b3ab94fe | |
|
2c0801f6e4 | |
|
fd83fef1d9 | |
|
8d1067971b | |
|
ae5af04fde | |
|
266d038b11 | |
|
ff4414d37e | |
|
0fa7ecc03f | |
|
c29bfe12eb | |
|
57bf84ddb2 | |
|
dff4879c8c | |
|
af9a853db6 | |
|
b7a3275af3 | |
|
64c5c4ca26 | |
![]() |
442a9d838d | |
|
6366972fe8 | |
|
2b863fb715 | |
|
3bf4dd5abd | |
|
3b84dcaedd | |
|
20fbc4a745 | |
|
02993ee1dd | |
|
3629dbc54d | |
|
29284bef40 | |
|
6a924d6066 | |
|
9fe779a691 | |
|
31c2751b9b | |
|
c5195666cd | |
|
f36d7eb76c | |
|
dd7f651de1 | |
|
a2994ecd0d | |
|
5d3aaf016b | |
|
0b097ca3f2 | |
|
989675a780 | |
|
f8c403ec9e | |
|
bfbb85e653 | |
|
9ad6822353 | |
|
2043b4e374 | |
|
de840e6fe3 | |
|
b5e04bf809 | |
|
8807a1623b | |
|
f12855c31b | |
|
e75dcc9a71 | |
|
88516ab4bd | |
|
6221126b4f | |
|
6783d4a13c | |
|
dcbe1afac3 | |
|
0bde28c24a | |
|
bb8ca6184e | |
|
87310ef7bb | |
|
4f4b2dab80 | |
|
f70da82317 | |
|
e42148f347 | |
|
c289584469 | |
|
018e89f867 | |
|
603dc68f11 | |
|
7b12342933 | |
|
44bf0f16ee | |
|
8840c84572 | |
|
5b747c12ec | |
|
05f5f46162 | |
|
b5604191c8 | |
|
e871de27de | |
|
f600ce98e2 | |
|
57605a5c13 | |
|
29bd4561bb | |
|
7142460ec8 | |
|
d03f19ebe5 | |
|
88f9d18be3 | |
|
6213fbd8c6 | |
|
3aee37eadd | |
|
ecfc753e93 | |
|
a574f9ad71 | |
|
7c235c9103 | |
|
e5bb986164 | |
|
181795d748 | |
|
8cdc38805b | |
|
0cd455d17f | |
|
32ba653ba6 | |
|
231d4b15fc | |
|
9dc4d5fd7b | |
|
e58538fa47 | |
|
11ac9e7024 | |
|
511bc3df1c | |
|
a64f0d1f73 | |
|
ec5f7c6b87 | |
|
3ebed9a749 | |
|
eab67a6e8f | |
|
20993d9b7a | |
|
5cf9b343c0 | |
|
79ae0aadcd | |
|
605afc3583 | |
|
c0681d8242 | |
|
763e77b4f4 | |
|
19426aa4c5 | |
|
08f586bcec | |
|
f1cd87473a | |
|
1bd8d2da56 | |
|
a7396d2baf | |
|
e98a38810d | |
|
28c4324c36 | |
|
31ec3fa8f5 | |
|
e4fa26f60a | |
|
59ae27f9e5 | |
|
2c6a301d9b | |
|
01558349f8 | |
|
36f4717d0d | |
|
babaf2a0ce | |
|
5773f1a375 | |
|
57222a9f79 | |
|
61ef000c6e | |
|
7d5e1cc393 | |
|
5e7f27a02d | |
|
fd1d8a8520 | |
|
c364e14c40 | |
|
3ebbfa0428 | |
|
aa79d1db1c | |
|
a1fecb7eff | |
|
ff74b19423 | |
|
4cf6dceed7 | |
|
38b8963330 | |
|
77167e2920 | |
|
5af23672d0 | |
|
6bf1f539a6 | |
|
4eab26f968 | |
|
86243b7101 | |
![]() |
dc92851322 | |
|
02d1f16bbd | |
|
fc413038d1 | |
|
1bc0b5aab3 | |
|
5e934264cf | |
|
f20564b44b | |
|
b3c15db331 | |
|
685bcd6ef9 | |
|
3eb389b321 | |
|
3d16cde23c | |
|
c6406d67fc | |
|
f87964861d | |
|
62a4f45160 | |
|
7048228678 | |
|
ea73857450 | |
|
6cfe38ec04 | |
|
7ae5766fdb | |
|
f882c7dd87 | |
|
26dd863c8d | |
|
2ae859fbc6 | |
|
f6cd9f9153 | |
|
8389c0f33b | |
|
9db2196aef | |
|
8d6ae662fe | |
|
c777a0041a | |
|
2947ea93e8 | |
|
978bdc128a | |
|
bb2f395f1e | |
|
b127da40f7 | |
|
ca34a6047a | |
|
38ba76e893 | |
|
1e3c4edea0 | |
|
e7ac855b07 | |
|
c53357ac45 | |
|
27e9f244ec | |
|
8e25a28a08 | |
|
5d3317e4f2 | |
|
016115c0d4 | |
|
e026de95d5 | |
|
77c10fd1f8 | |
|
581d02e581 | |
|
f03a9db4d9 | |
|
cb9c30bc31 | |
|
a86a380d20 | |
|
d2b43cb118 | |
|
cc76e6876b | |
|
1cec62d25d | |
|
1c322b33ed | |
|
d27524f441 | |
|
ba55f91409 | |
|
80aac39513 | |
|
2aa5aa7ab6 | |
|
3ca3b8a8d8 | |
|
2cf649eba6 | |
|
5935640a4a | |
|
d00d4dbac0 | |
|
5d9d6f32a0 | |
|
5280d1d561 | |
|
317b0feb0a | |
|
247f0552db | |
|
2f228fa96a | |
|
2f6b9c0306 | |
|
48b5f871e0 | |
|
c17f76a3e4 | |
|
a6ab54b1ba | |
|
99ee8596ea | |
|
c4928e6ecd | |
|
ec7dcd1be5 | |
|
e600bbc151 | |
|
8b8c1179a7 | |
|
d5a6fa6dd7 | |
|
f757a35a8d | |
|
1edf86ed26 | |
|
5ca7cde612 | |
|
751935ddd8 | |
|
d84dee7098 | |
|
dcc76eee15 | |
|
2f38adeb3d | |
|
f72f14e6a7 | |
|
1299373988 | |
|
178bb0e701 | |
|
4ece4dfdd0 | |
|
95631773b6 | |
|
7239cfb91a | |
|
7cea642f4a | |
|
dc615403d9 | |
|
1a704e06ab | |
|
575475de71 | |
|
aca2bef15f | |
|
4dd6e89263 | |
|
9bac99ffb6 | |
|
62ed130960 | |
|
9c7755b6e8 | |
|
691ebd991a | |
|
6d5df908a3 | |
|
fa87769ed8 | |
|
2ce8292803 | |
|
7f8f7ded52 | |
|
68553eabbb | |
|
3147c5c8d5 | |
|
576e2ae608 | |
|
a1c7cc3d8d | |
|
a5e3dfbc5a | |
|
7972502eaf | |
|
e57b7203b8 | |
|
c8a179dcda | |
|
845454742d | |
|
d65512bd80 | |
|
53de2bbd0f | |
|
628aa59574 | |
|
037cf64a47 | |
|
19e2d9d6fa | |
|
bfc7e61909 | |
|
7da4868b37 | |
|
b5c020ce0b | |
|
6b33ae973d | |
|
cf36445359 | |
|
3fd873d263 | |
|
a00e8ae9ed | |
|
75674545dc | |
|
225eb2fe3d | |
|
7e82573ed0 | |
|
12a6bed2d5 |
|
@ -22,7 +22,7 @@ RUN apt-get update
|
||||||
RUN apt-get -y install etcd qemu-system-x86 qemu-block-extra qemu-utils fio libasan5 \
|
RUN apt-get -y install etcd qemu-system-x86 qemu-block-extra qemu-utils fio libasan5 \
|
||||||
liburing1 liburing-dev libgoogle-perftools-dev devscripts libjerasure-dev cmake libibverbs-dev libisal-dev
|
liburing1 liburing-dev libgoogle-perftools-dev devscripts libjerasure-dev cmake libibverbs-dev libisal-dev
|
||||||
RUN apt-get -y build-dep fio qemu=`dpkg -s qemu-system-x86|grep ^Version:|awk '{print $2}'`
|
RUN apt-get -y build-dep fio qemu=`dpkg -s qemu-system-x86|grep ^Version:|awk '{print $2}'`
|
||||||
RUN apt-get -y install jq lp-solve sudo
|
RUN apt-get -y install jq lp-solve sudo nfs-common
|
||||||
RUN apt-get --download-only source fio qemu=`dpkg -s qemu-system-x86|grep ^Version:|awk '{print $2}'`
|
RUN apt-get --download-only source fio qemu=`dpkg -s qemu-system-x86|grep ^Version:|awk '{print $2}'`
|
||||||
|
|
||||||
RUN set -ex; \
|
RUN set -ex; \
|
||||||
|
|
|
@ -16,6 +16,7 @@ env:
|
||||||
BUILDENV_IMAGE: git.yourcmc.ru/vitalif/vitastor/buildenv
|
BUILDENV_IMAGE: git.yourcmc.ru/vitalif/vitastor/buildenv
|
||||||
TEST_IMAGE: git.yourcmc.ru/vitalif/vitastor/test
|
TEST_IMAGE: git.yourcmc.ru/vitalif/vitastor/test
|
||||||
OSD_ARGS: '--etcd_quick_timeout 2000'
|
OSD_ARGS: '--etcd_quick_timeout 2000'
|
||||||
|
USE_RAMDISK: 1
|
||||||
|
|
||||||
concurrency:
|
concurrency:
|
||||||
group: ci-${{ github.ref }}
|
group: ci-${{ github.ref }}
|
||||||
|
@ -64,6 +65,13 @@ jobs:
|
||||||
# leak sanitizer sometimes crashes
|
# leak sanitizer sometimes crashes
|
||||||
- run: cd /root/vitastor/build && ASAN_OPTIONS=detect_leaks=0 make -j16 test
|
- run: cd /root/vitastor/build && ASAN_OPTIONS=detect_leaks=0 make -j16 test
|
||||||
|
|
||||||
|
npm_lint:
|
||||||
|
runs-on: ubuntu-latest
|
||||||
|
needs: build
|
||||||
|
container: ${{env.TEST_IMAGE}}:${{github.sha}}
|
||||||
|
steps:
|
||||||
|
- run: cd /root/vitastor/mon && npm run lint
|
||||||
|
|
||||||
test_add_osd:
|
test_add_osd:
|
||||||
runs-on: ubuntu-latest
|
runs-on: ubuntu-latest
|
||||||
needs: build
|
needs: build
|
||||||
|
@ -190,6 +198,24 @@ jobs:
|
||||||
echo ""
|
echo ""
|
||||||
done
|
done
|
||||||
|
|
||||||
|
test_etcd_fail_antietcd:
|
||||||
|
runs-on: ubuntu-latest
|
||||||
|
needs: build
|
||||||
|
container: ${{env.TEST_IMAGE}}:${{github.sha}}
|
||||||
|
steps:
|
||||||
|
- name: Run test
|
||||||
|
id: test
|
||||||
|
timeout-minutes: 10
|
||||||
|
run: ANTIETCD=1 /root/vitastor/tests/test_etcd_fail.sh
|
||||||
|
- name: Print logs
|
||||||
|
if: always() && steps.test.outcome == 'failure'
|
||||||
|
run: |
|
||||||
|
for i in /root/vitastor/testdata/*.log /root/vitastor/testdata/*.txt; do
|
||||||
|
echo "-------- $i --------"
|
||||||
|
cat $i
|
||||||
|
echo ""
|
||||||
|
done
|
||||||
|
|
||||||
test_interrupted_rebalance:
|
test_interrupted_rebalance:
|
||||||
runs-on: ubuntu-latest
|
runs-on: ubuntu-latest
|
||||||
needs: build
|
needs: build
|
||||||
|
@ -395,7 +421,7 @@ jobs:
|
||||||
steps:
|
steps:
|
||||||
- name: Run test
|
- name: Run test
|
||||||
id: test
|
id: test
|
||||||
timeout-minutes: 3
|
timeout-minutes: 6
|
||||||
run: SCHEME=ec /root/vitastor/tests/test_snapshot_chain.sh
|
run: SCHEME=ec /root/vitastor/tests/test_snapshot_chain.sh
|
||||||
- name: Print logs
|
- name: Print logs
|
||||||
if: always() && steps.test.outcome == 'failure'
|
if: always() && steps.test.outcome == 'failure'
|
||||||
|
@ -532,6 +558,60 @@ jobs:
|
||||||
echo ""
|
echo ""
|
||||||
done
|
done
|
||||||
|
|
||||||
|
test_dd:
|
||||||
|
runs-on: ubuntu-latest
|
||||||
|
needs: build
|
||||||
|
container: ${{env.TEST_IMAGE}}:${{github.sha}}
|
||||||
|
steps:
|
||||||
|
- name: Run test
|
||||||
|
id: test
|
||||||
|
timeout-minutes: 3
|
||||||
|
run: /root/vitastor/tests/test_dd.sh
|
||||||
|
- name: Print logs
|
||||||
|
if: always() && steps.test.outcome == 'failure'
|
||||||
|
run: |
|
||||||
|
for i in /root/vitastor/testdata/*.log /root/vitastor/testdata/*.txt; do
|
||||||
|
echo "-------- $i --------"
|
||||||
|
cat $i
|
||||||
|
echo ""
|
||||||
|
done
|
||||||
|
|
||||||
|
test_root_node:
|
||||||
|
runs-on: ubuntu-latest
|
||||||
|
needs: build
|
||||||
|
container: ${{env.TEST_IMAGE}}:${{github.sha}}
|
||||||
|
steps:
|
||||||
|
- name: Run test
|
||||||
|
id: test
|
||||||
|
timeout-minutes: 3
|
||||||
|
run: /root/vitastor/tests/test_root_node.sh
|
||||||
|
- name: Print logs
|
||||||
|
if: always() && steps.test.outcome == 'failure'
|
||||||
|
run: |
|
||||||
|
for i in /root/vitastor/testdata/*.log /root/vitastor/testdata/*.txt; do
|
||||||
|
echo "-------- $i --------"
|
||||||
|
cat $i
|
||||||
|
echo ""
|
||||||
|
done
|
||||||
|
|
||||||
|
test_switch_primary:
|
||||||
|
runs-on: ubuntu-latest
|
||||||
|
needs: build
|
||||||
|
container: ${{env.TEST_IMAGE}}:${{github.sha}}
|
||||||
|
steps:
|
||||||
|
- name: Run test
|
||||||
|
id: test
|
||||||
|
timeout-minutes: 3
|
||||||
|
run: /root/vitastor/tests/test_switch_primary.sh
|
||||||
|
- name: Print logs
|
||||||
|
if: always() && steps.test.outcome == 'failure'
|
||||||
|
run: |
|
||||||
|
for i in /root/vitastor/testdata/*.log /root/vitastor/testdata/*.txt; do
|
||||||
|
echo "-------- $i --------"
|
||||||
|
cat $i
|
||||||
|
echo ""
|
||||||
|
done
|
||||||
|
|
||||||
test_write:
|
test_write:
|
||||||
runs-on: ubuntu-latest
|
runs-on: ubuntu-latest
|
||||||
needs: build
|
needs: build
|
||||||
|
@ -622,6 +702,24 @@ jobs:
|
||||||
echo ""
|
echo ""
|
||||||
done
|
done
|
||||||
|
|
||||||
|
test_heal_antietcd:
|
||||||
|
runs-on: ubuntu-latest
|
||||||
|
needs: build
|
||||||
|
container: ${{env.TEST_IMAGE}}:${{github.sha}}
|
||||||
|
steps:
|
||||||
|
- name: Run test
|
||||||
|
id: test
|
||||||
|
timeout-minutes: 10
|
||||||
|
run: ANTIETCD=1 /root/vitastor/tests/test_heal.sh
|
||||||
|
- name: Print logs
|
||||||
|
if: always() && steps.test.outcome == 'failure'
|
||||||
|
run: |
|
||||||
|
for i in /root/vitastor/testdata/*.log /root/vitastor/testdata/*.txt; do
|
||||||
|
echo "-------- $i --------"
|
||||||
|
cat $i
|
||||||
|
echo ""
|
||||||
|
done
|
||||||
|
|
||||||
test_heal_csum_32k_dmj:
|
test_heal_csum_32k_dmj:
|
||||||
runs-on: ubuntu-latest
|
runs-on: ubuntu-latest
|
||||||
needs: build
|
needs: build
|
||||||
|
@ -730,6 +828,96 @@ jobs:
|
||||||
echo ""
|
echo ""
|
||||||
done
|
done
|
||||||
|
|
||||||
|
test_osd_tags:
|
||||||
|
runs-on: ubuntu-latest
|
||||||
|
needs: build
|
||||||
|
container: ${{env.TEST_IMAGE}}:${{github.sha}}
|
||||||
|
steps:
|
||||||
|
- name: Run test
|
||||||
|
id: test
|
||||||
|
timeout-minutes: 3
|
||||||
|
run: /root/vitastor/tests/test_osd_tags.sh
|
||||||
|
- name: Print logs
|
||||||
|
if: always() && steps.test.outcome == 'failure'
|
||||||
|
run: |
|
||||||
|
for i in /root/vitastor/testdata/*.log /root/vitastor/testdata/*.txt; do
|
||||||
|
echo "-------- $i --------"
|
||||||
|
cat $i
|
||||||
|
echo ""
|
||||||
|
done
|
||||||
|
|
||||||
|
test_enospc:
|
||||||
|
runs-on: ubuntu-latest
|
||||||
|
needs: build
|
||||||
|
container: ${{env.TEST_IMAGE}}:${{github.sha}}
|
||||||
|
steps:
|
||||||
|
- name: Run test
|
||||||
|
id: test
|
||||||
|
timeout-minutes: 3
|
||||||
|
run: /root/vitastor/tests/test_enospc.sh
|
||||||
|
- name: Print logs
|
||||||
|
if: always() && steps.test.outcome == 'failure'
|
||||||
|
run: |
|
||||||
|
for i in /root/vitastor/testdata/*.log /root/vitastor/testdata/*.txt; do
|
||||||
|
echo "-------- $i --------"
|
||||||
|
cat $i
|
||||||
|
echo ""
|
||||||
|
done
|
||||||
|
|
||||||
|
test_enospc_xor:
|
||||||
|
runs-on: ubuntu-latest
|
||||||
|
needs: build
|
||||||
|
container: ${{env.TEST_IMAGE}}:${{github.sha}}
|
||||||
|
steps:
|
||||||
|
- name: Run test
|
||||||
|
id: test
|
||||||
|
timeout-minutes: 3
|
||||||
|
run: SCHEME=xor /root/vitastor/tests/test_enospc.sh
|
||||||
|
- name: Print logs
|
||||||
|
if: always() && steps.test.outcome == 'failure'
|
||||||
|
run: |
|
||||||
|
for i in /root/vitastor/testdata/*.log /root/vitastor/testdata/*.txt; do
|
||||||
|
echo "-------- $i --------"
|
||||||
|
cat $i
|
||||||
|
echo ""
|
||||||
|
done
|
||||||
|
|
||||||
|
test_enospc_imm:
|
||||||
|
runs-on: ubuntu-latest
|
||||||
|
needs: build
|
||||||
|
container: ${{env.TEST_IMAGE}}:${{github.sha}}
|
||||||
|
steps:
|
||||||
|
- name: Run test
|
||||||
|
id: test
|
||||||
|
timeout-minutes: 3
|
||||||
|
run: IMMEDIATE_COMMIT=1 /root/vitastor/tests/test_enospc.sh
|
||||||
|
- name: Print logs
|
||||||
|
if: always() && steps.test.outcome == 'failure'
|
||||||
|
run: |
|
||||||
|
for i in /root/vitastor/testdata/*.log /root/vitastor/testdata/*.txt; do
|
||||||
|
echo "-------- $i --------"
|
||||||
|
cat $i
|
||||||
|
echo ""
|
||||||
|
done
|
||||||
|
|
||||||
|
test_enospc_imm_xor:
|
||||||
|
runs-on: ubuntu-latest
|
||||||
|
needs: build
|
||||||
|
container: ${{env.TEST_IMAGE}}:${{github.sha}}
|
||||||
|
steps:
|
||||||
|
- name: Run test
|
||||||
|
id: test
|
||||||
|
timeout-minutes: 3
|
||||||
|
run: IMMEDIATE_COMMIT=1 SCHEME=xor /root/vitastor/tests/test_enospc.sh
|
||||||
|
- name: Print logs
|
||||||
|
if: always() && steps.test.outcome == 'failure'
|
||||||
|
run: |
|
||||||
|
for i in /root/vitastor/testdata/*.log /root/vitastor/testdata/*.txt; do
|
||||||
|
echo "-------- $i --------"
|
||||||
|
cat $i
|
||||||
|
echo ""
|
||||||
|
done
|
||||||
|
|
||||||
test_scrub:
|
test_scrub:
|
||||||
runs-on: ubuntu-latest
|
runs-on: ubuntu-latest
|
||||||
needs: build
|
needs: build
|
||||||
|
@ -838,3 +1026,21 @@ jobs:
|
||||||
echo ""
|
echo ""
|
||||||
done
|
done
|
||||||
|
|
||||||
|
test_nfs:
|
||||||
|
runs-on: ubuntu-latest
|
||||||
|
needs: build
|
||||||
|
container: ${{env.TEST_IMAGE}}:${{github.sha}}
|
||||||
|
steps:
|
||||||
|
- name: Run test
|
||||||
|
id: test
|
||||||
|
timeout-minutes: 3
|
||||||
|
run: /root/vitastor/tests/test_nfs.sh
|
||||||
|
- name: Print logs
|
||||||
|
if: always() && steps.test.outcome == 'failure'
|
||||||
|
run: |
|
||||||
|
for i in /root/vitastor/testdata/*.log /root/vitastor/testdata/*.txt; do
|
||||||
|
echo "-------- $i --------"
|
||||||
|
cat $i
|
||||||
|
echo ""
|
||||||
|
done
|
||||||
|
|
||||||
|
|
|
@ -34,11 +34,19 @@ for my $line (<>)
|
||||||
{
|
{
|
||||||
$test_name .= '_imm';
|
$test_name .= '_imm';
|
||||||
}
|
}
|
||||||
|
elsif ($1 eq 'ANTIETCD')
|
||||||
|
{
|
||||||
|
$test_name .= '_antietcd';
|
||||||
|
}
|
||||||
else
|
else
|
||||||
{
|
{
|
||||||
$test_name .= '_'.lc($1).'_'.$2;
|
$test_name .= '_'.lc($1).'_'.$2;
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
if ($test_name eq 'test_snapshot_chain_ec')
|
||||||
|
{
|
||||||
|
$timeout = 6;
|
||||||
|
}
|
||||||
$line =~ s!\./test_!/root/vitastor/tests/test_!;
|
$line =~ s!\./test_!/root/vitastor/tests/test_!;
|
||||||
# Gitea CI doesn't support artifacts yet, lol
|
# Gitea CI doesn't support artifacts yet, lol
|
||||||
#- name: Upload results
|
#- name: Upload results
|
||||||
|
|
|
@ -3,16 +3,3 @@
|
||||||
package-lock.json
|
package-lock.json
|
||||||
fio
|
fio
|
||||||
qemu
|
qemu
|
||||||
osd
|
|
||||||
stub_osd
|
|
||||||
stub_uring_osd
|
|
||||||
stub_bench
|
|
||||||
osd_test
|
|
||||||
osd_peering_pg_test
|
|
||||||
dump_journal
|
|
||||||
nbd_proxy
|
|
||||||
rm_inode
|
|
||||||
test_allocator
|
|
||||||
test_blockstore
|
|
||||||
test_shit
|
|
||||||
osd_rmw_test
|
|
||||||
|
|
|
@ -0,0 +1,115 @@
|
||||||
|
## Contributor License Agreement
|
||||||
|
|
||||||
|
> This Agreement is made in the Russian and English languages. **The English
|
||||||
|
text of Agreement is for informational purposes only** and is not binding
|
||||||
|
for the Parties.
|
||||||
|
>
|
||||||
|
> In the event of a conflict between the provisions of the Russian and
|
||||||
|
English versions of this Agreement, the **Russian version shall prevail**.
|
||||||
|
>
|
||||||
|
> Russian version is published at https://git.yourcmc.ru/vitalif/vitastor/src/branch/master/CLA-ru.md
|
||||||
|
|
||||||
|
This document represents the offer of Filippov Vitaliy Vladimirovich
|
||||||
|
("Author"), author and copyright holder of Vitastor software ("Program"),
|
||||||
|
acknowledged by a certificate of Federal Service for Intellectual
|
||||||
|
Property of Russian Federation (Rospatent) # 2021617829 dated 20 May 2021,
|
||||||
|
to "Contributors" to conclude this license agreement as follows
|
||||||
|
("Agreement" or "Offer").
|
||||||
|
|
||||||
|
In accordance with Art. 435, Art. 438 of the Civil Code of the Russian
|
||||||
|
Federation, this Agreement is an offer and in case of acceptance of the
|
||||||
|
offer, an agreement is considered concluded on the conditions specified
|
||||||
|
in the offer.
|
||||||
|
|
||||||
|
1. Applicable Terms. \
|
||||||
|
1.1. "Official Repository" shall mean the computer storage, operated by
|
||||||
|
the Author, containing all prior and future versions of the Source
|
||||||
|
Code of the Program, at Internet addresses https://git.yourcmc.ru/vitalif/vitastor/
|
||||||
|
or https://github.com/vitalif/vitastor/. \
|
||||||
|
1.2. "Contributions" shall mean results of intellectual activity
|
||||||
|
(including, but not limited to, source code, libraries, components,
|
||||||
|
texts, documentation) which can be software or elements of the software
|
||||||
|
and which are provided by Contributors to the Author for inclusion
|
||||||
|
in the Program. \
|
||||||
|
1.3. "Contributor" shall mean a person who provides Contributions to
|
||||||
|
the Author and agrees with all provisions of this Agreement.
|
||||||
|
A Сontributor can be: 1) an individual; or 2) a legal entity or an
|
||||||
|
individual entrepreneur in case when an individual provides Contributions
|
||||||
|
on behalf of third parties, including on behalf of his employer.
|
||||||
|
|
||||||
|
2. Subject of the Agreement. \
|
||||||
|
2.1. Subject of the Agreement shall be the Contributions sent to the Author by Contributors. \
|
||||||
|
2.2. The Contributor grants to the Author the right to use Contributions at his own
|
||||||
|
discretion and without any necessity to get a prior approval from Contributor or
|
||||||
|
any other third party in any way, under a simple (non-exclusive), royalty-free,
|
||||||
|
irrevocable license throughout the world by all means not contrary to law, in whole
|
||||||
|
or as a part of the Program, or other open-source or closed-source computer programs,
|
||||||
|
products or services (hereinafter -- the "License"), including, but not limited to: \
|
||||||
|
2.2.1. to execute Contributions and use them for any tasks; \
|
||||||
|
2.2.2. to publish and distribute Contributions in modified or unmodified form and/or to rent them; \
|
||||||
|
2.2.3. to modify Contributions, add comments, illustrations or any explanations to Contributions while using them; \
|
||||||
|
2.2.4. to create other results of intellectual activity based on Contributions, including derivative works and composite works; \
|
||||||
|
2.2.5. to translate Contributions into other languages, including other programming languages; \
|
||||||
|
2.2.6. to carry out rental and public display of Contributions; \
|
||||||
|
2.2.7. to use Contributions under the trade name and/or any trademark or any other label, or without it, as the Author thinks fit; \
|
||||||
|
2.3. The Contributor grants to the Author the right to sublicense any of the aforementioned
|
||||||
|
rights to third parties on any terms at the Author's discretion. \
|
||||||
|
2.4. The License is provided for the entire duration of Contributor's
|
||||||
|
exclusive intellectual property rights to the Contributions. \
|
||||||
|
2.5. The Contributor grants to the Author the right to decide how and where to mention,
|
||||||
|
or to not mention at all, the fact of his authorship, name, nickname and/or company
|
||||||
|
details when including Contributions into the Program or in any other computer
|
||||||
|
programs, products or services.
|
||||||
|
|
||||||
|
3. Acceptance of the Offer \
|
||||||
|
3.1. The Contributor may provide Contributions to the Author in the form of
|
||||||
|
a "Pull Request" in an Official Repository of the Program or by any
|
||||||
|
other electronic means of communication, including, but not limited to,
|
||||||
|
E-mail or messenger applications. \
|
||||||
|
3.2. The acceptance of the Offer shall be the fact of provision of Contributions
|
||||||
|
to the Author by the Contributor by any means with the following remark:
|
||||||
|
“I accept Vitastor CLA agreement: https://git.yourcmc.ru/vitalif/vitastor/src/branch/master/CLA-en.md”
|
||||||
|
or “Я принимаю соглашение Vitastor CLA: https://git.yourcmc.ru/vitalif/vitastor/src/branch/master/CLA-ru.md”. \
|
||||||
|
3.3. Date of acceptance of the Offer shall be the date of such provision.
|
||||||
|
|
||||||
|
4. Rights and obligations of the parties. \
|
||||||
|
4.1. The Contributor reserves the right to use Contributions by any lawful means
|
||||||
|
not contrary to this Agreement. \
|
||||||
|
4.2. The Author has the right to refuse to include Contributions into the Program
|
||||||
|
at any moment with no explanation to the Contributor.
|
||||||
|
|
||||||
|
5. Representations and Warranties. \
|
||||||
|
5.1. The person providing Contributions for the purpose of their inclusion
|
||||||
|
in the Program represents and warrants that he is the Contributor
|
||||||
|
or legally acts on the Contributor's behalf. Name or company details
|
||||||
|
of the Contributor shall be provided with the Contribution at the moment
|
||||||
|
of their provision to the Author. \
|
||||||
|
5.2. The Contributor represents and warrants that he legally owns exclusive
|
||||||
|
intellectual property rights to the Contributions. \
|
||||||
|
5.3. The Contributor represents and warrants that any further use of
|
||||||
|
Contributions by the Author as provided by Contributor under the terms
|
||||||
|
of the Agreement does not infringe on intellectual and other rights and
|
||||||
|
legitimate interests of third parties. \
|
||||||
|
5.4. The Contributor represents and warrants that he has all rights and legal
|
||||||
|
capacity needed to accept this Offer; \
|
||||||
|
5.5. The Contributor represents and warrants that Contributions don't
|
||||||
|
contain malware or any information considered illegal under the law
|
||||||
|
of Russian Federation.
|
||||||
|
|
||||||
|
6. Termination of the Agreement \
|
||||||
|
6.1. The Agreement may be terminated at will of both Author and Contributor,
|
||||||
|
formalised in the written form or if the Agreement is terminated on
|
||||||
|
reasons prescribed by the law of Russian Federation.
|
||||||
|
|
||||||
|
7. Final Clauses \
|
||||||
|
7.1. The Contributor may optionally sign the Agreement in the written form. \
|
||||||
|
7.2. The Agreement is deemed to become effective from the Date of signing of
|
||||||
|
the Agreement and until the expiration of Contributor's exclusive
|
||||||
|
intellectual property rights to the Contributions. \
|
||||||
|
7.3. The Author may unilaterally alter the Agreement without informing Contributors.
|
||||||
|
The new version of the document shall come into effect 3 (three) days after
|
||||||
|
being published in the Official Repository of the Program at Internet address
|
||||||
|
[https://git.yourcmc.ru/vitalif/vitastor/src/branch/master/CLA-en.md](https://git.yourcmc.ru/vitalif/vitastor/src/branch/master/CLA-en.md).
|
||||||
|
Contributors should keep informed about the actual version of the Agreement themselves. \
|
||||||
|
7.4. If the Author and the Contributor fail to agree on disputable issues,
|
||||||
|
disputes shall be referred to the Moscow Arbitration court.
|
|
@ -0,0 +1,108 @@
|
||||||
|
## Лицензионное соглашение с участником
|
||||||
|
|
||||||
|
> Данная Оферта написана в Русской и Английской версиях. **Версия на английском
|
||||||
|
языке предоставляется в информационных целях** и не связывает стороны договора.
|
||||||
|
>
|
||||||
|
> В случае несоответствий между положениями Русской и Английской версий Договора,
|
||||||
|
**Русская версия имеет приоритет**.
|
||||||
|
>
|
||||||
|
> Английская версия опубликована по адресу https://git.yourcmc.ru/vitalif/vitastor/src/branch/master/CLA-en.md
|
||||||
|
|
||||||
|
Настоящий договор-оферта (далее по тексту – Оферта, Договор) адресована физическим
|
||||||
|
и юридическим лицам (далее – Участникам) и является официальным публичным предложением
|
||||||
|
Филиппова Виталия Владимировича (далее – Автора) программного обеспечения Vitastor,
|
||||||
|
свидетельство Федеральной службы по интеллектуальной собственности (Роспатент) № 2021617829
|
||||||
|
от 20 мая 2021 г. (далее – Программа) о нижеследующем:
|
||||||
|
|
||||||
|
1. Термины и определения \
|
||||||
|
1.1. Репозиторий – электронное хранилище, содержащее исходный код Программы. \
|
||||||
|
1.2. Доработка – результат интеллектуальной деятельности Участника, включающий
|
||||||
|
в себя изменения или дополнения к исходному коду Программы, которые Участник
|
||||||
|
желает включить в состав Программы для дальнейшего использования и распространения
|
||||||
|
Автором и для этого направляет их Автору. \
|
||||||
|
1.3. Участник – физическое или юридическое лицо, вносящее Доработки в код Программы. \
|
||||||
|
1.4. ГК РФ – Гражданский кодекс Российской Федерации.
|
||||||
|
|
||||||
|
2. Предмет оферты \
|
||||||
|
2.1. Предметом настоящей оферты являются Доработки, отправляемые Участником Автору. \
|
||||||
|
2.2. Участник предоставляет Автору право использовать Доработки по собственному усмотрению
|
||||||
|
и без необходимости предварительного согласования с Участником или иным третьим лицом
|
||||||
|
на условиях простой (неисключительной) безвозмездной безотзывной лицензии, полностью
|
||||||
|
или фрагментарно, в составе Программы или других программ, продуктов или сервисов
|
||||||
|
как с открытым, так и с закрытым исходным кодом, любыми способами, не противоречащими
|
||||||
|
закону, включая, но не ограничиваясь следующими: \
|
||||||
|
2.2.1. Запускать и использовать Доработки для выполнения любых задач; \
|
||||||
|
2.2.2. Распространять, импортировать и доводить Доработки до всеобщего сведения; \
|
||||||
|
2.2.3. Вносить в Доработки изменения, сокращения и дополнения, снабжать Доработки
|
||||||
|
при их использовании комментариями, иллюстрациями или пояснениями; \
|
||||||
|
2.2.4. Создавать на основе Доработок иные результаты интеллектуальной деятельности,
|
||||||
|
в том числе производные и составные произведения; \
|
||||||
|
2.2.5. Переводить Доработки на другие языки, в том числе на другие языки программирования; \
|
||||||
|
2.2.6. Осуществлять прокат и публичный показ Доработок; \
|
||||||
|
2.2.7. Использовать Доработки под любым фирменным наименованием, товарным знаком
|
||||||
|
(знаком обслуживания) или иным обозначением, или без такового. \
|
||||||
|
2.3. Участник предоставляет Автору право сублицензировать полученные права на Доработки
|
||||||
|
третьим лицам на любых условиях на усмотрение Автора. \
|
||||||
|
2.4. Участник предоставляет Автору права на Доработки на территории всего мира. \
|
||||||
|
2.5. Участник предоставляет Автору права на весь срок действия исключительного права
|
||||||
|
Участника на Доработки. \
|
||||||
|
2.6. Участник предоставляет Автору права на Доработки на безвозмездной основе. \
|
||||||
|
2.7. Участник разрешает Автору самостоятельно определять порядок, способ и
|
||||||
|
место указания его имени, реквизитов и/или псевдонима при включении
|
||||||
|
Доработок в состав Программы или других программ, продуктов или сервисов.
|
||||||
|
|
||||||
|
3. Акцепт Оферты \
|
||||||
|
3.1. Участник может передавать Доработки в адрес Автора через зеркала официального
|
||||||
|
Репозитория Программы по адресам https://git.yourcmc.ru/vitalif/vitastor/ или
|
||||||
|
https://github.com/vitalif/vitastor/ в виде “запроса на слияние” (pull request),
|
||||||
|
либо в письменном виде или с помощью любых других электронных средств коммуникации,
|
||||||
|
например, электронной почты или мессенджеров. \
|
||||||
|
3.2. Факт передачи Участником Доработок в адрес Автора любым способом с одной из пометок
|
||||||
|
“I accept Vitastor CLA agreement: https://git.yourcmc.ru/vitalif/vitastor/src/branch/master/CLA-en.md”
|
||||||
|
или “Я принимаю соглашение Vitastor CLA: https://git.yourcmc.ru/vitalif/vitastor/src/branch/master/CLA-ru.md”
|
||||||
|
является полным и безоговорочным акцептом (принятием) Участником условий настоящей
|
||||||
|
Оферты, т.е. Участник считается ознакомившимся с настоящим публичным договором и
|
||||||
|
в соответствии с ГК РФ признается лицом, вступившим с Автором в договорные отношения
|
||||||
|
на основании настоящей Оферты. \
|
||||||
|
3.3. Датой акцептирования настоящей Оферты считается дата такой передачи.
|
||||||
|
|
||||||
|
4. Права и обязанности Сторон \
|
||||||
|
4.1. Участник сохраняет за собой право использовать Доработки любым законным
|
||||||
|
способом, не противоречащим настоящему Договору. \
|
||||||
|
4.2. Автор вправе отказать Участнику во включении Доработок в состав
|
||||||
|
Программы без объяснения причин в любой момент по своему усмотрению.
|
||||||
|
|
||||||
|
5. Гарантии и заверения \
|
||||||
|
5.1. Лицо, направляющее Доработки для целей их включения в состав Программы,
|
||||||
|
гарантирует, что является Участником или представителем Участника. Имя или реквизиты
|
||||||
|
Участника должны быть указаны при их передаче в адрес Автора Программы. \
|
||||||
|
5.2. Участник гарантирует, что является законным обладателем исключительных прав
|
||||||
|
на Доработки. \
|
||||||
|
5.3. Участник гарантирует, что на момент акцептирования настоящей Оферты ему
|
||||||
|
ничего не известно (и не могло быть известно) о правах третьих лиц на
|
||||||
|
передаваемые Автору Доработки или их часть, которые могут быть нарушены
|
||||||
|
в связи с передачей Доработок по настоящему Договору. \
|
||||||
|
5.4. Участник гарантирует, что является дееспособным лицом и обладает всеми
|
||||||
|
необходимыми правами для заключения Договора. \
|
||||||
|
5.5. Участник гарантирует, что Доработки не содержат вредоносного ПО, а также
|
||||||
|
любой другой информации, запрещённой к распространению по законам Российской
|
||||||
|
Федерации.
|
||||||
|
|
||||||
|
6. Прекращение действия оферты \
|
||||||
|
6.1. Действие настоящего договора может быть прекращено по соглашению сторон,
|
||||||
|
оформленному в письменном виде, а также вследствие его расторжения по основаниям,
|
||||||
|
предусмотренным законом.
|
||||||
|
|
||||||
|
7. Заключительные положения \
|
||||||
|
7.1. Участник вправе по желанию подписать настоящий Договор в письменном виде. \
|
||||||
|
7.2. Настоящий договор действует с момента его заключения и до истечения срока
|
||||||
|
действия исключительных прав Участника на Доработки. \
|
||||||
|
7.3. Автор имеет право в одностороннем порядке вносить изменения и дополнения в договор
|
||||||
|
без специального уведомления об этом Участников. Новая редакция документа вступает
|
||||||
|
в силу через 3 (Три) календарных дня со дня опубликования в официальном Репозитории
|
||||||
|
Программы по адресу в сети Интернет
|
||||||
|
[https://git.yourcmc.ru/vitalif/vitastor/src/branch/master/CLA-ru.md](https://git.yourcmc.ru/vitalif/vitastor/src/branch/master/CLA-ru.md).
|
||||||
|
Участники самостоятельно отслеживают действующие условия Оферты. \
|
||||||
|
7.4. Все споры, возникающие между сторонами в процессе их взаимодействия по настоящему
|
||||||
|
договору, решаются путём переговоров. В случае невозможности урегулирования споров
|
||||||
|
переговорным порядком стороны разрешают их в Арбитражном суде г.Москвы.
|
|
@ -2,6 +2,6 @@ cmake_minimum_required(VERSION 2.8.12)
|
||||||
|
|
||||||
project(vitastor)
|
project(vitastor)
|
||||||
|
|
||||||
set(VERSION "1.2.0")
|
set(VITASTOR_VERSION "1.9.0")
|
||||||
|
|
||||||
add_subdirectory(src)
|
add_subdirectory(src)
|
||||||
|
|
11
README-ru.md
11
README-ru.md
|
@ -6,8 +6,8 @@
|
||||||
|
|
||||||
Вернём былую скорость кластерному блочному хранилищу!
|
Вернём былую скорость кластерному блочному хранилищу!
|
||||||
|
|
||||||
Vitastor - распределённая блочная SDS (программная СХД), прямой аналог Ceph RBD и
|
Vitastor - распределённая блочная и файловая SDS (программная СХД), прямой аналог Ceph RBD и CephFS,
|
||||||
внутренних СХД популярных облачных провайдеров. Однако, в отличие от них, Vitastor
|
а также внутренних СХД популярных облачных провайдеров. Однако, в отличие от них, Vitastor
|
||||||
быстрый и при этом простой. Только пока маленький :-).
|
быстрый и при этом простой. Только пока маленький :-).
|
||||||
|
|
||||||
Vitastor архитектурно похож на Ceph, что означает атомарность и строгую консистентность,
|
Vitastor архитектурно похож на Ceph, что означает атомарность и строгую консистентность,
|
||||||
|
@ -19,7 +19,7 @@ Vitastor нацелен в первую очередь на SSD и SSD+HDD кл
|
||||||
TCP и RDMA и на хорошем железе может достигать задержки 4 КБ чтения и записи на уровне ~0.1 мс,
|
TCP и RDMA и на хорошем железе может достигать задержки 4 КБ чтения и записи на уровне ~0.1 мс,
|
||||||
что примерно в 10 раз быстрее, чем Ceph и другие популярные программные СХД.
|
что примерно в 10 раз быстрее, чем Ceph и другие популярные программные СХД.
|
||||||
|
|
||||||
Vitastor поддерживает QEMU-драйвер, протоколы NBD и NFS, драйверы OpenStack, Proxmox, Kubernetes.
|
Vitastor поддерживает QEMU-драйвер, протоколы NBD и NFS, драйверы OpenStack, OpenNebula, Proxmox, Kubernetes.
|
||||||
Другие драйверы могут также быть легко реализованы.
|
Другие драйверы могут также быть легко реализованы.
|
||||||
|
|
||||||
Подробности смотрите в документации по ссылкам ниже.
|
Подробности смотрите в документации по ссылкам ниже.
|
||||||
|
@ -42,6 +42,7 @@ Vitastor поддерживает QEMU-драйвер, протоколы NBD и
|
||||||
- Установка
|
- Установка
|
||||||
- [Пакеты](docs/installation/packages.ru.md)
|
- [Пакеты](docs/installation/packages.ru.md)
|
||||||
- [Proxmox](docs/installation/proxmox.ru.md)
|
- [Proxmox](docs/installation/proxmox.ru.md)
|
||||||
|
- [OpenNebula](docs/installation/opennebula.ru.md)
|
||||||
- [OpenStack](docs/installation/openstack.ru.md)
|
- [OpenStack](docs/installation/openstack.ru.md)
|
||||||
- [Kubernetes CSI](docs/installation/kubernetes.ru.md)
|
- [Kubernetes CSI](docs/installation/kubernetes.ru.md)
|
||||||
- [Сборка из исходных кодов](docs/installation/source.ru.md)
|
- [Сборка из исходных кодов](docs/installation/source.ru.md)
|
||||||
|
@ -63,11 +64,13 @@ Vitastor поддерживает QEMU-драйвер, протоколы NBD и
|
||||||
- [fio](docs/usage/fio.ru.md) для тестов производительности
|
- [fio](docs/usage/fio.ru.md) для тестов производительности
|
||||||
- [NBD](docs/usage/nbd.ru.md) для монтирования ядром
|
- [NBD](docs/usage/nbd.ru.md) для монтирования ядром
|
||||||
- [QEMU и qemu-img](docs/usage/qemu.ru.md)
|
- [QEMU и qemu-img](docs/usage/qemu.ru.md)
|
||||||
- [NFS](docs/usage/nfs.ru.md)-прокси для VMWare и подобных
|
- [NFS](docs/usage/nfs.ru.md) кластерная файловая система и псевдо-ФС прокси
|
||||||
|
- [Администрирование](docs/usage/admin.ru.md)
|
||||||
- Производительность
|
- Производительность
|
||||||
- [Понимание сути производительности](docs/performance/understanding.ru.md)
|
- [Понимание сути производительности](docs/performance/understanding.ru.md)
|
||||||
- [Теоретический максимум](docs/performance/theoretical.ru.md)
|
- [Теоретический максимум](docs/performance/theoretical.ru.md)
|
||||||
- [Пример сравнения с Ceph](docs/performance/comparison1.ru.md)
|
- [Пример сравнения с Ceph](docs/performance/comparison1.ru.md)
|
||||||
|
- [Более новый тест Vitastor 1.3.1](docs/performance/bench2.ru.md)
|
||||||
|
|
||||||
## Автор и лицензия
|
## Автор и лицензия
|
||||||
|
|
||||||
|
|
13
README.md
13
README.md
|
@ -6,9 +6,9 @@
|
||||||
|
|
||||||
Make Clustered Block Storage Fast Again.
|
Make Clustered Block Storage Fast Again.
|
||||||
|
|
||||||
Vitastor is a distributed block SDS, direct replacement of Ceph RBD and internal SDS's
|
Vitastor is a distributed block and file SDS, direct replacement of Ceph RBD and CephFS,
|
||||||
of public clouds. However, in contrast to them, Vitastor is fast and simple at the same time.
|
and also internal SDS's of public clouds. However, in contrast to them, Vitastor is fast
|
||||||
The only thing is it's slightly young :-).
|
and simple at the same time. The only thing is it's slightly young :-).
|
||||||
|
|
||||||
Vitastor is architecturally similar to Ceph which means strong consistency,
|
Vitastor is architecturally similar to Ceph which means strong consistency,
|
||||||
primary-replication, symmetric clustering and automatic data distribution over any
|
primary-replication, symmetric clustering and automatic data distribution over any
|
||||||
|
@ -19,7 +19,7 @@ supports TCP and RDMA and may achieve 4 KB read and write latency as low as ~0.1
|
||||||
with proper hardware which is ~10 times faster than other popular SDS's like Ceph
|
with proper hardware which is ~10 times faster than other popular SDS's like Ceph
|
||||||
or internal systems of public clouds.
|
or internal systems of public clouds.
|
||||||
|
|
||||||
Vitastor supports QEMU, NBD, NFS protocols, OpenStack, Proxmox, Kubernetes drivers.
|
Vitastor supports QEMU, NBD, NFS protocols, OpenStack, OpenNebula, Proxmox, Kubernetes drivers.
|
||||||
More drivers may be created easily.
|
More drivers may be created easily.
|
||||||
|
|
||||||
Read more details below in the documentation.
|
Read more details below in the documentation.
|
||||||
|
@ -42,6 +42,7 @@ Read more details below in the documentation.
|
||||||
- Installation
|
- Installation
|
||||||
- [Packages](docs/installation/packages.en.md)
|
- [Packages](docs/installation/packages.en.md)
|
||||||
- [Proxmox](docs/installation/proxmox.en.md)
|
- [Proxmox](docs/installation/proxmox.en.md)
|
||||||
|
- [OpenNebula](docs/installation/opennebula.en.md)
|
||||||
- [OpenStack](docs/installation/openstack.en.md)
|
- [OpenStack](docs/installation/openstack.en.md)
|
||||||
- [Kubernetes CSI](docs/installation/kubernetes.en.md)
|
- [Kubernetes CSI](docs/installation/kubernetes.en.md)
|
||||||
- [Building from Source](docs/installation/source.en.md)
|
- [Building from Source](docs/installation/source.en.md)
|
||||||
|
@ -63,11 +64,13 @@ Read more details below in the documentation.
|
||||||
- [fio](docs/usage/fio.en.md) for benchmarks
|
- [fio](docs/usage/fio.en.md) for benchmarks
|
||||||
- [NBD](docs/usage/nbd.en.md) for kernel mounts
|
- [NBD](docs/usage/nbd.en.md) for kernel mounts
|
||||||
- [QEMU and qemu-img](docs/usage/qemu.en.md)
|
- [QEMU and qemu-img](docs/usage/qemu.en.md)
|
||||||
- [NFS](docs/usage/nfs.en.md) emulator for VMWare and similar
|
- [NFS](docs/usage/nfs.en.md) clustered file system and pseudo-FS proxy
|
||||||
|
- [Administration](docs/usage/admin.en.md)
|
||||||
- Performance
|
- Performance
|
||||||
- [Understanding storage performance](docs/performance/understanding.en.md)
|
- [Understanding storage performance](docs/performance/understanding.en.md)
|
||||||
- [Theoretical performance](docs/performance/theoretical.en.md)
|
- [Theoretical performance](docs/performance/theoretical.en.md)
|
||||||
- [Example comparison with Ceph](docs/performance/comparison1.en.md)
|
- [Example comparison with Ceph](docs/performance/comparison1.en.md)
|
||||||
|
- [Newer benchmark of Vitastor 1.3.1](docs/performance/bench2.en.md)
|
||||||
|
|
||||||
## Author and License
|
## Author and License
|
||||||
|
|
||||||
|
|
|
@ -1,6 +1,6 @@
|
||||||
#!/bin/bash
|
#!/bin/bash
|
||||||
|
|
||||||
gcc -I. -E -o fio_headers.i src/fio_headers.h
|
gcc -I. -E -o fio_headers.i src/util/fio_headers.h
|
||||||
|
|
||||||
rm -rf fio-copy
|
rm -rf fio-copy
|
||||||
for i in `grep -Po 'fio/[^"]+' fio_headers.i | sort | uniq`; do
|
for i in `grep -Po 'fio/[^"]+' fio_headers.i | sort | uniq`; do
|
||||||
|
|
|
@ -5,7 +5,7 @@
|
||||||
#cd b/qemu; make qapi
|
#cd b/qemu; make qapi
|
||||||
|
|
||||||
gcc -I qemu/b/qemu `pkg-config glib-2.0 --cflags` \
|
gcc -I qemu/b/qemu `pkg-config glib-2.0 --cflags` \
|
||||||
-I qemu/include -E -o qemu_driver.i src/qemu_driver.c
|
-I qemu/include -E -o qemu_driver.i src/client/qemu_driver.c
|
||||||
|
|
||||||
rm -rf qemu-copy
|
rm -rf qemu-copy
|
||||||
for i in `grep -Po 'qemu/[^"]+' qemu_driver.i | sort | uniq`; do
|
for i in `grep -Po 'qemu/[^"]+' qemu_driver.i | sort | uniq`; do
|
||||||
|
|
|
@ -1 +1 @@
|
||||||
Subproject commit 45e6d1f13196a0824e2089a586c53b9de0283f17
|
Subproject commit 8de8b467acbca50cfd8835c20e0e379110f3b32b
|
|
@ -1,14 +1,15 @@
|
||||||
# Compile stage
|
# Compile stage
|
||||||
FROM golang:buster AS build
|
FROM golang:bookworm AS build
|
||||||
|
|
||||||
ADD go.sum go.mod /app/
|
ADD go.sum go.mod /app/
|
||||||
RUN cd /app; CGO_ENABLED=1 GOOS=linux GOARCH=amd64 go mod download -x
|
RUN cd /app; CGO_ENABLED=1 GOOS=linux GOARCH=amd64 go mod download -x
|
||||||
ADD . /app
|
ADD . /app
|
||||||
RUN perl -i -e '$/ = undef; while(<>) { s/\n\s*(\{\s*\n)/$1\n/g; s/\}(\s*\n\s*)else\b/$1} else/g; print; }' `find /app -name '*.go'`
|
RUN perl -i -e '$/ = undef; while(<>) { s/\n\s*(\{\s*\n)/$1\n/g; s/\}(\s*\n\s*)else\b/$1} else/g; print; }' `find /app -name '*.go'` && \
|
||||||
RUN cd /app; CGO_ENABLED=1 GOOS=linux GOARCH=amd64 go build -o vitastor-csi
|
cd /app && \
|
||||||
|
CGO_ENABLED=1 GOOS=linux GOARCH=amd64 go build -o vitastor-csi
|
||||||
|
|
||||||
# Final stage
|
# Final stage
|
||||||
FROM debian:buster
|
FROM debian:bookworm
|
||||||
|
|
||||||
LABEL maintainers="Vitaliy Filippov <vitalif@yourcmc.ru>"
|
LABEL maintainers="Vitaliy Filippov <vitalif@yourcmc.ru>"
|
||||||
LABEL description="Vitastor CSI Driver"
|
LABEL description="Vitastor CSI Driver"
|
||||||
|
@ -18,19 +19,30 @@ ENV CSI_ENDPOINT=""
|
||||||
|
|
||||||
RUN apt-get update && \
|
RUN apt-get update && \
|
||||||
apt-get install -y wget && \
|
apt-get install -y wget && \
|
||||||
(echo deb http://deb.debian.org/debian buster-backports main > /etc/apt/sources.list.d/backports.list) && \
|
|
||||||
(echo "APT::Install-Recommends false;" > /etc/apt/apt.conf) && \
|
(echo "APT::Install-Recommends false;" > /etc/apt/apt.conf) && \
|
||||||
apt-get update && \
|
apt-get update && \
|
||||||
apt-get install -y e2fsprogs xfsprogs kmod && \
|
apt-get install -y e2fsprogs xfsprogs kmod iproute2 \
|
||||||
|
# dependencies of qemu-storage-daemon
|
||||||
|
libnuma1 liburing2 libglib2.0-0 libfuse3-3 libaio1 libzstd1 libnettle8 \
|
||||||
|
libgmp10 libhogweed6 libp11-kit0 libidn2-0 libunistring2 libtasn1-6 libpcre2-8-0 libffi8 && \
|
||||||
apt-get clean && \
|
apt-get clean && \
|
||||||
(echo options nbd nbds_max=128 > /etc/modprobe.d/nbd.conf)
|
(echo options nbd nbds_max=128 > /etc/modprobe.d/nbd.conf)
|
||||||
|
|
||||||
COPY --from=build /app/vitastor-csi /bin/
|
COPY --from=build /app/vitastor-csi /bin/
|
||||||
|
|
||||||
RUN (echo deb http://vitastor.io/debian buster main > /etc/apt/sources.list.d/vitastor.list) && \
|
RUN (echo deb http://vitastor.io/debian bookworm main > /etc/apt/sources.list.d/vitastor.list) && \
|
||||||
|
((echo 'Package: *'; echo 'Pin: origin "vitastor.io"'; echo 'Pin-Priority: 1000') > /etc/apt/preferences.d/vitastor.pref) && \
|
||||||
wget -q -O /etc/apt/trusted.gpg.d/vitastor.gpg https://vitastor.io/debian/pubkey.gpg && \
|
wget -q -O /etc/apt/trusted.gpg.d/vitastor.gpg https://vitastor.io/debian/pubkey.gpg && \
|
||||||
apt-get update && \
|
apt-get update && \
|
||||||
apt-get install -y vitastor-client && \
|
apt-get install -y vitastor-client && \
|
||||||
|
wget https://vitastor.io/archive/qemu/qemu-bookworm-8.1.2%2Bds-1%2Bvitastor1/qemu-utils_8.1.2%2Bds-1%2Bvitastor1_amd64.deb && \
|
||||||
|
wget https://vitastor.io/archive/qemu/qemu-bookworm-8.1.2%2Bds-1%2Bvitastor1/qemu-block-extra_8.1.2%2Bds-1%2Bvitastor1_amd64.deb && \
|
||||||
|
dpkg -x qemu-utils*.deb tmp1 && \
|
||||||
|
dpkg -x qemu-block-extra*.deb tmp1 && \
|
||||||
|
cp -a tmp1/usr/bin/qemu-storage-daemon /usr/bin/ && \
|
||||||
|
mkdir -p /usr/lib/x86_64-linux-gnu/qemu && \
|
||||||
|
cp -a tmp1/usr/lib/x86_64-linux-gnu/qemu/block-vitastor.so /usr/lib/x86_64-linux-gnu/qemu/ && \
|
||||||
|
rm -rf tmp1 *.deb && \
|
||||||
apt-get clean
|
apt-get clean
|
||||||
|
|
||||||
ENTRYPOINT ["/bin/vitastor-csi"]
|
ENTRYPOINT ["/bin/vitastor-csi"]
|
||||||
|
|
|
@ -1,9 +1,9 @@
|
||||||
VERSION ?= v1.2.0
|
VITASTOR_VERSION ?= v1.9.0
|
||||||
|
|
||||||
all: build push
|
all: build push
|
||||||
|
|
||||||
build:
|
build:
|
||||||
@docker build --rm -t vitalif/vitastor-csi:$(VERSION) .
|
@docker build --rm -t vitalif/vitastor-csi:$(VITASTOR_VERSION) .
|
||||||
|
|
||||||
push:
|
push:
|
||||||
@docker push vitalif/vitastor-csi:$(VERSION)
|
@docker push vitalif/vitastor-csi:$(VITASTOR_VERSION)
|
||||||
|
|
|
@ -2,6 +2,7 @@
|
||||||
apiVersion: v1
|
apiVersion: v1
|
||||||
kind: ConfigMap
|
kind: ConfigMap
|
||||||
data:
|
data:
|
||||||
|
# You can add multiple configuration files here to use a multi-cluster setup
|
||||||
vitastor.conf: |-
|
vitastor.conf: |-
|
||||||
{"etcd_address":"http://192.168.7.2:2379","etcd_prefix":"/vitastor"}
|
{"etcd_address":"http://192.168.7.2:2379","etcd_prefix":"/vitastor"}
|
||||||
metadata:
|
metadata:
|
||||||
|
|
|
@ -49,7 +49,7 @@ spec:
|
||||||
capabilities:
|
capabilities:
|
||||||
add: ["SYS_ADMIN"]
|
add: ["SYS_ADMIN"]
|
||||||
allowPrivilegeEscalation: true
|
allowPrivilegeEscalation: true
|
||||||
image: vitalif/vitastor-csi:v1.2.0
|
image: vitalif/vitastor-csi:v1.9.0
|
||||||
args:
|
args:
|
||||||
- "--node=$(NODE_ID)"
|
- "--node=$(NODE_ID)"
|
||||||
- "--endpoint=$(CSI_ENDPOINT)"
|
- "--endpoint=$(CSI_ENDPOINT)"
|
||||||
|
@ -82,6 +82,8 @@ spec:
|
||||||
name: host-sys
|
name: host-sys
|
||||||
- mountPath: /run/mount
|
- mountPath: /run/mount
|
||||||
name: host-mount
|
name: host-mount
|
||||||
|
- mountPath: /run/vitastor-csi
|
||||||
|
name: run-vitastor-csi
|
||||||
- mountPath: /lib/modules
|
- mountPath: /lib/modules
|
||||||
name: lib-modules
|
name: lib-modules
|
||||||
readOnly: true
|
readOnly: true
|
||||||
|
@ -132,6 +134,9 @@ spec:
|
||||||
- name: host-mount
|
- name: host-mount
|
||||||
hostPath:
|
hostPath:
|
||||||
path: /run/mount
|
path: /run/mount
|
||||||
|
- name: run-vitastor-csi
|
||||||
|
hostPath:
|
||||||
|
path: /run/vitastor-csi
|
||||||
- name: lib-modules
|
- name: lib-modules
|
||||||
hostPath:
|
hostPath:
|
||||||
path: /lib/modules
|
path: /lib/modules
|
||||||
|
|
|
@ -121,7 +121,7 @@ spec:
|
||||||
privileged: true
|
privileged: true
|
||||||
capabilities:
|
capabilities:
|
||||||
add: ["SYS_ADMIN"]
|
add: ["SYS_ADMIN"]
|
||||||
image: vitalif/vitastor-csi:v1.2.0
|
image: vitalif/vitastor-csi:v1.9.0
|
||||||
args:
|
args:
|
||||||
- "--node=$(NODE_ID)"
|
- "--node=$(NODE_ID)"
|
||||||
- "--endpoint=$(CSI_ENDPOINT)"
|
- "--endpoint=$(CSI_ENDPOINT)"
|
||||||
|
|
|
@ -12,9 +12,6 @@ parameters:
|
||||||
etcdVolumePrefix: ""
|
etcdVolumePrefix: ""
|
||||||
poolId: "1"
|
poolId: "1"
|
||||||
# you can choose other configuration file if you have it in the config map
|
# you can choose other configuration file if you have it in the config map
|
||||||
|
# different etcd URLs and prefixes should also be put in the config
|
||||||
#configPath: "/etc/vitastor/vitastor.conf"
|
#configPath: "/etc/vitastor/vitastor.conf"
|
||||||
# you can also specify etcdUrl here, maybe to connect to another Vitastor cluster
|
|
||||||
# multiple etcdUrls may be specified, delimited by comma
|
|
||||||
#etcdUrl: "http://192.168.7.2:2379"
|
|
||||||
#etcdPrefix: "/vitastor"
|
|
||||||
allowVolumeExpansion: true
|
allowVolumeExpansion: true
|
||||||
|
|
|
@ -5,7 +5,7 @@ package vitastor
|
||||||
|
|
||||||
const (
|
const (
|
||||||
vitastorCSIDriverName = "csi.vitastor.io"
|
vitastorCSIDriverName = "csi.vitastor.io"
|
||||||
vitastorCSIDriverVersion = "1.2.0"
|
vitastorCSIDriverVersion = "1.9.0"
|
||||||
)
|
)
|
||||||
|
|
||||||
// Config struct fills the parameters of request or user input
|
// Config struct fills the parameters of request or user input
|
||||||
|
|
|
@ -62,7 +62,7 @@ func NewControllerServer(driver *Driver) *ControllerServer
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
func GetConnectionParams(params map[string]string) (map[string]string, []string, string)
|
func GetConnectionParams(params map[string]string) (map[string]string, error)
|
||||||
{
|
{
|
||||||
ctxVars := make(map[string]string)
|
ctxVars := make(map[string]string)
|
||||||
configPath := params["configPath"]
|
configPath := params["configPath"]
|
||||||
|
@ -75,71 +75,69 @@ func GetConnectionParams(params map[string]string) (map[string]string, []string,
|
||||||
ctxVars["configPath"] = configPath
|
ctxVars["configPath"] = configPath
|
||||||
}
|
}
|
||||||
config := make(map[string]interface{})
|
config := make(map[string]interface{})
|
||||||
if configFD, err := os.Open(configPath); err == nil
|
configFD, err := os.Open(configPath)
|
||||||
|
if (err != nil)
|
||||||
{
|
{
|
||||||
defer configFD.Close()
|
return nil, err
|
||||||
data, _ := ioutil.ReadAll(configFD)
|
|
||||||
json.Unmarshal(data, &config)
|
|
||||||
}
|
}
|
||||||
// Try to load prefix & etcd URL from the config
|
defer configFD.Close()
|
||||||
|
data, _ := ioutil.ReadAll(configFD)
|
||||||
|
json.Unmarshal(data, &config)
|
||||||
|
// Check etcd URL in the config, but do not use the explicit etcdUrl
|
||||||
|
// parameter for CLI calls, otherwise users won't be able to later
|
||||||
|
// change them - storage class parameters are saved in volume IDs
|
||||||
var etcdUrl []string
|
var etcdUrl []string
|
||||||
if (params["etcdUrl"] != "")
|
switch config["etcd_address"].(type)
|
||||||
{
|
{
|
||||||
ctxVars["etcdUrl"] = params["etcdUrl"]
|
case string:
|
||||||
etcdUrl = strings.Split(params["etcdUrl"], ",")
|
url := strings.TrimSpace(config["etcd_address"].(string))
|
||||||
|
if (url != "")
|
||||||
|
{
|
||||||
|
etcdUrl = strings.Split(url, ",")
|
||||||
|
}
|
||||||
|
case []string:
|
||||||
|
etcdUrl = config["etcd_address"].([]string)
|
||||||
|
case []interface{}:
|
||||||
|
for _, url := range config["etcd_address"].([]interface{})
|
||||||
|
{
|
||||||
|
s, ok := url.(string)
|
||||||
|
if (ok)
|
||||||
|
{
|
||||||
|
etcdUrl = append(etcdUrl, s)
|
||||||
|
}
|
||||||
|
}
|
||||||
}
|
}
|
||||||
if (len(etcdUrl) == 0)
|
if (len(etcdUrl) == 0)
|
||||||
{
|
{
|
||||||
switch config["etcd_address"].(type)
|
return nil, status.Error(codes.InvalidArgument, "etcd_address is missing in "+configPath)
|
||||||
{
|
|
||||||
case string:
|
|
||||||
etcdUrl = strings.Split(config["etcd_address"].(string), ",")
|
|
||||||
case []string:
|
|
||||||
etcdUrl = config["etcd_address"].([]string)
|
|
||||||
}
|
|
||||||
}
|
}
|
||||||
etcdPrefix := params["etcdPrefix"]
|
return ctxVars, nil
|
||||||
if (etcdPrefix == "")
|
}
|
||||||
|
|
||||||
|
func system(program string, args ...string) ([]byte, []byte, error)
|
||||||
|
{
|
||||||
|
klog.Infof("Running "+program+" "+strings.Join(args, " "))
|
||||||
|
c := exec.Command(program, args...)
|
||||||
|
var stdout, stderr bytes.Buffer
|
||||||
|
c.Stdout, c.Stderr = &stdout, &stderr
|
||||||
|
err := c.Run()
|
||||||
|
if (err != nil)
|
||||||
{
|
{
|
||||||
etcdPrefix, _ = config["etcd_prefix"].(string)
|
stdoutStr, stderrStr := string(stdout.Bytes()), string(stderr.Bytes())
|
||||||
if (etcdPrefix == "")
|
klog.Errorf(program+" "+strings.Join(args, " ")+" failed: %s, status %s\n", stdoutStr+stderrStr, err)
|
||||||
{
|
return nil, nil, status.Error(codes.Internal, stdoutStr+stderrStr+" (status "+err.Error()+")")
|
||||||
etcdPrefix = "/vitastor"
|
|
||||||
}
|
|
||||||
}
|
}
|
||||||
else
|
return stdout.Bytes(), stderr.Bytes(), nil
|
||||||
{
|
|
||||||
ctxVars["etcdPrefix"] = etcdPrefix
|
|
||||||
}
|
|
||||||
return ctxVars, etcdUrl, etcdPrefix
|
|
||||||
}
|
}
|
||||||
|
|
||||||
func invokeCLI(ctxVars map[string]string, args []string) ([]byte, error)
|
func invokeCLI(ctxVars map[string]string, args []string) ([]byte, error)
|
||||||
{
|
{
|
||||||
if (ctxVars["etcdUrl"] != "")
|
|
||||||
{
|
|
||||||
args = append(args, "--etcd_address", ctxVars["etcdUrl"])
|
|
||||||
}
|
|
||||||
if (ctxVars["etcdPrefix"] != "")
|
|
||||||
{
|
|
||||||
args = append(args, "--etcd_prefix", ctxVars["etcdPrefix"])
|
|
||||||
}
|
|
||||||
if (ctxVars["configPath"] != "")
|
if (ctxVars["configPath"] != "")
|
||||||
{
|
{
|
||||||
args = append(args, "--config_path", ctxVars["configPath"])
|
args = append(args, "--config_path", ctxVars["configPath"])
|
||||||
}
|
}
|
||||||
c := exec.Command("/usr/bin/vitastor-cli", args...)
|
stdout, _, err := system("/usr/bin/vitastor-cli", args...)
|
||||||
var stdout, stderr bytes.Buffer
|
return stdout, err
|
||||||
c.Stdout = &stdout
|
|
||||||
c.Stderr = &stderr
|
|
||||||
err := c.Run()
|
|
||||||
stderrStr := string(stderr.Bytes())
|
|
||||||
if (err != nil)
|
|
||||||
{
|
|
||||||
klog.Errorf("vitastor-cli %s failed: %s, status %s\n", strings.Join(args, " "), stderrStr, err)
|
|
||||||
return nil, status.Error(codes.Internal, stderrStr+" (status "+err.Error()+")")
|
|
||||||
}
|
|
||||||
return stdout.Bytes(), nil
|
|
||||||
}
|
}
|
||||||
|
|
||||||
// Create the volume
|
// Create the volume
|
||||||
|
@ -174,10 +172,10 @@ func (cs *ControllerServer) CreateVolume(ctx context.Context, req *csi.CreateVol
|
||||||
volSize = ((capRange.GetRequiredBytes() + MB - 1) / MB) * MB
|
volSize = ((capRange.GetRequiredBytes() + MB - 1) / MB) * MB
|
||||||
}
|
}
|
||||||
|
|
||||||
ctxVars, etcdUrl, _ := GetConnectionParams(req.Parameters)
|
ctxVars, err := GetConnectionParams(req.Parameters)
|
||||||
if (len(etcdUrl) == 0)
|
if (err != nil)
|
||||||
{
|
{
|
||||||
return nil, status.Error(codes.InvalidArgument, "no etcdUrl in storage class configuration and no etcd_address in vitastor.conf")
|
return nil, err
|
||||||
}
|
}
|
||||||
|
|
||||||
args := []string{ "create", volName, "-s", fmt.Sprintf("%v", volSize), "--pool", fmt.Sprintf("%v", poolId) }
|
args := []string{ "create", volName, "-s", fmt.Sprintf("%v", volSize), "--pool", fmt.Sprintf("%v", poolId) }
|
||||||
|
@ -207,7 +205,7 @@ func (cs *ControllerServer) CreateVolume(ctx context.Context, req *csi.CreateVol
|
||||||
}
|
}
|
||||||
|
|
||||||
// Create image using vitastor-cli
|
// Create image using vitastor-cli
|
||||||
_, err := invokeCLI(ctxVars, args)
|
_, err = invokeCLI(ctxVars, args)
|
||||||
if (err != nil)
|
if (err != nil)
|
||||||
{
|
{
|
||||||
if (strings.Index(err.Error(), "already exists") > 0)
|
if (strings.Index(err.Error(), "already exists") > 0)
|
||||||
|
@ -257,7 +255,11 @@ func (cs *ControllerServer) DeleteVolume(ctx context.Context, req *csi.DeleteVol
|
||||||
}
|
}
|
||||||
volName := volVars["name"]
|
volName := volVars["name"]
|
||||||
|
|
||||||
ctxVars, _, _ := GetConnectionParams(volVars)
|
ctxVars, err := GetConnectionParams(volVars)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
|
||||||
_, err = invokeCLI(ctxVars, []string{ "rm", volName })
|
_, err = invokeCLI(ctxVars, []string{ "rm", volName })
|
||||||
if (err != nil)
|
if (err != nil)
|
||||||
|
@ -469,7 +471,11 @@ func (cs *ControllerServer) DeleteSnapshot(ctx context.Context, req *csi.DeleteS
|
||||||
volName := volVars["name"]
|
volName := volVars["name"]
|
||||||
snapName := volVars["snapshot"]
|
snapName := volVars["snapshot"]
|
||||||
|
|
||||||
ctxVars, _, _ := GetConnectionParams(volVars)
|
ctxVars, err := GetConnectionParams(volVars)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
|
||||||
_, err = invokeCLI(ctxVars, []string{ "rm", volName+"@"+snapName })
|
_, err = invokeCLI(ctxVars, []string{ "rm", volName+"@"+snapName })
|
||||||
if (err != nil)
|
if (err != nil)
|
||||||
|
@ -496,7 +502,11 @@ func (cs *ControllerServer) ListSnapshots(ctx context.Context, req *csi.ListSnap
|
||||||
return nil, status.Error(codes.Internal, "volume ID not in JSON format")
|
return nil, status.Error(codes.Internal, "volume ID not in JSON format")
|
||||||
}
|
}
|
||||||
volName := volVars["name"]
|
volName := volVars["name"]
|
||||||
ctxVars, _, _ := GetConnectionParams(volVars)
|
ctxVars, err := GetConnectionParams(volVars)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
|
||||||
inodeCfg, err := invokeList(ctxVars, volName+"@*", false)
|
inodeCfg, err := invokeList(ctxVars, volName+"@*", false)
|
||||||
if (err != nil)
|
if (err != nil)
|
||||||
|
@ -555,7 +565,11 @@ func (cs *ControllerServer) ControllerExpandVolume(ctx context.Context, req *csi
|
||||||
return nil, status.Error(codes.Internal, "volume ID not in JSON format")
|
return nil, status.Error(codes.Internal, "volume ID not in JSON format")
|
||||||
}
|
}
|
||||||
volName := volVars["name"]
|
volName := volVars["name"]
|
||||||
ctxVars, _, _ := GetConnectionParams(volVars)
|
ctxVars, err := GetConnectionParams(volVars)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
|
||||||
inodeCfg, err := invokeList(ctxVars, volName, true)
|
inodeCfg, err := invokeList(ctxVars, volName, true)
|
||||||
if (err != nil)
|
if (err != nil)
|
||||||
|
|
|
@ -5,11 +5,15 @@ package vitastor
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"context"
|
"context"
|
||||||
|
"encoding/json"
|
||||||
|
"fmt"
|
||||||
"os"
|
"os"
|
||||||
"os/exec"
|
"os/exec"
|
||||||
"encoding/json"
|
"path/filepath"
|
||||||
"strings"
|
"strings"
|
||||||
"bytes"
|
"sync"
|
||||||
|
"syscall"
|
||||||
|
"time"
|
||||||
|
|
||||||
"google.golang.org/grpc/codes"
|
"google.golang.org/grpc/codes"
|
||||||
"google.golang.org/grpc/status"
|
"google.golang.org/grpc/status"
|
||||||
|
@ -25,52 +29,205 @@ import (
|
||||||
type NodeServer struct
|
type NodeServer struct
|
||||||
{
|
{
|
||||||
*Driver
|
*Driver
|
||||||
|
useVduse bool
|
||||||
|
stateDir string
|
||||||
mounter mount.Interface
|
mounter mount.Interface
|
||||||
|
restartInterval time.Duration
|
||||||
|
mu sync.Mutex
|
||||||
|
cond *sync.Cond
|
||||||
|
volumeLocks map[string]bool
|
||||||
|
}
|
||||||
|
|
||||||
|
type DeviceState struct
|
||||||
|
{
|
||||||
|
ConfigPath string `json:"configPath"`
|
||||||
|
VdpaId string `json:"vdpaId"`
|
||||||
|
Image string `json:"image"`
|
||||||
|
Blockdev string `json:"blockdev"`
|
||||||
|
Readonly bool `json:"readonly"`
|
||||||
|
PidFile string `json:"pidFile"`
|
||||||
}
|
}
|
||||||
|
|
||||||
// NewNodeServer create new instance node
|
// NewNodeServer create new instance node
|
||||||
func NewNodeServer(driver *Driver) *NodeServer
|
func NewNodeServer(driver *Driver) *NodeServer
|
||||||
{
|
{
|
||||||
return &NodeServer{
|
stateDir := os.Getenv("STATE_DIR")
|
||||||
|
if (stateDir == "")
|
||||||
|
{
|
||||||
|
stateDir = "/run/vitastor-csi"
|
||||||
|
}
|
||||||
|
if (stateDir[len(stateDir)-1] != '/')
|
||||||
|
{
|
||||||
|
stateDir += "/"
|
||||||
|
}
|
||||||
|
ns := &NodeServer{
|
||||||
Driver: driver,
|
Driver: driver,
|
||||||
|
useVduse: checkVduseSupport(),
|
||||||
|
stateDir: stateDir,
|
||||||
mounter: mount.New(""),
|
mounter: mount.New(""),
|
||||||
|
volumeLocks: make(map[string]bool),
|
||||||
|
}
|
||||||
|
ns.cond = sync.NewCond(&ns.mu)
|
||||||
|
if (ns.useVduse)
|
||||||
|
{
|
||||||
|
ns.restoreVduseDaemons()
|
||||||
|
dur, err := time.ParseDuration(os.Getenv("RESTART_INTERVAL"))
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
dur = 10 * time.Second
|
||||||
|
}
|
||||||
|
ns.restartInterval = dur
|
||||||
|
if (ns.restartInterval != time.Duration(0))
|
||||||
|
{
|
||||||
|
go ns.restarter()
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return ns
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ns *NodeServer) lockVolume(lockId string)
|
||||||
|
{
|
||||||
|
ns.mu.Lock()
|
||||||
|
defer ns.mu.Unlock()
|
||||||
|
for (ns.volumeLocks[lockId])
|
||||||
|
{
|
||||||
|
ns.cond.Wait()
|
||||||
|
}
|
||||||
|
ns.volumeLocks[lockId] = true
|
||||||
|
ns.cond.Broadcast()
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ns *NodeServer) unlockVolume(lockId string)
|
||||||
|
{
|
||||||
|
ns.mu.Lock()
|
||||||
|
defer ns.mu.Unlock()
|
||||||
|
delete(ns.volumeLocks, lockId)
|
||||||
|
ns.cond.Broadcast()
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ns *NodeServer) restarter()
|
||||||
|
{
|
||||||
|
// Restart dead VDUSE daemons at regular intervals
|
||||||
|
// Otherwise volume I/O may hang in case of a qemu-storage-daemon crash
|
||||||
|
// Moreover, it may lead to a kernel panic of the kernel is configured to
|
||||||
|
// panic on hung tasks
|
||||||
|
ticker := time.NewTicker(ns.restartInterval)
|
||||||
|
defer ticker.Stop()
|
||||||
|
for
|
||||||
|
{
|
||||||
|
<-ticker.C
|
||||||
|
ns.restoreVduseDaemons()
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ns *NodeServer) restoreVduseDaemons()
|
||||||
|
{
|
||||||
|
pattern := ns.stateDir+"vitastor-vduse-*.json"
|
||||||
|
matches, err := filepath.Glob(pattern)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
klog.Errorf("failed to list %s: %v", pattern, err)
|
||||||
|
}
|
||||||
|
if (len(matches) == 0)
|
||||||
|
{
|
||||||
|
return
|
||||||
|
}
|
||||||
|
devList := make(map[string]interface{})
|
||||||
|
// example output: {"dev":{"test1":{"type":"block","mgmtdev":"vduse","vendor_id":0,"max_vqs":16,"max_vq_size":128}}}
|
||||||
|
devListJSON, _, err := system("/sbin/vdpa", "-j", "dev", "list")
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
return
|
||||||
|
}
|
||||||
|
err = json.Unmarshal(devListJSON, &devList)
|
||||||
|
devs, ok := devList["dev"].(map[string]interface{})
|
||||||
|
if (err != nil || !ok)
|
||||||
|
{
|
||||||
|
klog.Errorf("/sbin/vdpa -j dev list returned bad JSON (error %v): %v", err, string(devListJSON))
|
||||||
|
return
|
||||||
|
}
|
||||||
|
for _, stateFile := range matches
|
||||||
|
{
|
||||||
|
vdpaId := filepath.Base(stateFile)
|
||||||
|
vdpaId = vdpaId[0:len(vdpaId)-5]
|
||||||
|
// Check if VDPA device is still added to the bus
|
||||||
|
if (devs[vdpaId] == nil)
|
||||||
|
{
|
||||||
|
// Unused, clean it up
|
||||||
|
unmapVduseById(ns.stateDir, vdpaId)
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
|
||||||
|
stateJSON, err := os.ReadFile(stateFile)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
klog.Warningf("error reading state file %v: %v", stateFile, err)
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
var state DeviceState
|
||||||
|
err = json.Unmarshal(stateJSON, &state)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
klog.Warningf("state file %v contains invalid JSON (error %v): %v", stateFile, err, string(stateJSON))
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
|
||||||
|
ns.lockVolume(state.ConfigPath+":"+state.Image)
|
||||||
|
|
||||||
|
// Recheck state file after locking
|
||||||
|
_, err = os.ReadFile(stateFile)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
klog.Warningf("state file %v disappeared, skipping volume", stateFile)
|
||||||
|
ns.unlockVolume(state.ConfigPath+":"+state.Image)
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
|
||||||
|
// Check if the storage daemon is still active
|
||||||
|
pidFile := ns.stateDir + vdpaId + ".pid"
|
||||||
|
exists := false
|
||||||
|
proc, err := findByPidFile(pidFile)
|
||||||
|
if (err == nil)
|
||||||
|
{
|
||||||
|
exists = proc.Signal(syscall.Signal(0)) == nil
|
||||||
|
}
|
||||||
|
if (!exists)
|
||||||
|
{
|
||||||
|
// Restart daemon
|
||||||
|
klog.Warningf("restarting storage daemon for volume %v (VDPA ID %v)", state.Image, vdpaId)
|
||||||
|
_ = startStorageDaemon(vdpaId, state.Image, pidFile, state.ConfigPath, state.Readonly)
|
||||||
|
}
|
||||||
|
|
||||||
|
ns.unlockVolume(state.ConfigPath+":"+state.Image)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
// NodeStageVolume mounts the volume to a staging path on the node.
|
// NodeStageVolume mounts the volume to a staging path on the node.
|
||||||
func (ns *NodeServer) NodeStageVolume(ctx context.Context, req *csi.NodeStageVolumeRequest) (*csi.NodeStageVolumeResponse, error)
|
func (ns *NodeServer) NodeStageVolume(ctx context.Context, req *csi.NodeStageVolumeRequest) (*csi.NodeStageVolumeResponse, error)
|
||||||
{
|
{
|
||||||
return &csi.NodeStageVolumeResponse{}, nil
|
klog.Infof("received node stage volume request %+v", protosanitizer.StripSecrets(req))
|
||||||
}
|
|
||||||
|
|
||||||
// NodeUnstageVolume unstages the volume from the staging path
|
ctxVars := make(map[string]string)
|
||||||
func (ns *NodeServer) NodeUnstageVolume(ctx context.Context, req *csi.NodeUnstageVolumeRequest) (*csi.NodeUnstageVolumeResponse, error)
|
err := json.Unmarshal([]byte(req.VolumeId), &ctxVars)
|
||||||
{
|
if (err != nil)
|
||||||
return &csi.NodeUnstageVolumeResponse{}, nil
|
|
||||||
}
|
|
||||||
|
|
||||||
func Contains(list []string, s string) bool
|
|
||||||
{
|
|
||||||
for i := 0; i < len(list); i++
|
|
||||||
{
|
{
|
||||||
if (list[i] == s)
|
return nil, status.Error(codes.Internal, "volume ID not in JSON format")
|
||||||
{
|
|
||||||
return true
|
|
||||||
}
|
|
||||||
}
|
}
|
||||||
return false
|
_, err = GetConnectionParams(ctxVars)
|
||||||
}
|
if (err != nil)
|
||||||
|
{
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
volName := ctxVars["name"]
|
||||||
|
|
||||||
// NodePublishVolume mounts the volume mounted to the staging path to the target path
|
ns.lockVolume(ctxVars["configPath"]+":"+volName)
|
||||||
func (ns *NodeServer) NodePublishVolume(ctx context.Context, req *csi.NodePublishVolumeRequest) (*csi.NodePublishVolumeResponse, error)
|
defer ns.unlockVolume(ctxVars["configPath"]+":"+volName)
|
||||||
{
|
|
||||||
klog.Infof("received node publish volume request %+v", protosanitizer.StripSecrets(req))
|
|
||||||
|
|
||||||
targetPath := req.GetTargetPath()
|
targetPath := req.GetStagingTargetPath()
|
||||||
isBlock := req.GetVolumeCapability().GetBlock() != nil
|
isBlock := req.GetVolumeCapability().GetBlock() != nil
|
||||||
|
|
||||||
// Check that it's not already mounted
|
// Check that it's not already mounted
|
||||||
_, err := mount.IsNotMountPoint(ns.mounter, targetPath)
|
_, err = mount.IsNotMountPoint(ns.mounter, targetPath)
|
||||||
if (err != nil)
|
if (err != nil)
|
||||||
{
|
{
|
||||||
if (os.IsNotExist(err))
|
if (os.IsNotExist(err))
|
||||||
|
@ -81,13 +238,13 @@ func (ns *NodeServer) NodePublishVolume(ctx context.Context, req *csi.NodePublis
|
||||||
if (err != nil)
|
if (err != nil)
|
||||||
{
|
{
|
||||||
klog.Errorf("failed to create block device mount target %s with error: %v", targetPath, err)
|
klog.Errorf("failed to create block device mount target %s with error: %v", targetPath, err)
|
||||||
return nil, status.Error(codes.Internal, err.Error())
|
return nil, err
|
||||||
}
|
}
|
||||||
err = pathFile.Close()
|
err = pathFile.Close()
|
||||||
if (err != nil)
|
if (err != nil)
|
||||||
{
|
{
|
||||||
klog.Errorf("failed to close %s with error: %v", targetPath, err)
|
klog.Errorf("failed to close %s with error: %v", targetPath, err)
|
||||||
return nil, status.Error(codes.Internal, err.Error())
|
return nil, err
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
else
|
else
|
||||||
|
@ -96,56 +253,29 @@ func (ns *NodeServer) NodePublishVolume(ctx context.Context, req *csi.NodePublis
|
||||||
if (err != nil)
|
if (err != nil)
|
||||||
{
|
{
|
||||||
klog.Errorf("failed to create fs mount target %s with error: %v", targetPath, err)
|
klog.Errorf("failed to create fs mount target %s with error: %v", targetPath, err)
|
||||||
return nil, status.Error(codes.Internal, err.Error())
|
return nil, err
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
else
|
else
|
||||||
{
|
{
|
||||||
return nil, status.Error(codes.Internal, err.Error())
|
return nil, err
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
ctxVars := make(map[string]string)
|
var devicePath, vdpaId string
|
||||||
err = json.Unmarshal([]byte(req.VolumeId), &ctxVars)
|
if (!ns.useVduse)
|
||||||
|
{
|
||||||
|
devicePath, err = mapNbd(volName, ctxVars, false)
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
devicePath, vdpaId, err = mapVduse(ns.stateDir, volName, ctxVars, false)
|
||||||
|
}
|
||||||
if (err != nil)
|
if (err != nil)
|
||||||
{
|
{
|
||||||
return nil, status.Error(codes.Internal, "volume ID not in JSON format")
|
return nil, err
|
||||||
}
|
}
|
||||||
volName := ctxVars["name"]
|
|
||||||
|
|
||||||
_, etcdUrl, etcdPrefix := GetConnectionParams(ctxVars)
|
|
||||||
if (len(etcdUrl) == 0)
|
|
||||||
{
|
|
||||||
return nil, status.Error(codes.InvalidArgument, "no etcdUrl in storage class configuration and no etcd_address in vitastor.conf")
|
|
||||||
}
|
|
||||||
|
|
||||||
// Map NBD device
|
|
||||||
// FIXME: Check if already mapped
|
|
||||||
args := []string{
|
|
||||||
"map", "--etcd_address", strings.Join(etcdUrl, ","),
|
|
||||||
"--etcd_prefix", etcdPrefix,
|
|
||||||
"--image", volName,
|
|
||||||
};
|
|
||||||
if (ctxVars["configPath"] != "")
|
|
||||||
{
|
|
||||||
args = append(args, "--config_path", ctxVars["configPath"])
|
|
||||||
}
|
|
||||||
if (req.GetReadonly())
|
|
||||||
{
|
|
||||||
args = append(args, "--readonly", "1")
|
|
||||||
}
|
|
||||||
c := exec.Command("/usr/bin/vitastor-nbd", args...)
|
|
||||||
var stdout, stderr bytes.Buffer
|
|
||||||
c.Stdout, c.Stderr = &stdout, &stderr
|
|
||||||
err = c.Run()
|
|
||||||
stdoutStr, stderrStr := string(stdout.Bytes()), string(stderr.Bytes())
|
|
||||||
if (err != nil)
|
|
||||||
{
|
|
||||||
klog.Errorf("vitastor-nbd map failed: %s, status %s\n", stdoutStr+stderrStr, err)
|
|
||||||
return nil, status.Error(codes.Internal, stdoutStr+stderrStr+" (status "+err.Error()+")")
|
|
||||||
}
|
|
||||||
devicePath := strings.TrimSpace(stdoutStr)
|
|
||||||
|
|
||||||
diskMounter := &mount.SafeFormatAndMount{Interface: ns.mounter, Exec: utilexec.New()}
|
diskMounter := &mount.SafeFormatAndMount{Interface: ns.mounter, Exec: utilexec.New()}
|
||||||
if (isBlock)
|
if (isBlock)
|
||||||
|
@ -224,23 +354,37 @@ func (ns *NodeServer) NodePublishVolume(ctx context.Context, req *csi.NodePublis
|
||||||
)
|
)
|
||||||
goto unmap
|
goto unmap
|
||||||
}
|
}
|
||||||
return &csi.NodePublishVolumeResponse{}, nil
|
return &csi.NodeStageVolumeResponse{}, nil
|
||||||
|
|
||||||
unmap:
|
unmap:
|
||||||
// unmap NBD device
|
if (!ns.useVduse || len(devicePath) >= 8 && devicePath[0:8] == "/dev/nbd")
|
||||||
unmapOut, unmapErr := exec.Command("/usr/bin/vitastor-nbd", "unmap", devicePath).CombinedOutput()
|
|
||||||
if (unmapErr != nil)
|
|
||||||
{
|
{
|
||||||
klog.Errorf("failed to unmap NBD device %s: %s, error: %v", devicePath, unmapOut, unmapErr)
|
unmapNbd(devicePath)
|
||||||
}
|
}
|
||||||
return nil, status.Error(codes.Internal, err.Error())
|
else
|
||||||
|
{
|
||||||
|
unmapVduseById(ns.stateDir, vdpaId)
|
||||||
|
}
|
||||||
|
return nil, err
|
||||||
}
|
}
|
||||||
|
|
||||||
// NodeUnpublishVolume unmounts the volume from the target path
|
// NodeUnstageVolume unstages the volume from the staging path
|
||||||
func (ns *NodeServer) NodeUnpublishVolume(ctx context.Context, req *csi.NodeUnpublishVolumeRequest) (*csi.NodeUnpublishVolumeResponse, error)
|
func (ns *NodeServer) NodeUnstageVolume(ctx context.Context, req *csi.NodeUnstageVolumeRequest) (*csi.NodeUnstageVolumeResponse, error)
|
||||||
{
|
{
|
||||||
klog.Infof("received node unpublish volume request %+v", protosanitizer.StripSecrets(req))
|
klog.Infof("received node unstage volume request %+v", protosanitizer.StripSecrets(req))
|
||||||
targetPath := req.GetTargetPath()
|
|
||||||
|
ctxVars := make(map[string]string)
|
||||||
|
err := json.Unmarshal([]byte(req.VolumeId), &ctxVars)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
return nil, status.Error(codes.Internal, "volume ID not in JSON format")
|
||||||
|
}
|
||||||
|
volName := ctxVars["name"]
|
||||||
|
|
||||||
|
ns.lockVolume(ctxVars["configPath"]+":"+volName)
|
||||||
|
defer ns.unlockVolume(ctxVars["configPath"]+":"+volName)
|
||||||
|
|
||||||
|
targetPath := req.GetStagingTargetPath()
|
||||||
devicePath, refCount, err := mount.GetDeviceNameFromMount(ns.mounter, targetPath)
|
devicePath, refCount, err := mount.GetDeviceNameFromMount(ns.mounter, targetPath)
|
||||||
if (err != nil)
|
if (err != nil)
|
||||||
{
|
{
|
||||||
|
@ -248,27 +392,167 @@ func (ns *NodeServer) NodeUnpublishVolume(ctx context.Context, req *csi.NodeUnpu
|
||||||
{
|
{
|
||||||
return nil, status.Error(codes.NotFound, "Target path not found")
|
return nil, status.Error(codes.NotFound, "Target path not found")
|
||||||
}
|
}
|
||||||
return nil, status.Error(codes.Internal, err.Error())
|
return nil, err
|
||||||
}
|
}
|
||||||
if (devicePath == "")
|
if (devicePath == "")
|
||||||
{
|
{
|
||||||
return nil, status.Error(codes.NotFound, "Volume not mounted")
|
// volume not mounted
|
||||||
|
klog.Warningf("%s is not a mountpoint, deleting", targetPath)
|
||||||
|
os.Remove(targetPath)
|
||||||
|
return &csi.NodeUnstageVolumeResponse{}, nil
|
||||||
}
|
}
|
||||||
|
|
||||||
// unmount
|
// unmount
|
||||||
err = mount.CleanupMountPoint(targetPath, ns.mounter, false)
|
err = mount.CleanupMountPoint(targetPath, ns.mounter, false)
|
||||||
if (err != nil)
|
if (err != nil)
|
||||||
{
|
{
|
||||||
return nil, status.Error(codes.Internal, err.Error())
|
return nil, err
|
||||||
}
|
}
|
||||||
// unmap NBD device
|
|
||||||
|
// unmap device
|
||||||
if (refCount == 1)
|
if (refCount == 1)
|
||||||
{
|
{
|
||||||
unmapOut, unmapErr := exec.Command("/usr/bin/vitastor-nbd", "unmap", devicePath).CombinedOutput()
|
if (!ns.useVduse)
|
||||||
if (unmapErr != nil)
|
|
||||||
{
|
{
|
||||||
klog.Errorf("failed to unmap NBD device %s: %s, error: %v", devicePath, unmapOut, unmapErr)
|
unmapNbd(devicePath)
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
unmapVduse(ns.stateDir, devicePath)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
return &csi.NodeUnstageVolumeResponse{}, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// NodePublishVolume mounts the volume mounted to the staging path to the target path
|
||||||
|
func (ns *NodeServer) NodePublishVolume(ctx context.Context, req *csi.NodePublishVolumeRequest) (*csi.NodePublishVolumeResponse, error)
|
||||||
|
{
|
||||||
|
klog.Infof("received node publish volume request %+v", protosanitizer.StripSecrets(req))
|
||||||
|
|
||||||
|
ctxVars := make(map[string]string)
|
||||||
|
err := json.Unmarshal([]byte(req.VolumeId), &ctxVars)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
return nil, status.Error(codes.Internal, "volume ID not in JSON format")
|
||||||
|
}
|
||||||
|
_, err = GetConnectionParams(ctxVars)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
volName := ctxVars["name"]
|
||||||
|
|
||||||
|
ns.lockVolume(ctxVars["configPath"]+":"+volName)
|
||||||
|
defer ns.unlockVolume(ctxVars["configPath"]+":"+volName)
|
||||||
|
|
||||||
|
stagingTargetPath := req.GetStagingTargetPath()
|
||||||
|
targetPath := req.GetTargetPath()
|
||||||
|
isBlock := req.GetVolumeCapability().GetBlock() != nil
|
||||||
|
|
||||||
|
// Check that stagingTargetPath is mounted
|
||||||
|
_, err = mount.IsNotMountPoint(ns.mounter, stagingTargetPath)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
klog.Errorf("staging path %v is not mounted: %v", stagingTargetPath, err)
|
||||||
|
return nil, fmt.Errorf("staging path %v is not mounted: %v", stagingTargetPath, err)
|
||||||
|
}
|
||||||
|
|
||||||
|
// Check that targetPath is not already mounted
|
||||||
|
_, err = mount.IsNotMountPoint(ns.mounter, targetPath)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
if (os.IsNotExist(err))
|
||||||
|
{
|
||||||
|
if (isBlock)
|
||||||
|
{
|
||||||
|
pathFile, err := os.OpenFile(targetPath, os.O_CREATE|os.O_RDWR, 0o600)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
klog.Errorf("failed to create block device mount target %s with error: %v", targetPath, err)
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
err = pathFile.Close()
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
klog.Errorf("failed to close %s with error: %v", targetPath, err)
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
err := os.MkdirAll(targetPath, 0777)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
klog.Errorf("failed to create fs mount target %s with error: %v", targetPath, err)
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
execArgs := []string{"--bind", stagingTargetPath, targetPath}
|
||||||
|
if (req.GetReadonly())
|
||||||
|
{
|
||||||
|
execArgs = append(execArgs, "-o", "ro")
|
||||||
|
}
|
||||||
|
cmd := exec.Command("mount", execArgs...)
|
||||||
|
cmd.Stderr = os.Stderr
|
||||||
|
klog.Infof("binding volume %v (%v) from %v to %v", volName, ctxVars["configPath"], stagingTargetPath, targetPath)
|
||||||
|
out, err := cmd.Output()
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
return nil, fmt.Errorf("Error running mount %v: %s", strings.Join(execArgs, " "), out)
|
||||||
|
}
|
||||||
|
|
||||||
|
return &csi.NodePublishVolumeResponse{}, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// NodeUnpublishVolume unmounts the volume from the target path
|
||||||
|
func (ns *NodeServer) NodeUnpublishVolume(ctx context.Context, req *csi.NodeUnpublishVolumeRequest) (*csi.NodeUnpublishVolumeResponse, error)
|
||||||
|
{
|
||||||
|
klog.Infof("received node unpublish volume request %+v", protosanitizer.StripSecrets(req))
|
||||||
|
|
||||||
|
ctxVars := make(map[string]string)
|
||||||
|
err := json.Unmarshal([]byte(req.VolumeId), &ctxVars)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
return nil, status.Error(codes.Internal, "volume ID not in JSON format")
|
||||||
|
}
|
||||||
|
volName := ctxVars["name"]
|
||||||
|
|
||||||
|
ns.lockVolume(ctxVars["configPath"]+":"+volName)
|
||||||
|
defer ns.unlockVolume(ctxVars["configPath"]+":"+volName)
|
||||||
|
|
||||||
|
targetPath := req.GetTargetPath()
|
||||||
|
devicePath, _, err := mount.GetDeviceNameFromMount(ns.mounter, targetPath)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
if (os.IsNotExist(err))
|
||||||
|
{
|
||||||
|
return nil, status.Error(codes.NotFound, "Target path not found")
|
||||||
|
}
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
if (devicePath == "")
|
||||||
|
{
|
||||||
|
// volume not mounted
|
||||||
|
klog.Warningf("%s is not a mountpoint, deleting", targetPath)
|
||||||
|
os.Remove(targetPath)
|
||||||
|
return &csi.NodeUnpublishVolumeResponse{}, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// unmount
|
||||||
|
err = mount.CleanupMountPoint(targetPath, ns.mounter, false)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
|
||||||
return &csi.NodeUnpublishVolumeResponse{}, nil
|
return &csi.NodeUnpublishVolumeResponse{}, nil
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@ -287,7 +571,17 @@ func (ns *NodeServer) NodeExpandVolume(ctx context.Context, req *csi.NodeExpandV
|
||||||
// NodeGetCapabilities returns the supported capabilities of the node server
|
// NodeGetCapabilities returns the supported capabilities of the node server
|
||||||
func (ns *NodeServer) NodeGetCapabilities(ctx context.Context, req *csi.NodeGetCapabilitiesRequest) (*csi.NodeGetCapabilitiesResponse, error)
|
func (ns *NodeServer) NodeGetCapabilities(ctx context.Context, req *csi.NodeGetCapabilitiesRequest) (*csi.NodeGetCapabilitiesResponse, error)
|
||||||
{
|
{
|
||||||
return &csi.NodeGetCapabilitiesResponse{}, nil
|
return &csi.NodeGetCapabilitiesResponse{
|
||||||
|
Capabilities: []*csi.NodeServiceCapability{
|
||||||
|
&csi.NodeServiceCapability{
|
||||||
|
Type: &csi.NodeServiceCapability_Rpc{
|
||||||
|
Rpc: &csi.NodeServiceCapability_RPC{
|
||||||
|
Type: csi.NodeServiceCapability_RPC_STAGE_UNSTAGE_VOLUME,
|
||||||
|
},
|
||||||
|
},
|
||||||
|
},
|
||||||
|
},
|
||||||
|
}, nil
|
||||||
}
|
}
|
||||||
|
|
||||||
// NodeGetInfo returns NodeGetInfoResponse for CO.
|
// NodeGetInfo returns NodeGetInfoResponse for CO.
|
||||||
|
|
|
@ -0,0 +1,301 @@
|
||||||
|
// Copyright (c) Vitaliy Filippov, 2019+
|
||||||
|
// License: VNPL-1.1 or GNU GPL-2.0+ (see README.md for details)
|
||||||
|
|
||||||
|
package vitastor
|
||||||
|
|
||||||
|
import (
|
||||||
|
"errors"
|
||||||
|
"encoding/json"
|
||||||
|
"fmt"
|
||||||
|
"os"
|
||||||
|
"os/exec"
|
||||||
|
"path/filepath"
|
||||||
|
"strconv"
|
||||||
|
"strings"
|
||||||
|
"syscall"
|
||||||
|
|
||||||
|
"k8s.io/klog"
|
||||||
|
)
|
||||||
|
|
||||||
|
func Contains(list []string, s string) bool
|
||||||
|
{
|
||||||
|
for i := 0; i < len(list); i++
|
||||||
|
{
|
||||||
|
if (list[i] == s)
|
||||||
|
{
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
|
||||||
|
func checkVduseSupport() bool
|
||||||
|
{
|
||||||
|
// Check VDUSE support (vdpa, vduse, virtio-vdpa kernel modules)
|
||||||
|
vduse := true
|
||||||
|
for _, mod := range []string{"vdpa", "vduse", "virtio-vdpa"}
|
||||||
|
{
|
||||||
|
_, err := os.Stat("/sys/module/"+mod)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
if (!errors.Is(err, os.ErrNotExist))
|
||||||
|
{
|
||||||
|
klog.Errorf("failed to check /sys/module/%s: %v", mod, err)
|
||||||
|
}
|
||||||
|
c := exec.Command("/sbin/modprobe", mod)
|
||||||
|
c.Stdout = os.Stderr
|
||||||
|
c.Stderr = os.Stderr
|
||||||
|
err := c.Run()
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
klog.Errorf("/sbin/modprobe %s failed: %v", mod, err)
|
||||||
|
vduse = false
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
// Check that vdpa tool functions
|
||||||
|
if (vduse)
|
||||||
|
{
|
||||||
|
c := exec.Command("/sbin/vdpa", "-j", "dev")
|
||||||
|
c.Stderr = os.Stderr
|
||||||
|
err := c.Run()
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
klog.Errorf("/sbin/vdpa -j dev failed: %v", err)
|
||||||
|
vduse = false
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if (!vduse)
|
||||||
|
{
|
||||||
|
klog.Errorf(
|
||||||
|
"Your host apparently has no VDUSE support. VDUSE support disabled, NBD will be used to map devices."+
|
||||||
|
" For VDUSE you need at least Linux 5.15 and the following kernel modules: vdpa, virtio-vdpa, vduse.",
|
||||||
|
)
|
||||||
|
}
|
||||||
|
return vduse
|
||||||
|
}
|
||||||
|
|
||||||
|
func mapNbd(volName string, ctxVars map[string]string, readonly bool) (string, error)
|
||||||
|
{
|
||||||
|
// Map NBD device
|
||||||
|
// FIXME: Check if already mapped
|
||||||
|
args := []string{
|
||||||
|
"map", "--image", volName,
|
||||||
|
}
|
||||||
|
if (ctxVars["configPath"] != "")
|
||||||
|
{
|
||||||
|
args = append(args, "--config_path", ctxVars["configPath"])
|
||||||
|
}
|
||||||
|
if (readonly)
|
||||||
|
{
|
||||||
|
args = append(args, "--readonly", "1")
|
||||||
|
}
|
||||||
|
stdout, stderr, err := system("/usr/bin/vitastor-nbd", args...)
|
||||||
|
dev := strings.TrimSpace(string(stdout))
|
||||||
|
if (dev == "")
|
||||||
|
{
|
||||||
|
return "", fmt.Errorf("vitastor-nbd did not return the name of NBD device. output: %s", stderr)
|
||||||
|
}
|
||||||
|
return dev, err
|
||||||
|
}
|
||||||
|
|
||||||
|
func unmapNbd(devicePath string)
|
||||||
|
{
|
||||||
|
// unmap NBD device
|
||||||
|
unmapOut, unmapErr := exec.Command("/usr/bin/vitastor-nbd", "unmap", devicePath).CombinedOutput()
|
||||||
|
if (unmapErr != nil)
|
||||||
|
{
|
||||||
|
klog.Errorf("failed to unmap NBD device %s: %s, error: %v", devicePath, unmapOut, unmapErr)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func findByPidFile(pidFile string) (*os.Process, error)
|
||||||
|
{
|
||||||
|
pidBuf, err := os.ReadFile(pidFile)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
pid, err := strconv.ParseInt(strings.TrimSpace(string(pidBuf)), 0, 64)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
proc, err := os.FindProcess(int(pid))
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
return proc, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func killByPidFile(pidFile string) error
|
||||||
|
{
|
||||||
|
klog.Infof("killing process with PID from file %s", pidFile)
|
||||||
|
proc, err := findByPidFile(pidFile)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
return proc.Signal(syscall.SIGTERM)
|
||||||
|
}
|
||||||
|
|
||||||
|
func startStorageDaemon(vdpaId, volName, pidFile, configPath string, readonly bool) error
|
||||||
|
{
|
||||||
|
// Start qemu-storage-daemon
|
||||||
|
blockSpec := map[string]interface{}{
|
||||||
|
"node-name": "disk1",
|
||||||
|
"driver": "vitastor",
|
||||||
|
"image": volName,
|
||||||
|
"cache": map[string]bool{
|
||||||
|
"direct": true,
|
||||||
|
"no-flush": false,
|
||||||
|
},
|
||||||
|
"discard": "unmap",
|
||||||
|
}
|
||||||
|
if (configPath != "")
|
||||||
|
{
|
||||||
|
blockSpec["config-path"] = configPath
|
||||||
|
}
|
||||||
|
blockSpecJson, _ := json.Marshal(blockSpec)
|
||||||
|
writable := "true"
|
||||||
|
if (readonly)
|
||||||
|
{
|
||||||
|
writable = "false"
|
||||||
|
}
|
||||||
|
_, _, err := system(
|
||||||
|
"/usr/bin/qemu-storage-daemon", "--daemonize", "--pidfile", pidFile, "--blockdev", string(blockSpecJson),
|
||||||
|
"--export", "vduse-blk,id="+vdpaId+",node-name=disk1,name="+vdpaId+",num-queues=16,queue-size=128,writable="+writable,
|
||||||
|
)
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
func mapVduse(stateDir string, volName string, ctxVars map[string]string, readonly bool) (string, string, error)
|
||||||
|
{
|
||||||
|
// Generate state file
|
||||||
|
stateFd, err := os.CreateTemp(stateDir, "vitastor-vduse-*.json")
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
return "", "", err
|
||||||
|
}
|
||||||
|
stateFile := stateFd.Name()
|
||||||
|
stateFd.Close()
|
||||||
|
vdpaId := filepath.Base(stateFile)
|
||||||
|
vdpaId = vdpaId[0:len(vdpaId)-5] // remove ".json"
|
||||||
|
pidFile := stateDir + vdpaId + ".pid"
|
||||||
|
// Map VDUSE device via qemu-storage-daemon
|
||||||
|
err = startStorageDaemon(vdpaId, volName, pidFile, ctxVars["configPath"], readonly)
|
||||||
|
if (err == nil)
|
||||||
|
{
|
||||||
|
// Add device to VDPA bus
|
||||||
|
_, _, err = system("/sbin/vdpa", "-j", "dev", "add", "name", vdpaId, "mgmtdev", "vduse")
|
||||||
|
if (err == nil)
|
||||||
|
{
|
||||||
|
// Find block device name
|
||||||
|
var matches []string
|
||||||
|
matches, err = filepath.Glob("/sys/bus/vdpa/devices/"+vdpaId+"/virtio*/block/*")
|
||||||
|
if (err == nil && len(matches) == 0)
|
||||||
|
{
|
||||||
|
err = errors.New("/sys/bus/vdpa/devices/"+vdpaId+"/virtio*/block/* is not found")
|
||||||
|
}
|
||||||
|
if (err == nil)
|
||||||
|
{
|
||||||
|
blockdev := "/dev/"+filepath.Base(matches[0])
|
||||||
|
_, err = os.Stat(blockdev)
|
||||||
|
if (err == nil)
|
||||||
|
{
|
||||||
|
// Generate state file
|
||||||
|
stateJSON, _ := json.Marshal(&DeviceState{
|
||||||
|
ConfigPath: ctxVars["configPath"],
|
||||||
|
VdpaId: vdpaId,
|
||||||
|
Image: volName,
|
||||||
|
Blockdev: blockdev,
|
||||||
|
Readonly: readonly,
|
||||||
|
PidFile: pidFile,
|
||||||
|
})
|
||||||
|
err = os.WriteFile(stateFile, stateJSON, 0600)
|
||||||
|
if (err == nil)
|
||||||
|
{
|
||||||
|
return blockdev, vdpaId, nil
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
killErr := killByPidFile(pidFile)
|
||||||
|
if (killErr != nil)
|
||||||
|
{
|
||||||
|
klog.Errorf("Failed to kill started qemu-storage-daemon: %v", killErr)
|
||||||
|
}
|
||||||
|
os.Remove(stateFile)
|
||||||
|
os.Remove(pidFile)
|
||||||
|
}
|
||||||
|
return "", "", err
|
||||||
|
}
|
||||||
|
|
||||||
|
func unmapVduse(stateDir, devicePath string)
|
||||||
|
{
|
||||||
|
if (len(devicePath) < 6 || devicePath[0:6] != "/dev/v")
|
||||||
|
{
|
||||||
|
klog.Errorf("%s does not start with /dev/v", devicePath)
|
||||||
|
return
|
||||||
|
}
|
||||||
|
vduseDev, err := os.Readlink("/sys/block/"+devicePath[5:])
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
klog.Errorf("%s is not a symbolic link to VDUSE device (../devices/virtual/vduse/xxx): %v", devicePath, err)
|
||||||
|
return
|
||||||
|
}
|
||||||
|
vdpaId := ""
|
||||||
|
p := strings.Index(vduseDev, "/vduse/")
|
||||||
|
if (p >= 0)
|
||||||
|
{
|
||||||
|
vduseDev = vduseDev[p+7:]
|
||||||
|
p = strings.Index(vduseDev, "/")
|
||||||
|
if (p >= 0)
|
||||||
|
{
|
||||||
|
vdpaId = vduseDev[0:p]
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if (vdpaId == "")
|
||||||
|
{
|
||||||
|
klog.Errorf("%s is not a symbolic link to VDUSE device (../devices/virtual/vduse/xxx), but is %v", devicePath, vduseDev)
|
||||||
|
return
|
||||||
|
}
|
||||||
|
unmapVduseById(stateDir, vdpaId)
|
||||||
|
}
|
||||||
|
|
||||||
|
func unmapVduseById(stateDir, vdpaId string)
|
||||||
|
{
|
||||||
|
_, err := os.Stat("/sys/bus/vdpa/devices/"+vdpaId)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
klog.Errorf("failed to stat /sys/bus/vdpa/devices/"+vdpaId+": %v", err)
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
_, _, _ = system("/sbin/vdpa", "-j", "dev", "del", vdpaId)
|
||||||
|
}
|
||||||
|
stateFile := stateDir + vdpaId + ".json"
|
||||||
|
os.Remove(stateFile)
|
||||||
|
pidFile := stateDir + vdpaId + ".pid"
|
||||||
|
_, err = os.Stat(pidFile)
|
||||||
|
if (os.IsNotExist(err))
|
||||||
|
{
|
||||||
|
// ok, already killed
|
||||||
|
}
|
||||||
|
else if (err != nil)
|
||||||
|
{
|
||||||
|
klog.Errorf("Failed to stat %v: %v", pidFile, err)
|
||||||
|
return
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
err = killByPidFile(pidFile)
|
||||||
|
if (err != nil)
|
||||||
|
{
|
||||||
|
klog.Errorf("Failed to kill started qemu-storage-daemon: %v", err)
|
||||||
|
}
|
||||||
|
os.Remove(pidFile)
|
||||||
|
}
|
||||||
|
}
|
|
@ -3,5 +3,5 @@
|
||||||
cat < vitastor.Dockerfile > ../Dockerfile
|
cat < vitastor.Dockerfile > ../Dockerfile
|
||||||
cd ..
|
cd ..
|
||||||
mkdir -p packages
|
mkdir -p packages
|
||||||
sudo podman build --build-arg REL=bookworm -v `pwd`/packages:/root/packages -f Dockerfile .
|
sudo podman build --build-arg DISTRO=debian --build-arg REL=bookworm -v `pwd`/packages:/root/packages -f Dockerfile .
|
||||||
rm Dockerfile
|
rm Dockerfile
|
||||||
|
|
|
@ -3,5 +3,5 @@
|
||||||
cat < vitastor.Dockerfile > ../Dockerfile
|
cat < vitastor.Dockerfile > ../Dockerfile
|
||||||
cd ..
|
cd ..
|
||||||
mkdir -p packages
|
mkdir -p packages
|
||||||
sudo podman build --build-arg REL=bullseye -v `pwd`/packages:/root/packages -f Dockerfile .
|
sudo podman build --build-arg DISTRO=debian --build-arg REL=bullseye -v `pwd`/packages:/root/packages -f Dockerfile .
|
||||||
rm Dockerfile
|
rm Dockerfile
|
||||||
|
|
|
@ -3,5 +3,5 @@
|
||||||
cat < vitastor.Dockerfile > ../Dockerfile
|
cat < vitastor.Dockerfile > ../Dockerfile
|
||||||
cd ..
|
cd ..
|
||||||
mkdir -p packages
|
mkdir -p packages
|
||||||
sudo podman build --build-arg REL=buster -v `pwd`/packages:/root/packages -f Dockerfile .
|
sudo podman build --build-arg DISTRO=debian --build-arg REL=buster -v `pwd`/packages:/root/packages -f Dockerfile .
|
||||||
rm Dockerfile
|
rm Dockerfile
|
||||||
|
|
|
@ -0,0 +1,7 @@
|
||||||
|
#!/bin/bash
|
||||||
|
|
||||||
|
cat < vitastor.Dockerfile > ../Dockerfile
|
||||||
|
cd ..
|
||||||
|
mkdir -p packages
|
||||||
|
sudo podman build --build-arg DISTRO=ubuntu --build-arg REL=jammy -v `pwd`/packages:/root/packages -f Dockerfile .
|
||||||
|
rm Dockerfile
|
|
@ -1,10 +1,10 @@
|
||||||
vitastor (1.2.0-1) unstable; urgency=medium
|
vitastor (1.9.0-1) unstable; urgency=medium
|
||||||
|
|
||||||
* Bugfixes
|
* Bugfixes
|
||||||
|
|
||||||
-- Vitaliy Filippov <vitalif@yourcmc.ru> Fri, 03 Jun 2022 02:09:44 +0300
|
-- Vitaliy Filippov <vitalif@yourcmc.ru> Fri, 03 Jun 2022 02:09:44 +0300
|
||||||
|
|
||||||
vitastor (1.2.0-1) unstable; urgency=medium
|
vitastor (0.7.0-1) unstable; urgency=medium
|
||||||
|
|
||||||
* Implement NFS proxy
|
* Implement NFS proxy
|
||||||
* Add documentation
|
* Add documentation
|
||||||
|
|
|
@ -2,7 +2,7 @@ Source: vitastor
|
||||||
Section: admin
|
Section: admin
|
||||||
Priority: optional
|
Priority: optional
|
||||||
Maintainer: Vitaliy Filippov <vitalif@yourcmc.ru>
|
Maintainer: Vitaliy Filippov <vitalif@yourcmc.ru>
|
||||||
Build-Depends: debhelper, liburing-dev (>= 0.6), g++ (>= 8), libstdc++6 (>= 8), linux-libc-dev, libgoogle-perftools-dev, libjerasure-dev, libgf-complete-dev, libibverbs-dev, libisal-dev, cmake, pkg-config
|
Build-Depends: debhelper, liburing-dev (>= 0.6), g++ (>= 8), libstdc++6 (>= 8), linux-libc-dev, libgoogle-perftools-dev, libjerasure-dev, libgf-complete-dev, libibverbs-dev, libisal-dev, cmake, pkg-config, libnl-3-dev, libnl-genl-3-dev
|
||||||
Standards-Version: 4.5.0
|
Standards-Version: 4.5.0
|
||||||
Homepage: https://vitastor.io/
|
Homepage: https://vitastor.io/
|
||||||
Rules-Requires-Root: no
|
Rules-Requires-Root: no
|
||||||
|
@ -53,3 +53,9 @@ Architecture: amd64
|
||||||
Depends: ${shlibs:Depends}, ${misc:Depends}, vitastor-client (= ${binary:Version})
|
Depends: ${shlibs:Depends}, ${misc:Depends}, vitastor-client (= ${binary:Version})
|
||||||
Description: Vitastor Proxmox Virtual Environment storage plugin
|
Description: Vitastor Proxmox Virtual Environment storage plugin
|
||||||
Vitastor storage plugin for Proxmox Virtual Environment.
|
Vitastor storage plugin for Proxmox Virtual Environment.
|
||||||
|
|
||||||
|
Package: vitastor-opennebula
|
||||||
|
Architecture: amd64
|
||||||
|
Depends: ${shlibs:Depends}, ${misc:Depends}, vitastor-client, patch, python3, jq
|
||||||
|
Description: Vitastor OpenNebula storage plugin
|
||||||
|
Vitastor storage plugin for OpenNebula.
|
||||||
|
|
|
@ -1,13 +1,14 @@
|
||||||
# Build patched libvirt for Debian Buster or Bullseye/Sid inside a container
|
# Build patched libvirt for Debian Buster or Bullseye/Sid inside a container
|
||||||
# cd ..; podman build --build-arg REL=bullseye -v `pwd`/packages:/root/packages -f debian/libvirt.Dockerfile .
|
# cd ..; podman build --build-arg DISTRO=debian --build-arg REL=bullseye -v `pwd`/packages:/root/packages -f debian/libvirt.Dockerfile .
|
||||||
|
|
||||||
|
ARG DISTRO=
|
||||||
ARG REL=
|
ARG REL=
|
||||||
FROM debian:$REL
|
FROM $DISTRO:$REL
|
||||||
ARG REL=
|
ARG REL=
|
||||||
|
|
||||||
WORKDIR /root
|
WORKDIR /root
|
||||||
|
|
||||||
RUN if [ "$REL" = "buster" -o "$REL" = "bullseye" ]; then \
|
RUN if ([ "${DISTRO}" = "debian" ]) && ( [ "${REL}" = "buster" -o "${REL}" = "bullseye" ] ); then \
|
||||||
echo "deb http://deb.debian.org/debian $REL-backports main" >> /etc/apt/sources.list; \
|
echo "deb http://deb.debian.org/debian $REL-backports main" >> /etc/apt/sources.list; \
|
||||||
echo >> /etc/apt/preferences; \
|
echo >> /etc/apt/preferences; \
|
||||||
echo 'Package: *' >> /etc/apt/preferences; \
|
echo 'Package: *' >> /etc/apt/preferences; \
|
||||||
|
@ -23,7 +24,7 @@ RUN apt-get -y build-dep libvirt0
|
||||||
RUN apt-get -y install libglusterfs-dev
|
RUN apt-get -y install libglusterfs-dev
|
||||||
RUN apt-get --download-only source libvirt
|
RUN apt-get --download-only source libvirt
|
||||||
|
|
||||||
ADD patches/libvirt-5.0-vitastor.diff patches/libvirt-7.0-vitastor.diff patches/libvirt-7.5-vitastor.diff patches/libvirt-7.6-vitastor.diff /root
|
ADD patches/libvirt-5.0-vitastor.diff patches/libvirt-7.0-vitastor.diff patches/libvirt-7.5-vitastor.diff patches/libvirt-7.6-vitastor.diff patches/libvirt-8.0-vitastor.diff /root
|
||||||
RUN set -e; \
|
RUN set -e; \
|
||||||
mkdir -p /root/packages/libvirt-$REL; \
|
mkdir -p /root/packages/libvirt-$REL; \
|
||||||
rm -rf /root/packages/libvirt-$REL/*; \
|
rm -rf /root/packages/libvirt-$REL/*; \
|
||||||
|
|
|
@ -7,7 +7,7 @@ ARG REL=
|
||||||
|
|
||||||
WORKDIR /root
|
WORKDIR /root
|
||||||
|
|
||||||
RUN if [ "$REL" = "buster" -o "$REL" = "bullseye" ]; then \
|
RUN if [ "$REL" = "buster" -o "$REL" = "bullseye" -o "$REL" = "bookworm" ]; then \
|
||||||
echo "deb http://deb.debian.org/debian $REL-backports main" >> /etc/apt/sources.list; \
|
echo "deb http://deb.debian.org/debian $REL-backports main" >> /etc/apt/sources.list; \
|
||||||
echo >> /etc/apt/preferences; \
|
echo >> /etc/apt/preferences; \
|
||||||
echo 'Package: *' >> /etc/apt/preferences; \
|
echo 'Package: *' >> /etc/apt/preferences; \
|
||||||
|
@ -27,7 +27,7 @@ RUN apt-get -y build-dep qemu
|
||||||
RUN apt-get --download-only source qemu
|
RUN apt-get --download-only source qemu
|
||||||
|
|
||||||
ADD patches /root/vitastor/patches
|
ADD patches /root/vitastor/patches
|
||||||
ADD src/qemu_driver.c /root/vitastor/src/qemu_driver.c
|
ADD src/client/qemu_driver.c /root/qemu_driver.c
|
||||||
|
|
||||||
#RUN set -e; \
|
#RUN set -e; \
|
||||||
# apt-get install -y wget; \
|
# apt-get install -y wget; \
|
||||||
|
@ -45,14 +45,14 @@ RUN set -e; \
|
||||||
rm -rf /root/packages/qemu-$REL/*; \
|
rm -rf /root/packages/qemu-$REL/*; \
|
||||||
cd /root/packages/qemu-$REL; \
|
cd /root/packages/qemu-$REL; \
|
||||||
dpkg-source -x /root/qemu*.dsc; \
|
dpkg-source -x /root/qemu*.dsc; \
|
||||||
QEMU_VER=$(ls -d qemu*/ | perl -pe 's!^.*(\d+\.\d+).*!$1!'); \
|
QEMU_VER=$(ls -d qemu*/ | perl -pe 's!^.*?(\d+\.\d+).*!$1!'); \
|
||||||
D=$(ls -d qemu*/); \
|
D=$(ls -d qemu*/); \
|
||||||
cp /root/vitastor/patches/qemu-$QEMU_VER-vitastor.patch ./qemu-*/debian/patches; \
|
cp /root/vitastor/patches/qemu-$QEMU_VER-vitastor.patch ./qemu-*/debian/patches; \
|
||||||
echo qemu-$QEMU_VER-vitastor.patch >> $D/debian/patches/series; \
|
echo qemu-$QEMU_VER-vitastor.patch >> $D/debian/patches/series; \
|
||||||
cd /root/packages/qemu-$REL/qemu-*/; \
|
cd /root/packages/qemu-$REL/qemu-*/; \
|
||||||
quilt push -a; \
|
quilt push -a; \
|
||||||
quilt add block/vitastor.c; \
|
quilt add block/vitastor.c; \
|
||||||
cp /root/vitastor/src/qemu_driver.c block/vitastor.c; \
|
cp /root/qemu_driver.c block/vitastor.c; \
|
||||||
quilt refresh; \
|
quilt refresh; \
|
||||||
V=$(head -n1 debian/changelog | perl -pe 's/5\.2\+dfsg-9/5.2+dfsg-11/; s/^.*\((.*?)(~bpo[\d\+]*)?\).*$/$1/')+vitastor4; \
|
V=$(head -n1 debian/changelog | perl -pe 's/5\.2\+dfsg-9/5.2+dfsg-11/; s/^.*\((.*?)(~bpo[\d\+]*)?\).*$/$1/')+vitastor4; \
|
||||||
if [ "$REL" = bullseye ]; then V=${V}bullseye; fi; \
|
if [ "$REL" = bullseye ]; then V=${V}bullseye; fi; \
|
||||||
|
|
|
@ -3,4 +3,6 @@ usr/bin/vitastor-cli
|
||||||
usr/bin/vitastor-rm
|
usr/bin/vitastor-rm
|
||||||
usr/bin/vitastor-nbd
|
usr/bin/vitastor-nbd
|
||||||
usr/bin/vitastor-nfs
|
usr/bin/vitastor-nfs
|
||||||
|
usr/bin/vitastor-kv
|
||||||
|
usr/bin/vitastor-kv-stress
|
||||||
usr/lib/*/libvitastor*.so*
|
usr/lib/*/libvitastor*.so*
|
||||||
|
|
|
@ -1,2 +1,3 @@
|
||||||
mon usr/lib/vitastor
|
mon usr/lib/vitastor/
|
||||||
mon/vitastor-mon.service /lib/systemd/system
|
mon/scripts/make-etcd usr/lib/vitastor/mon
|
||||||
|
mon/scripts/vitastor-mon.service /lib/systemd/system
|
||||||
|
|
|
@ -6,4 +6,6 @@ if [ "$1" = "configure" ]; then
|
||||||
addgroup --system --quiet vitastor
|
addgroup --system --quiet vitastor
|
||||||
adduser --system --quiet --ingroup vitastor --no-create-home --home /nonexistent vitastor
|
adduser --system --quiet --ingroup vitastor --no-create-home --home /nonexistent vitastor
|
||||||
mkdir -p /etc/vitastor
|
mkdir -p /etc/vitastor
|
||||||
|
mkdir -p /var/lib/vitastor
|
||||||
|
chown vitastor:vitastor /var/lib/vitastor
|
||||||
fi
|
fi
|
||||||
|
|
|
@ -0,0 +1,3 @@
|
||||||
|
opennebula/remotes var/lib/one/
|
||||||
|
opennebula/sudoers.d etc/
|
||||||
|
opennebula/install.sh var/lib/one/remotes/datastore/vitastor/
|
|
@ -0,0 +1,7 @@
|
||||||
|
#!/bin/sh
|
||||||
|
|
||||||
|
set -e
|
||||||
|
|
||||||
|
if [ "$1" = "configure" ]; then
|
||||||
|
/var/lib/one/remotes/datastore/vitastor/install.sh
|
||||||
|
fi
|
|
@ -0,0 +1,4 @@
|
||||||
|
interest /var/lib/one/remotes/datastore/downloader.sh
|
||||||
|
interest /etc/one/oned.conf
|
||||||
|
interest /etc/one/vmm_exec/vmm_execrc
|
||||||
|
interest /etc/apparmor.d/local/abstractions/libvirt-qemu
|
|
@ -1,6 +1,6 @@
|
||||||
usr/bin/vitastor-osd
|
usr/bin/vitastor-osd
|
||||||
usr/bin/vitastor-disk
|
usr/bin/vitastor-disk
|
||||||
usr/bin/vitastor-dump-journal
|
usr/bin/vitastor-dump-journal
|
||||||
mon/vitastor-osd@.service /lib/systemd/system
|
mon/scripts/vitastor-osd@.service /lib/systemd/system
|
||||||
mon/vitastor.target /lib/systemd/system
|
mon/scripts/vitastor.target /lib/systemd/system
|
||||||
mon/90-vitastor.rules /lib/udev/rules.d
|
mon/scripts/90-vitastor.rules /lib/udev/rules.d
|
||||||
|
|
|
@ -1,18 +1,20 @@
|
||||||
# Build Vitastor packages for Debian inside a container
|
# Build Vitastor packages for Debian inside a container
|
||||||
# cd ..; podman build --build-arg REL=bullseye -v `pwd`/packages:/root/packages -f debian/vitastor.Dockerfile .
|
# cd ..; podman build --build-arg DISTRO=debian --build-arg REL=bullseye -v `pwd`/packages:/root/packages -f debian/vitastor.Dockerfile .
|
||||||
|
|
||||||
|
ARG DISTRO=debian
|
||||||
ARG REL=
|
ARG REL=
|
||||||
FROM debian:$REL
|
FROM $DISTRO:$REL
|
||||||
|
ARG DISTRO=debian
|
||||||
ARG REL=
|
ARG REL=
|
||||||
|
|
||||||
WORKDIR /root
|
WORKDIR /root
|
||||||
|
|
||||||
RUN if [ "$REL" = "buster" -o "$REL" = "bullseye" ]; then \
|
RUN set -e -x; \
|
||||||
echo "deb http://deb.debian.org/debian $REL-backports main" >> /etc/apt/sources.list; \
|
if [ "$REL" = "buster" ]; then \
|
||||||
echo >> /etc/apt/preferences; \
|
apt-get update; \
|
||||||
echo 'Package: *' >> /etc/apt/preferences; \
|
apt-get -y install wget; \
|
||||||
echo "Pin: release a=$REL-backports" >> /etc/apt/preferences; \
|
wget https://vitastor.io/debian/pubkey.gpg -O /etc/apt/trusted.gpg.d/vitastor.gpg; \
|
||||||
echo 'Pin-Priority: 500' >> /etc/apt/preferences; \
|
echo "deb https://vitastor.io/debian $REL main" >> /etc/apt/sources.list; \
|
||||||
fi; \
|
fi; \
|
||||||
grep '^deb ' /etc/apt/sources.list | perl -pe 's/^deb/deb-src/' >> /etc/apt/sources.list; \
|
grep '^deb ' /etc/apt/sources.list | perl -pe 's/^deb/deb-src/' >> /etc/apt/sources.list; \
|
||||||
perl -i -pe 's/Types: deb$/Types: deb deb-src/' /etc/apt/sources.list.d/debian.sources || true; \
|
perl -i -pe 's/Types: deb$/Types: deb deb-src/' /etc/apt/sources.list.d/debian.sources || true; \
|
||||||
|
@ -20,10 +22,9 @@ RUN if [ "$REL" = "buster" -o "$REL" = "bullseye" ]; then \
|
||||||
echo 'APT::Install-Suggests false;' >> /etc/apt/apt.conf
|
echo 'APT::Install-Suggests false;' >> /etc/apt/apt.conf
|
||||||
|
|
||||||
RUN apt-get update
|
RUN apt-get update
|
||||||
RUN apt-get -y install fio liburing-dev libgoogle-perftools-dev devscripts
|
RUN apt-get -y install fio liburing-dev libgoogle-perftools-dev devscripts libjerasure-dev cmake libibverbs-dev libisal-dev libnl-3-dev libnl-genl-3-dev curl
|
||||||
RUN apt-get -y build-dep fio
|
RUN apt-get -y build-dep fio
|
||||||
RUN apt-get --download-only source fio
|
RUN apt-get --download-only source fio
|
||||||
RUN apt-get update && apt-get -y install libjerasure-dev cmake libibverbs-dev libisal-dev
|
|
||||||
|
|
||||||
ADD . /root/vitastor
|
ADD . /root/vitastor
|
||||||
RUN set -e -x; \
|
RUN set -e -x; \
|
||||||
|
@ -35,8 +36,10 @@ RUN set -e -x; \
|
||||||
mkdir -p /root/packages/vitastor-$REL; \
|
mkdir -p /root/packages/vitastor-$REL; \
|
||||||
rm -rf /root/packages/vitastor-$REL/*; \
|
rm -rf /root/packages/vitastor-$REL/*; \
|
||||||
cd /root/packages/vitastor-$REL; \
|
cd /root/packages/vitastor-$REL; \
|
||||||
cp -r /root/vitastor vitastor-1.2.0; \
|
FULLVER=$(head -n1 /root/vitastor/debian/changelog | perl -pe 's/^.*\((.*?)\).*$/$1/'); \
|
||||||
cd vitastor-1.2.0; \
|
VER=${FULLVER%%-*}; \
|
||||||
|
cp -r /root/vitastor vitastor-$VER; \
|
||||||
|
cd vitastor-$VER; \
|
||||||
ln -s /root/fio-build/fio-*/ ./fio; \
|
ln -s /root/fio-build/fio-*/ ./fio; \
|
||||||
FIO=$(head -n1 fio/debian/changelog | perl -pe 's/^.*\((.*?)\).*$/$1/'); \
|
FIO=$(head -n1 fio/debian/changelog | perl -pe 's/^.*\((.*?)\).*$/$1/'); \
|
||||||
ls /usr/include/linux/raw.h || cp ./debian/raw.h /usr/include/linux/raw.h; \
|
ls /usr/include/linux/raw.h || cp ./debian/raw.h /usr/include/linux/raw.h; \
|
||||||
|
@ -48,10 +51,14 @@ RUN set -e -x; \
|
||||||
echo fio-headers.patch >> debian/patches/series; \
|
echo fio-headers.patch >> debian/patches/series; \
|
||||||
rm -rf a b; \
|
rm -rf a b; \
|
||||||
echo "dep:fio=$FIO" > debian/fio_version; \
|
echo "dep:fio=$FIO" > debian/fio_version; \
|
||||||
|
cd /root/packages/vitastor-$REL/vitastor-$VER; \
|
||||||
|
mkdir mon/node_modules; \
|
||||||
|
cd mon/node_modules; \
|
||||||
|
curl -s https://git.yourcmc.ru/vitalif/antietcd/archive/master.tar.gz | tar -zx; \
|
||||||
|
curl -s https://git.yourcmc.ru/vitalif/tinyraft/archive/master.tar.gz | tar -zx; \
|
||||||
cd /root/packages/vitastor-$REL; \
|
cd /root/packages/vitastor-$REL; \
|
||||||
tar --sort=name --mtime='2020-01-01' --owner=0 --group=0 --exclude=debian -cJf vitastor_1.2.0.orig.tar.xz vitastor-1.2.0; \
|
tar --sort=name --mtime='2020-01-01' --owner=0 --group=0 --exclude=debian -cJf vitastor_$VER.orig.tar.xz vitastor-$VER; \
|
||||||
cd vitastor-1.2.0; \
|
cd vitastor-$VER; \
|
||||||
V=$(head -n1 debian/changelog | perl -pe 's/^.*\((.*?)\).*$/$1/'); \
|
DEBFULLNAME="Vitaliy Filippov <vitalif@yourcmc.ru>" dch -D $REL -v "$FULLVER""$REL" "Rebuild for $REL"; \
|
||||||
DEBFULLNAME="Vitaliy Filippov <vitalif@yourcmc.ru>" dch -D $REL -v "$V""$REL" "Rebuild for $REL"; \
|
|
||||||
DEB_BUILD_OPTIONS=nocheck dpkg-buildpackage --jobs=auto -sa; \
|
DEB_BUILD_OPTIONS=nocheck dpkg-buildpackage --jobs=auto -sa; \
|
||||||
rm -rf /root/packages/vitastor-$REL/vitastor-*/
|
rm -rf /root/packages/vitastor-$REL/vitastor-*/
|
||||||
|
|
|
@ -6,15 +6,69 @@
|
||||||
|
|
||||||
# Client Parameters
|
# Client Parameters
|
||||||
|
|
||||||
These parameters apply only to clients and affect their interaction with
|
These parameters apply only to Vitastor clients (QEMU, fio, NBD and so on) and
|
||||||
the cluster.
|
affect their interaction with the cluster.
|
||||||
|
|
||||||
|
- [client_iothread_count](#client_iothread_count)
|
||||||
|
- [client_retry_interval](#client_retry_interval)
|
||||||
|
- [client_eio_retry_interval](#client_eio_retry_interval)
|
||||||
|
- [client_retry_enospc](#client_retry_enospc)
|
||||||
- [client_max_dirty_bytes](#client_max_dirty_bytes)
|
- [client_max_dirty_bytes](#client_max_dirty_bytes)
|
||||||
- [client_max_dirty_ops](#client_max_dirty_ops)
|
- [client_max_dirty_ops](#client_max_dirty_ops)
|
||||||
- [client_enable_writeback](#client_enable_writeback)
|
- [client_enable_writeback](#client_enable_writeback)
|
||||||
- [client_max_buffered_bytes](#client_max_buffered_bytes)
|
- [client_max_buffered_bytes](#client_max_buffered_bytes)
|
||||||
- [client_max_buffered_ops](#client_max_buffered_ops)
|
- [client_max_buffered_ops](#client_max_buffered_ops)
|
||||||
- [client_max_writeback_iodepth](#client_max_writeback_iodepth)
|
- [client_max_writeback_iodepth](#client_max_writeback_iodepth)
|
||||||
|
- [nbd_timeout](#nbd_timeout)
|
||||||
|
- [nbd_max_devices](#nbd_max_devices)
|
||||||
|
- [nbd_max_part](#nbd_max_part)
|
||||||
|
- [osd_nearfull_ratio](#osd_nearfull_ratio)
|
||||||
|
|
||||||
|
## client_iothread_count
|
||||||
|
|
||||||
|
- Type: integer
|
||||||
|
- Default: 0
|
||||||
|
|
||||||
|
Number of separate threads for handling TCP network I/O at client library
|
||||||
|
side. Enabling 4 threads usually allows to increase peak performance of each
|
||||||
|
client from approx. 2-3 to 7-8 GByte/s linear read/write and from approx.
|
||||||
|
100-150 to 400 thousand iops, but at the same time it increases latency.
|
||||||
|
Latency increase depends on CPU: with CPU power saving disabled latency
|
||||||
|
only increases by ~10 us (equivalent to Q=1 iops decrease from 10500 to 9500),
|
||||||
|
with CPU power saving enabled it may be as high as 500 us (equivalent to Q=1
|
||||||
|
iops decrease from 2000 to 1000). RDMA isn't affected by this option.
|
||||||
|
|
||||||
|
It's recommended to enable client I/O threads if you don't use RDMA and want
|
||||||
|
to increase peak client performance.
|
||||||
|
|
||||||
|
## client_retry_interval
|
||||||
|
|
||||||
|
- Type: milliseconds
|
||||||
|
- Default: 50
|
||||||
|
- Minimum: 10
|
||||||
|
- Can be changed online: yes
|
||||||
|
|
||||||
|
Retry time for I/O requests failed due to inactive PGs or network
|
||||||
|
connectivity errors.
|
||||||
|
|
||||||
|
## client_eio_retry_interval
|
||||||
|
|
||||||
|
- Type: milliseconds
|
||||||
|
- Default: 1000
|
||||||
|
- Can be changed online: yes
|
||||||
|
|
||||||
|
Retry time for I/O requests failed due to data corruption or unfinished
|
||||||
|
EC object deletions (has_incomplete PG state). 0 disables such retries
|
||||||
|
and clients are not blocked and just get EIO error code instead.
|
||||||
|
|
||||||
|
## client_retry_enospc
|
||||||
|
|
||||||
|
- Type: boolean
|
||||||
|
- Default: true
|
||||||
|
- Can be changed online: yes
|
||||||
|
|
||||||
|
Retry writes on out of space errors to wait until some space is freed on
|
||||||
|
OSDs.
|
||||||
|
|
||||||
## client_max_dirty_bytes
|
## client_max_dirty_bytes
|
||||||
|
|
||||||
|
@ -101,3 +155,49 @@ Multiple consecutive modified data regions are counted as 1 write here.
|
||||||
- Can be changed online: yes
|
- Can be changed online: yes
|
||||||
|
|
||||||
Maximum number of parallel writes when flushing buffered data to the server.
|
Maximum number of parallel writes when flushing buffered data to the server.
|
||||||
|
|
||||||
|
## nbd_timeout
|
||||||
|
|
||||||
|
- Type: seconds
|
||||||
|
- Default: 300
|
||||||
|
|
||||||
|
Timeout for I/O operations for [NBD](../usage/nbd.en.md). If an operation
|
||||||
|
executes for longer than this timeout, including when your cluster is just
|
||||||
|
temporarily down for more than timeout, the NBD device will detach by itself
|
||||||
|
(and possibly break the mounted file system).
|
||||||
|
|
||||||
|
You can set timeout to 0 to never detach, but in that case you won't be
|
||||||
|
able to remove the kernel device at all if the NBD process dies - you'll have
|
||||||
|
to reboot the host.
|
||||||
|
|
||||||
|
## nbd_max_devices
|
||||||
|
|
||||||
|
- Type: integer
|
||||||
|
- Default: 64
|
||||||
|
|
||||||
|
Maximum number of NBD devices in the system. This value is passed as
|
||||||
|
`nbds_max` parameter for the nbd kernel module when vitastor-nbd autoloads it.
|
||||||
|
|
||||||
|
## nbd_max_part
|
||||||
|
|
||||||
|
- Type: integer
|
||||||
|
- Default: 3
|
||||||
|
|
||||||
|
Maximum number of partitions per NBD device. This value is passed as
|
||||||
|
`max_part` parameter for the nbd kernel module when vitastor-nbd autoloads it.
|
||||||
|
Note that (nbds_max)*(1+max_part) usually can't exceed 256.
|
||||||
|
|
||||||
|
## osd_nearfull_ratio
|
||||||
|
|
||||||
|
- Type: number
|
||||||
|
- Default: 0.95
|
||||||
|
- Can be changed online: yes
|
||||||
|
|
||||||
|
Ratio of used space on OSD to treat it as "almost full" in vitastor-cli status output.
|
||||||
|
|
||||||
|
Remember that some client writes may hang or complete with an error if even
|
||||||
|
just one OSD becomes 100 % full!
|
||||||
|
|
||||||
|
However, unlike in Ceph, 100 % full Vitastor OSDs don't crash (in Ceph they're
|
||||||
|
unable to start at all), so you'll be able to recover from "out of space" errors
|
||||||
|
without destroying and recreating OSDs.
|
||||||
|
|
|
@ -6,15 +6,71 @@
|
||||||
|
|
||||||
# Параметры клиентского кода
|
# Параметры клиентского кода
|
||||||
|
|
||||||
Данные параметры применяются только к клиентам Vitastor (QEMU, fio, NBD) и
|
Данные параметры применяются только к клиентам Vitastor (QEMU, fio, NBD и т.п.) и
|
||||||
затрагивают логику их работы с кластером.
|
затрагивают логику их работы с кластером.
|
||||||
|
|
||||||
|
- [client_iothread_count](#client_iothread_count)
|
||||||
|
- [client_retry_interval](#client_retry_interval)
|
||||||
|
- [client_eio_retry_interval](#client_eio_retry_interval)
|
||||||
|
- [client_retry_enospc](#client_retry_enospc)
|
||||||
- [client_max_dirty_bytes](#client_max_dirty_bytes)
|
- [client_max_dirty_bytes](#client_max_dirty_bytes)
|
||||||
- [client_max_dirty_ops](#client_max_dirty_ops)
|
- [client_max_dirty_ops](#client_max_dirty_ops)
|
||||||
- [client_enable_writeback](#client_enable_writeback)
|
- [client_enable_writeback](#client_enable_writeback)
|
||||||
- [client_max_buffered_bytes](#client_max_buffered_bytes)
|
- [client_max_buffered_bytes](#client_max_buffered_bytes)
|
||||||
- [client_max_buffered_ops](#client_max_buffered_ops)
|
- [client_max_buffered_ops](#client_max_buffered_ops)
|
||||||
- [client_max_writeback_iodepth](#client_max_writeback_iodepth)
|
- [client_max_writeback_iodepth](#client_max_writeback_iodepth)
|
||||||
|
- [nbd_timeout](#nbd_timeout)
|
||||||
|
- [nbd_max_devices](#nbd_max_devices)
|
||||||
|
- [nbd_max_part](#nbd_max_part)
|
||||||
|
- [osd_nearfull_ratio](#osd_nearfull_ratio)
|
||||||
|
|
||||||
|
## client_iothread_count
|
||||||
|
|
||||||
|
- Тип: целое число
|
||||||
|
- Значение по умолчанию: 0
|
||||||
|
|
||||||
|
Число отдельных потоков для обработки ввода-вывода через TCP сеть на стороне
|
||||||
|
клиентской библиотеки. Включение 4 потоков обычно позволяет поднять пиковую
|
||||||
|
производительность каждого клиента примерно с 2-3 до 7-8 Гбайт/с линейного
|
||||||
|
чтения/записи и примерно с 100-150 до 400 тысяч операций ввода-вывода в
|
||||||
|
секунду, но ухудшает задержку. Увеличение задержки зависит от процессора:
|
||||||
|
при отключённом энергосбережении CPU это всего ~10 микросекунд (равносильно
|
||||||
|
падению iops с Q=1 с 10500 до 9500), а при включённом это может быть
|
||||||
|
и 500 микросекунд (равносильно падению iops с Q=1 с 2000 до 1000). На работу
|
||||||
|
RDMA данная опция не влияет.
|
||||||
|
|
||||||
|
Рекомендуется включать клиентские потоки ввода-вывода, если вы не используете
|
||||||
|
RDMA и хотите повысить пиковую производительность клиентов.
|
||||||
|
|
||||||
|
## client_retry_interval
|
||||||
|
|
||||||
|
- Тип: миллисекунды
|
||||||
|
- Значение по умолчанию: 50
|
||||||
|
- Минимальное значение: 10
|
||||||
|
- Можно менять на лету: да
|
||||||
|
|
||||||
|
Время повтора запросов ввода-вывода, неудачных из-за неактивных PG или
|
||||||
|
ошибок сети.
|
||||||
|
|
||||||
|
## client_eio_retry_interval
|
||||||
|
|
||||||
|
- Тип: миллисекунды
|
||||||
|
- Значение по умолчанию: 1000
|
||||||
|
- Можно менять на лету: да
|
||||||
|
|
||||||
|
Время повтора запросов ввода-вывода, неудачных из-за повреждения данных
|
||||||
|
или незавершённых удалений EC-объектов (состояния PG has_incomplete).
|
||||||
|
0 отключает повторы таких запросов и клиенты не блокируются, а вместо
|
||||||
|
этого просто получают код ошибки EIO.
|
||||||
|
|
||||||
|
## client_retry_enospc
|
||||||
|
|
||||||
|
- Тип: булево (да/нет)
|
||||||
|
- Значение по умолчанию: true
|
||||||
|
- Можно менять на лету: да
|
||||||
|
|
||||||
|
Повторять запросы записи, завершившиеся с ошибками нехватки места, т.е.
|
||||||
|
ожидать, пока на OSD не освободится место.
|
||||||
|
|
||||||
## client_max_dirty_bytes
|
## client_max_dirty_bytes
|
||||||
|
|
||||||
|
@ -101,3 +157,51 @@
|
||||||
- Можно менять на лету: да
|
- Можно менять на лету: да
|
||||||
|
|
||||||
Максимальное число параллельных операций записи при сбросе буферов на сервер.
|
Максимальное число параллельных операций записи при сбросе буферов на сервер.
|
||||||
|
|
||||||
|
## nbd_timeout
|
||||||
|
|
||||||
|
- Тип: секунды
|
||||||
|
- Значение по умолчанию: 300
|
||||||
|
|
||||||
|
Таймаут для операций чтения/записи через [NBD](../usage/nbd.ru.md). Если
|
||||||
|
операция выполняется дольше таймаута, включая временную недоступность
|
||||||
|
кластера на время, большее таймаута, NBD-устройство отключится само собой
|
||||||
|
(и, возможно, сломает примонтированную ФС).
|
||||||
|
|
||||||
|
Вы можете установить таймаут в 0, чтобы никогда не отключать устройство по
|
||||||
|
таймауту, но в этом случае вы вообще не сможете удалить устройство, если
|
||||||
|
процесс NBD умрёт - вам придётся перезагружать сервер.
|
||||||
|
|
||||||
|
## nbd_max_devices
|
||||||
|
|
||||||
|
- Тип: целое число
|
||||||
|
- Значение по умолчанию: 64
|
||||||
|
|
||||||
|
Максимальное число NBD-устройств в системе. Данное значение передаётся
|
||||||
|
модулю ядра nbd как параметр `nbds_max`, когда его загружает vitastor-nbd.
|
||||||
|
|
||||||
|
## nbd_max_part
|
||||||
|
|
||||||
|
- Тип: целое число
|
||||||
|
- Значение по умолчанию: 3
|
||||||
|
|
||||||
|
Максимальное число разделов на одном NBD-устройстве. Данное значение передаётся
|
||||||
|
модулю ядра nbd как параметр `max_part`, когда его загружает vitastor-nbd.
|
||||||
|
Имейте в виду, что (nbds_max)*(1+max_part) обычно не может превышать 256.
|
||||||
|
|
||||||
|
## osd_nearfull_ratio
|
||||||
|
|
||||||
|
- Тип: число
|
||||||
|
- Значение по умолчанию: 0.95
|
||||||
|
- Можно менять на лету: да
|
||||||
|
|
||||||
|
Доля занятого места на OSD, начиная с которой он считается "почти заполненным" в
|
||||||
|
выводе vitastor-cli status.
|
||||||
|
|
||||||
|
Помните, что часть клиентских запросов может зависнуть или завершиться с ошибкой,
|
||||||
|
если на 100 % заполнится хотя бы 1 OSD!
|
||||||
|
|
||||||
|
Однако, в отличие от Ceph, заполненные на 100 % OSD Vitastor не падают (в Ceph
|
||||||
|
заполненные на 100% OSD вообще не могут стартовать), так что вы сможете
|
||||||
|
восстановить работу кластера после ошибок отсутствия свободного места
|
||||||
|
без уничтожения и пересоздания OSD.
|
||||||
|
|
|
@ -56,14 +56,24 @@ Can't be smaller than the OSD data device sector.
|
||||||
## immediate_commit
|
## immediate_commit
|
||||||
|
|
||||||
- Type: string
|
- Type: string
|
||||||
- Default: false
|
- Default: all
|
||||||
|
|
||||||
Another parameter which is really important for performance.
|
One of "none", "all" or "small". Global value, may be overriden [at pool level](pool.en.md#immediate_commit).
|
||||||
|
|
||||||
|
This parameter is also really important for performance.
|
||||||
|
|
||||||
|
TLDR: default "all" is optimal for server-grade SSDs with supercapacitor-based
|
||||||
|
power loss protection (nonvolatile write-through cache) and also for most HDDs.
|
||||||
|
"none" or "small" should be only selected if you use desktop SSDs without
|
||||||
|
capacitors or drives with slow write-back cache that can't be disabled. Check
|
||||||
|
immediate_commit of your OSDs in [ls-osd](../usage/cli.en.md#ls-osd).
|
||||||
|
|
||||||
|
Detailed explanation:
|
||||||
|
|
||||||
Desktop SSDs are very fast (100000+ iops) for simple random writes
|
Desktop SSDs are very fast (100000+ iops) for simple random writes
|
||||||
without cache flush. However, they are really slow (only around 1000 iops)
|
without cache flush. However, they are really slow (only around 1000 iops)
|
||||||
if you try to fsync() each write, that is, when you want to guarantee that
|
if you try to fsync() each write, that is, if you want to guarantee that
|
||||||
each change gets immediately persisted to the physical media.
|
each change gets actually persisted to the physical media.
|
||||||
|
|
||||||
Server-grade SSDs with "Advanced/Enhanced Power Loss Protection" or with
|
Server-grade SSDs with "Advanced/Enhanced Power Loss Protection" or with
|
||||||
"Supercapacitor-based Power Loss Protection", on the other hand, are equally
|
"Supercapacitor-based Power Loss Protection", on the other hand, are equally
|
||||||
|
@ -75,8 +85,8 @@ really slow when used with desktop SSDs. Vitastor, however, can also
|
||||||
efficiently utilize desktop SSDs by postponing fsync until the client calls
|
efficiently utilize desktop SSDs by postponing fsync until the client calls
|
||||||
it explicitly.
|
it explicitly.
|
||||||
|
|
||||||
This is what this parameter regulates. When it's set to "all" the whole
|
This is what this parameter regulates. When it's set to "all" Vitastor
|
||||||
Vitastor cluster commits each change to disks immediately and clients just
|
cluster commits each change to disks immediately and clients just
|
||||||
ignore fsyncs because they know for sure that they're unneeded. This reduces
|
ignore fsyncs because they know for sure that they're unneeded. This reduces
|
||||||
the amount of network roundtrips performed by clients and improves
|
the amount of network roundtrips performed by clients and improves
|
||||||
performance. So it's always better to use server grade SSDs with
|
performance. So it's always better to use server grade SSDs with
|
||||||
|
@ -99,9 +109,5 @@ Setting this parameter to "all" or "small" in OSD parameters requires enabling
|
||||||
[disable_journal_fsync](layout-osd.en.yml#disable_journal_fsync) and
|
[disable_journal_fsync](layout-osd.en.yml#disable_journal_fsync) and
|
||||||
[disable_meta_fsync](layout-osd.en.yml#disable_meta_fsync), setting it to
|
[disable_meta_fsync](layout-osd.en.yml#disable_meta_fsync), setting it to
|
||||||
"all" also requires enabling [disable_data_fsync](layout-osd.en.yml#disable_data_fsync).
|
"all" also requires enabling [disable_data_fsync](layout-osd.en.yml#disable_data_fsync).
|
||||||
|
vitastor-disk tried to do that by default, first checking/disabling drive cache.
|
||||||
TLDR: For optimal performance, set immediate_commit to "all" if you only use
|
If it can't disable drive cache, OSD get initialized with "none".
|
||||||
SSDs with supercapacitor-based power loss protection (nonvolatile
|
|
||||||
write-through cache) for both data and journals in the whole Vitastor
|
|
||||||
cluster. Set it to "small" if you only use such SSDs for journals. Leave
|
|
||||||
empty if your drives have write-back cache.
|
|
||||||
|
|
|
@ -57,9 +57,18 @@ amplification) и эффективность распределения нагр
|
||||||
## immediate_commit
|
## immediate_commit
|
||||||
|
|
||||||
- Тип: строка
|
- Тип: строка
|
||||||
- Значение по умолчанию: false
|
- Значение по умолчанию: all
|
||||||
|
|
||||||
Ещё один важный для производительности параметр.
|
Одно из значений "none", "small" или "all". Глобальное значение, может быть
|
||||||
|
переопределено [на уровне пула](pool.ru.md#immediate_commit).
|
||||||
|
|
||||||
|
Данный параметр тоже важен для производительности.
|
||||||
|
|
||||||
|
Вкратце: значение по умолчанию "all" оптимально для всех серверных SSD с
|
||||||
|
суперконденсаторами и также для большинства HDD. "none" и "small" имеет смысл
|
||||||
|
устанавливать только при использовании SSD настольного класса без
|
||||||
|
суперконденсаторов или дисков с медленным неотключаемым кэшем записи.
|
||||||
|
Проверьте настройку immediate_commit своих OSD в выводе команды [ls-osd](../usage/cli.ru.md#ls-osd).
|
||||||
|
|
||||||
Модели SSD для настольных компьютеров очень быстрые (100000+ операций в
|
Модели SSD для настольных компьютеров очень быстрые (100000+ операций в
|
||||||
секунду) при простой случайной записи без сбросов кэша. Однако они очень
|
секунду) при простой случайной записи без сбросов кэша. Однако они очень
|
||||||
|
@ -80,7 +89,7 @@ Power Loss Protection" - одинаково быстрые и со сбросо
|
||||||
эффективно утилизировать настольные SSD.
|
эффективно утилизировать настольные SSD.
|
||||||
|
|
||||||
Данный параметр влияет как раз на это. Когда он установлен в значение "all",
|
Данный параметр влияет как раз на это. Когда он установлен в значение "all",
|
||||||
весь кластер Vitastor мгновенно фиксирует каждое изменение на физические
|
кластер Vitastor мгновенно фиксирует каждое изменение на физические
|
||||||
носители и клиенты могут просто игнорировать запросы fsync, т.к. они точно
|
носители и клиенты могут просто игнорировать запросы fsync, т.к. они точно
|
||||||
знают, что fsync-и не нужны. Это уменьшает число необходимых обращений к OSD
|
знают, что fsync-и не нужны. Это уменьшает число необходимых обращений к OSD
|
||||||
по сети и улучшает производительность. Поэтому даже с Vitastor лучше всегда
|
по сети и улучшает производительность. Поэтому даже с Vitastor лучше всегда
|
||||||
|
@ -106,10 +115,3 @@ HDD-дисках с внутренним SSD или "медиа" кэшем - н
|
||||||
включения [disable_journal_fsync](layout-osd.ru.yml#disable_journal_fsync) и
|
включения [disable_journal_fsync](layout-osd.ru.yml#disable_journal_fsync) и
|
||||||
[disable_meta_fsync](layout-osd.ru.yml#disable_meta_fsync), значение "all"
|
[disable_meta_fsync](layout-osd.ru.yml#disable_meta_fsync), значение "all"
|
||||||
также требует включения [disable_data_fsync](layout-osd.ru.yml#disable_data_fsync).
|
также требует включения [disable_data_fsync](layout-osd.ru.yml#disable_data_fsync).
|
||||||
|
|
||||||
Итого, вкратце: для оптимальной производительности установите
|
|
||||||
immediate_commit в значение "all", если вы используете в кластере только SSD
|
|
||||||
с суперконденсаторами и для данных, и для журналов. Если вы используете
|
|
||||||
такие SSD для всех журналов, но не для данных - можете установить параметр
|
|
||||||
в "small". Если и какие-то из дисков журналов имеют волатильный кэш записи -
|
|
||||||
оставьте параметр пустым.
|
|
||||||
|
|
|
@ -8,6 +8,14 @@
|
||||||
|
|
||||||
These parameters only apply to Monitors.
|
These parameters only apply to Monitors.
|
||||||
|
|
||||||
|
- [use_antietcd](#use_antietcd)
|
||||||
|
- [enable_prometheus](#enable_prometheus)
|
||||||
|
- [mon_http_port](#mon_http_port)
|
||||||
|
- [mon_http_ip](#mon_http_ip)
|
||||||
|
- [mon_https_cert](#mon_https_cert)
|
||||||
|
- [mon_https_key](#mon_https_key)
|
||||||
|
- [mon_https_client_auth](#mon_https_client_auth)
|
||||||
|
- [mon_https_ca](#mon_https_ca)
|
||||||
- [etcd_mon_ttl](#etcd_mon_ttl)
|
- [etcd_mon_ttl](#etcd_mon_ttl)
|
||||||
- [etcd_mon_timeout](#etcd_mon_timeout)
|
- [etcd_mon_timeout](#etcd_mon_timeout)
|
||||||
- [etcd_mon_retries](#etcd_mon_retries)
|
- [etcd_mon_retries](#etcd_mon_retries)
|
||||||
|
@ -15,12 +23,94 @@ These parameters only apply to Monitors.
|
||||||
- [mon_stats_timeout](#mon_stats_timeout)
|
- [mon_stats_timeout](#mon_stats_timeout)
|
||||||
- [osd_out_time](#osd_out_time)
|
- [osd_out_time](#osd_out_time)
|
||||||
- [placement_levels](#placement_levels)
|
- [placement_levels](#placement_levels)
|
||||||
|
- [use_old_pg_combinator](#use_old_pg_combinator)
|
||||||
|
|
||||||
|
## use_antietcd
|
||||||
|
|
||||||
|
- Type: boolean
|
||||||
|
- Default: false
|
||||||
|
|
||||||
|
Enable experimental built-in etcd replacement (clustered key-value database):
|
||||||
|
[antietcd](https://git.yourcmc.ru/vitalif/antietcd/).
|
||||||
|
|
||||||
|
When set to true, monitor runs internal antietcd automatically if it finds
|
||||||
|
a network interface with an IP address matching one of addresses in the
|
||||||
|
`etcd_address` configuration option (in `/etc/vitastor/vitastor.conf` or in
|
||||||
|
the monitor command line). If there are multiple matching addresses, it also
|
||||||
|
checks `antietcd_port` and antietcd is started for address with matching port.
|
||||||
|
By default, antietcd accepts connection on the selected IP address, but it
|
||||||
|
can also be overridden manually in the `antietcd_ip` option.
|
||||||
|
|
||||||
|
When antietcd is started, monitor stores cluster metadata itself and exposes
|
||||||
|
a etcd-compatible REST API. On disk, these metadata are stored in
|
||||||
|
`/var/lib/vitastor/mon_2379.json.gz` (can be overridden in antietcd_data_file
|
||||||
|
or antietcd_data_dir options). All other antietcd parameters
|
||||||
|
(see [here](https://git.yourcmc.ru/vitalif/antietcd/)) except node_id,
|
||||||
|
cluster, cluster_key, persist_filter, stale_read can also be set in
|
||||||
|
Vitastor configuration with `antietcd_` prefix.
|
||||||
|
|
||||||
|
You can dump/load data to or from antietcd using Antietcd `anticli` tool:
|
||||||
|
|
||||||
|
```
|
||||||
|
npm exec anticli -e http://etcd:2379/v3 get --prefix '' --no-temp > dump.json
|
||||||
|
npm exec anticli -e http://antietcd:2379/v3 load < dump.json
|
||||||
|
```
|
||||||
|
|
||||||
|
## enable_prometheus
|
||||||
|
|
||||||
|
- Type: boolean
|
||||||
|
- Default: true
|
||||||
|
|
||||||
|
Enable built-in Prometheus metrics exporter at mon_http_port (8060 by default).
|
||||||
|
|
||||||
|
Note that only the active (master) monitor exposes metrics, others return
|
||||||
|
HTTP 503. So you should add all monitor URLs to your Prometheus job configuration.
|
||||||
|
|
||||||
|
Grafana dashboard suitable for this exporter is here: [Vitastor-Grafana-6+.json](../../mon/scripts/Vitastor-Grafana-6+.json).
|
||||||
|
|
||||||
|
## mon_http_port
|
||||||
|
|
||||||
|
- Type: integer
|
||||||
|
- Default: 8060
|
||||||
|
|
||||||
|
HTTP port for monitors to listen on (including metrics exporter)
|
||||||
|
|
||||||
|
## mon_http_ip
|
||||||
|
|
||||||
|
- Type: string
|
||||||
|
|
||||||
|
IP address for monitors to listen on (all addresses by default)
|
||||||
|
|
||||||
|
## mon_https_cert
|
||||||
|
|
||||||
|
- Type: string
|
||||||
|
|
||||||
|
Path to PEM SSL certificate file for monitor to listen using HTTPS
|
||||||
|
|
||||||
|
## mon_https_key
|
||||||
|
|
||||||
|
- Type: string
|
||||||
|
|
||||||
|
Path to PEM SSL private key file for monitor to listen using HTTPS
|
||||||
|
|
||||||
|
## mon_https_client_auth
|
||||||
|
|
||||||
|
- Type: boolean
|
||||||
|
- Default: false
|
||||||
|
|
||||||
|
Enable HTTPS client certificate-based authorization for monitor connections
|
||||||
|
|
||||||
|
## mon_https_ca
|
||||||
|
|
||||||
|
- Type: string
|
||||||
|
|
||||||
|
Path to CA certificate for client HTTPS authorization
|
||||||
|
|
||||||
## etcd_mon_ttl
|
## etcd_mon_ttl
|
||||||
|
|
||||||
- Type: seconds
|
- Type: seconds
|
||||||
- Default: 30
|
- Default: 1
|
||||||
- Minimum: 10
|
- Minimum: 5
|
||||||
|
|
||||||
Monitor etcd lease refresh interval in seconds
|
Monitor etcd lease refresh interval in seconds
|
||||||
|
|
||||||
|
@ -77,3 +167,11 @@ values. Smaller priority means higher level in tree. For example,
|
||||||
levels are always predefined and can't be removed. If one of them is not
|
levels are always predefined and can't be removed. If one of them is not
|
||||||
present in the configuration, then it is defined with the default priority
|
present in the configuration, then it is defined with the default priority
|
||||||
(100 for "host", 101 for "osd").
|
(100 for "host", 101 for "osd").
|
||||||
|
|
||||||
|
## use_old_pg_combinator
|
||||||
|
|
||||||
|
- Type: boolean
|
||||||
|
- Default: false
|
||||||
|
|
||||||
|
Use the old PG combination generator which doesn't support [level_placement](pool.en.md#level_placement)
|
||||||
|
and [raw_placement](pool.en.md#raw_placement) for pools which don't use this features.
|
||||||
|
|
|
@ -8,6 +8,14 @@
|
||||||
|
|
||||||
Данные параметры используются только мониторами Vitastor.
|
Данные параметры используются только мониторами Vitastor.
|
||||||
|
|
||||||
|
- [use_antietcd](#use_antietcd)
|
||||||
|
- [enable_prometheus](#enable_prometheus)
|
||||||
|
- [mon_http_port](#mon_http_port)
|
||||||
|
- [mon_http_ip](#mon_http_ip)
|
||||||
|
- [mon_https_cert](#mon_https_cert)
|
||||||
|
- [mon_https_key](#mon_https_key)
|
||||||
|
- [mon_https_client_auth](#mon_https_client_auth)
|
||||||
|
- [mon_https_ca](#mon_https_ca)
|
||||||
- [etcd_mon_ttl](#etcd_mon_ttl)
|
- [etcd_mon_ttl](#etcd_mon_ttl)
|
||||||
- [etcd_mon_timeout](#etcd_mon_timeout)
|
- [etcd_mon_timeout](#etcd_mon_timeout)
|
||||||
- [etcd_mon_retries](#etcd_mon_retries)
|
- [etcd_mon_retries](#etcd_mon_retries)
|
||||||
|
@ -15,12 +23,96 @@
|
||||||
- [mon_stats_timeout](#mon_stats_timeout)
|
- [mon_stats_timeout](#mon_stats_timeout)
|
||||||
- [osd_out_time](#osd_out_time)
|
- [osd_out_time](#osd_out_time)
|
||||||
- [placement_levels](#placement_levels)
|
- [placement_levels](#placement_levels)
|
||||||
|
- [use_old_pg_combinator](#use_old_pg_combinator)
|
||||||
|
|
||||||
|
## use_antietcd
|
||||||
|
|
||||||
|
- Тип: булево (да/нет)
|
||||||
|
- Значение по умолчанию: false
|
||||||
|
|
||||||
|
Включить экспериментальный встроенный заменитель etcd (кластерную БД ключ-значение):
|
||||||
|
[antietcd](https://git.yourcmc.ru/vitalif/antietcd/).
|
||||||
|
|
||||||
|
Если параметр установлен в true, монитор запускает antietcd автоматически,
|
||||||
|
если обнаруживает сетевой интерфейс с одним из адресов, указанных в опции
|
||||||
|
конфигурации `etcd_address` (в `/etc/vitastor/vitastor.conf` или в опциях
|
||||||
|
командной строки монитора). Если таких адресов несколько, также проверяется
|
||||||
|
опция `antietcd_port` и antietcd запускается для адреса с соответствующим
|
||||||
|
портом. По умолчанию antietcd принимает подключения по выбранному совпадающему
|
||||||
|
IP, но его также можно определить вручную опцией `antietcd_ip`.
|
||||||
|
|
||||||
|
При запуске antietcd монитор сам хранит центральные метаданные кластера и
|
||||||
|
выставляет etcd-совместимое REST API. На диске эти метаданные хранятся в файле
|
||||||
|
`/var/lib/vitastor/mon_2379.json.gz` (можно переопределить параметрами
|
||||||
|
antietcd_data_file или antietcd_data_dir). Все остальные параметры antietcd
|
||||||
|
(смотрите [по ссылке](https://git.yourcmc.ru/vitalif/antietcd/)), за исключением
|
||||||
|
node_id, cluster, cluster_key, persist_filter, stale_read также можно задавать
|
||||||
|
в конфигурации Vitastor с префиксом `antietcd_`.
|
||||||
|
|
||||||
|
Вы можете выгружать/загружать данные в или из antietcd с помощью его инструмента
|
||||||
|
`anticli`:
|
||||||
|
|
||||||
|
```
|
||||||
|
npm exec anticli -e http://etcd:2379/v3 get --prefix '' --no-temp > dump.json
|
||||||
|
npm exec anticli -e http://antietcd:2379/v3 load < dump.json
|
||||||
|
```
|
||||||
|
|
||||||
|
## enable_prometheus
|
||||||
|
|
||||||
|
- Тип: булево (да/нет)
|
||||||
|
- Значение по умолчанию: true
|
||||||
|
|
||||||
|
Включить встроенный Prometheus-экспортер метрик на порту mon_http_port (по умолчанию 8060).
|
||||||
|
|
||||||
|
Обратите внимание, что метрики выставляет только активный (главный) монитор, остальные
|
||||||
|
возвращают статус HTTP 503, поэтому вам следует добавлять адреса всех мониторов
|
||||||
|
в задание по сбору метрик Prometheus.
|
||||||
|
|
||||||
|
Дашборд для Grafana, подходящий для этого экспортера: [Vitastor-Grafana-6+.json](../../mon/scripts/Vitastor-Grafana-6+.json).
|
||||||
|
|
||||||
|
## mon_http_port
|
||||||
|
|
||||||
|
- Тип: целое число
|
||||||
|
- Значение по умолчанию: 8060
|
||||||
|
|
||||||
|
Порт, на котором мониторы принимают HTTP-соединения (в том числе для отдачи метрик)
|
||||||
|
|
||||||
|
## mon_http_ip
|
||||||
|
|
||||||
|
- Тип: строка
|
||||||
|
|
||||||
|
IP-адрес, на котором мониторы принимают HTTP-соединения (по умолчанию все адреса)
|
||||||
|
|
||||||
|
## mon_https_cert
|
||||||
|
|
||||||
|
- Тип: строка
|
||||||
|
|
||||||
|
Путь к PEM-файлу SSL-сертификата для монитора, чтобы принимать соединения через HTTPS
|
||||||
|
|
||||||
|
## mon_https_key
|
||||||
|
|
||||||
|
- Тип: строка
|
||||||
|
|
||||||
|
Путь к PEM-файлу секретного SSL-ключа для монитора, чтобы принимать соединения через HTTPS
|
||||||
|
|
||||||
|
## mon_https_client_auth
|
||||||
|
|
||||||
|
- Тип: булево (да/нет)
|
||||||
|
- Значение по умолчанию: false
|
||||||
|
|
||||||
|
Включить в HTTPS-сервере монитора авторизацию по клиентским сертификатам
|
||||||
|
|
||||||
|
## mon_https_ca
|
||||||
|
|
||||||
|
- Тип: строка
|
||||||
|
|
||||||
|
Путь к удостоверяющему сертификату для авторизации клиентских HTTPS соединений
|
||||||
|
|
||||||
## etcd_mon_ttl
|
## etcd_mon_ttl
|
||||||
|
|
||||||
- Тип: секунды
|
- Тип: секунды
|
||||||
- Значение по умолчанию: 30
|
- Значение по умолчанию: 1
|
||||||
- Минимальное значение: 10
|
- Минимальное значение: 5
|
||||||
|
|
||||||
Интервал обновления etcd резервации (lease) монитором
|
Интервал обновления etcd резервации (lease) монитором
|
||||||
|
|
||||||
|
@ -78,3 +170,11 @@ OSD перед обновлением агрегированной статис
|
||||||
"host" и "osd" являются предопределёнными и не могут быть удалены. Если
|
"host" и "osd" являются предопределёнными и не могут быть удалены. Если
|
||||||
один из них отсутствует в конфигурации, он доопределяется с приоритетом по
|
один из них отсутствует в конфигурации, он доопределяется с приоритетом по
|
||||||
умолчанию (100 для уровня "host", 101 для "osd").
|
умолчанию (100 для уровня "host", 101 для "osd").
|
||||||
|
|
||||||
|
## use_old_pg_combinator
|
||||||
|
|
||||||
|
- Тип: булево (да/нет)
|
||||||
|
- Значение по умолчанию: false
|
||||||
|
|
||||||
|
Использовать старый генератор комбинаций PG, не поддерживающий [level_placement](pool.ru.md#level_placement)
|
||||||
|
и [raw_placement](pool.ru.md#raw_placement) для пулов, которые не используют данные функции.
|
||||||
|
|
|
@ -20,16 +20,16 @@ between clients, OSDs and etcd.
|
||||||
- [rdma_max_msg](#rdma_max_msg)
|
- [rdma_max_msg](#rdma_max_msg)
|
||||||
- [rdma_max_recv](#rdma_max_recv)
|
- [rdma_max_recv](#rdma_max_recv)
|
||||||
- [rdma_max_send](#rdma_max_send)
|
- [rdma_max_send](#rdma_max_send)
|
||||||
|
- [rdma_odp](#rdma_odp)
|
||||||
- [peer_connect_interval](#peer_connect_interval)
|
- [peer_connect_interval](#peer_connect_interval)
|
||||||
- [peer_connect_timeout](#peer_connect_timeout)
|
- [peer_connect_timeout](#peer_connect_timeout)
|
||||||
- [osd_idle_timeout](#osd_idle_timeout)
|
- [osd_idle_timeout](#osd_idle_timeout)
|
||||||
- [osd_ping_timeout](#osd_ping_timeout)
|
- [osd_ping_timeout](#osd_ping_timeout)
|
||||||
- [up_wait_retry_interval](#up_wait_retry_interval)
|
|
||||||
- [max_etcd_attempts](#max_etcd_attempts)
|
- [max_etcd_attempts](#max_etcd_attempts)
|
||||||
- [etcd_quick_timeout](#etcd_quick_timeout)
|
- [etcd_quick_timeout](#etcd_quick_timeout)
|
||||||
- [etcd_slow_timeout](#etcd_slow_timeout)
|
- [etcd_slow_timeout](#etcd_slow_timeout)
|
||||||
- [etcd_keepalive_timeout](#etcd_keepalive_timeout)
|
- [etcd_keepalive_timeout](#etcd_keepalive_timeout)
|
||||||
- [etcd_ws_keepalive_timeout](#etcd_ws_keepalive_timeout)
|
- [etcd_ws_keepalive_interval](#etcd_ws_keepalive_interval)
|
||||||
|
|
||||||
## tcp_header_buffer_size
|
## tcp_header_buffer_size
|
||||||
|
|
||||||
|
@ -68,11 +68,14 @@ but they are not connected to the cluster.
|
||||||
- Type: string
|
- Type: string
|
||||||
|
|
||||||
RDMA device name to use for Vitastor OSD communications (for example,
|
RDMA device name to use for Vitastor OSD communications (for example,
|
||||||
"rocep5s0f0"). Please note that Vitastor RDMA requires Implicit On-Demand
|
"rocep5s0f0"). Now Vitastor supports all adapters, even ones without
|
||||||
Paging (Implicit ODP) and Scatter/Gather (SG) support from the RDMA device
|
ODP support, like Mellanox ConnectX-3 and non-Mellanox cards.
|
||||||
to work. For example, Mellanox ConnectX-3 and older adapters don't have
|
|
||||||
Implicit ODP, so they're unsupported by Vitastor. Run `ibv_devinfo -v` as
|
Versions up to Vitastor 1.2.0 required ODP which is only present in
|
||||||
root to list available RDMA devices and their features.
|
Mellanox ConnectX >= 4. See also [rdma_odp](#rdma_odp).
|
||||||
|
|
||||||
|
Run `ibv_devinfo -v` as root to list available RDMA devices and their
|
||||||
|
features.
|
||||||
|
|
||||||
Remember that you also have to configure your network switches if you use
|
Remember that you also have to configure your network switches if you use
|
||||||
RoCE/RoCEv2, otherwise you may experience unstable performance. Refer to
|
RoCE/RoCEv2, otherwise you may experience unstable performance. Refer to
|
||||||
|
@ -147,6 +150,28 @@ less than `rdma_max_recv` so the receiving side doesn't run out of buffers.
|
||||||
Doesn't affect memory usage - additional memory isn't allocated for send
|
Doesn't affect memory usage - additional memory isn't allocated for send
|
||||||
operations.
|
operations.
|
||||||
|
|
||||||
|
## rdma_odp
|
||||||
|
|
||||||
|
- Type: boolean
|
||||||
|
- Default: false
|
||||||
|
|
||||||
|
Use RDMA with On-Demand Paging. ODP is currently only available on Mellanox
|
||||||
|
ConnectX-4 and newer adapters. ODP allows to not register memory explicitly
|
||||||
|
for RDMA adapter to be able to use it. This, in turn, allows to skip memory
|
||||||
|
copying during sending. One would think this should improve performance, but
|
||||||
|
**in reality** RDMA performance with ODP is **drastically** worse. Example
|
||||||
|
3-node cluster with 8 NVMe in each node and 2*25 GBit/s ConnectX-6 RDMA network
|
||||||
|
without ODP pushes 3950000 read iops, but only 239000 iops with ODP...
|
||||||
|
|
||||||
|
This happens because Mellanox ODP implementation seems to be based on
|
||||||
|
message retransmissions when the adapter doesn't know about the buffer yet -
|
||||||
|
it likely uses standard "RNR retransmissions" (RNR = receiver not ready)
|
||||||
|
which is generally slow in RDMA/RoCE networks. Here's a presentation about
|
||||||
|
it from ISPASS-2021 conference: https://tkygtr6.github.io/pub/ISPASS21_slides.pdf
|
||||||
|
|
||||||
|
ODP support is retained in the code just in case a good ODP implementation
|
||||||
|
appears one day.
|
||||||
|
|
||||||
## peer_connect_interval
|
## peer_connect_interval
|
||||||
|
|
||||||
- Type: seconds
|
- Type: seconds
|
||||||
|
@ -186,17 +211,6 @@ Maximum time to wait for OSD keepalive responses. If an OSD doesn't respond
|
||||||
within this time, the connection to it is dropped and a reconnection attempt
|
within this time, the connection to it is dropped and a reconnection attempt
|
||||||
is scheduled.
|
is scheduled.
|
||||||
|
|
||||||
## up_wait_retry_interval
|
|
||||||
|
|
||||||
- Type: milliseconds
|
|
||||||
- Default: 500
|
|
||||||
- Minimum: 50
|
|
||||||
- Can be changed online: yes
|
|
||||||
|
|
||||||
OSDs respond to clients with a special error code when they receive I/O
|
|
||||||
requests for a PG that's not synchronized and started. This parameter sets
|
|
||||||
the time for the clients to wait before re-attempting such I/O requests.
|
|
||||||
|
|
||||||
## max_etcd_attempts
|
## max_etcd_attempts
|
||||||
|
|
||||||
- Type: integer
|
- Type: integer
|
||||||
|
@ -231,10 +245,10 @@ Timeout for etcd requests which are allowed to wait for some time.
|
||||||
Timeout for etcd connection HTTP Keep-Alive. Should be higher than
|
Timeout for etcd connection HTTP Keep-Alive. Should be higher than
|
||||||
etcd_report_interval to guarantee that keepalive actually works.
|
etcd_report_interval to guarantee that keepalive actually works.
|
||||||
|
|
||||||
## etcd_ws_keepalive_timeout
|
## etcd_ws_keepalive_interval
|
||||||
|
|
||||||
- Type: seconds
|
- Type: seconds
|
||||||
- Default: 30
|
- Default: 5
|
||||||
- Can be changed online: yes
|
- Can be changed online: yes
|
||||||
|
|
||||||
etcd websocket ping interval required to keep the connection alive and
|
etcd websocket ping interval required to keep the connection alive and
|
||||||
|
|
|
@ -20,16 +20,16 @@
|
||||||
- [rdma_max_msg](#rdma_max_msg)
|
- [rdma_max_msg](#rdma_max_msg)
|
||||||
- [rdma_max_recv](#rdma_max_recv)
|
- [rdma_max_recv](#rdma_max_recv)
|
||||||
- [rdma_max_send](#rdma_max_send)
|
- [rdma_max_send](#rdma_max_send)
|
||||||
|
- [rdma_odp](#rdma_odp)
|
||||||
- [peer_connect_interval](#peer_connect_interval)
|
- [peer_connect_interval](#peer_connect_interval)
|
||||||
- [peer_connect_timeout](#peer_connect_timeout)
|
- [peer_connect_timeout](#peer_connect_timeout)
|
||||||
- [osd_idle_timeout](#osd_idle_timeout)
|
- [osd_idle_timeout](#osd_idle_timeout)
|
||||||
- [osd_ping_timeout](#osd_ping_timeout)
|
- [osd_ping_timeout](#osd_ping_timeout)
|
||||||
- [up_wait_retry_interval](#up_wait_retry_interval)
|
|
||||||
- [max_etcd_attempts](#max_etcd_attempts)
|
- [max_etcd_attempts](#max_etcd_attempts)
|
||||||
- [etcd_quick_timeout](#etcd_quick_timeout)
|
- [etcd_quick_timeout](#etcd_quick_timeout)
|
||||||
- [etcd_slow_timeout](#etcd_slow_timeout)
|
- [etcd_slow_timeout](#etcd_slow_timeout)
|
||||||
- [etcd_keepalive_timeout](#etcd_keepalive_timeout)
|
- [etcd_keepalive_timeout](#etcd_keepalive_timeout)
|
||||||
- [etcd_ws_keepalive_timeout](#etcd_ws_keepalive_timeout)
|
- [etcd_ws_keepalive_interval](#etcd_ws_keepalive_interval)
|
||||||
|
|
||||||
## tcp_header_buffer_size
|
## tcp_header_buffer_size
|
||||||
|
|
||||||
|
@ -71,12 +71,15 @@ RDMA может быть нужно только если у клиентов е
|
||||||
- Тип: строка
|
- Тип: строка
|
||||||
|
|
||||||
Название RDMA-устройства для связи с Vitastor OSD (например, "rocep5s0f0").
|
Название RDMA-устройства для связи с Vitastor OSD (например, "rocep5s0f0").
|
||||||
Имейте в виду, что поддержка RDMA в Vitastor требует функций устройства
|
Сейчас Vitastor поддерживает все модели адаптеров, включая те, у которых
|
||||||
Implicit On-Demand Paging (Implicit ODP) и Scatter/Gather (SG). Например,
|
нет поддержки ODP, то есть вы можете использовать RDMA с ConnectX-3 и
|
||||||
адаптеры Mellanox ConnectX-3 и более старые не поддерживают Implicit ODP и
|
картами производства не Mellanox.
|
||||||
потому не поддерживаются в Vitastor. Запустите `ibv_devinfo -v` от имени
|
|
||||||
суперпользователя, чтобы посмотреть список доступных RDMA-устройств, их
|
Версии Vitastor до 1.2.0 включительно требовали ODP, который есть только
|
||||||
параметры и возможности.
|
на Mellanox ConnectX 4 и более новых. См. также [rdma_odp](#rdma_odp).
|
||||||
|
|
||||||
|
Запустите `ibv_devinfo -v` от имени суперпользователя, чтобы посмотреть
|
||||||
|
список доступных RDMA-устройств, их параметры и возможности.
|
||||||
|
|
||||||
Обратите внимание, что если вы используете RoCE/RoCEv2, вам также необходимо
|
Обратите внимание, что если вы используете RoCE/RoCEv2, вам также необходимо
|
||||||
правильно настроить для него коммутаторы, иначе вы можете столкнуться с
|
правильно настроить для него коммутаторы, иначе вы можете столкнуться с
|
||||||
|
@ -155,6 +158,29 @@ OSD в любом случае согласовывают реальное зн
|
||||||
Не влияет на потребление памяти - дополнительная память на операции отправки
|
Не влияет на потребление памяти - дополнительная память на операции отправки
|
||||||
не выделяется.
|
не выделяется.
|
||||||
|
|
||||||
|
## rdma_odp
|
||||||
|
|
||||||
|
- Тип: булево (да/нет)
|
||||||
|
- Значение по умолчанию: false
|
||||||
|
|
||||||
|
Использовать RDMA с On-Demand Paging. ODP - функция, доступная пока что
|
||||||
|
исключительно на адаптерах Mellanox ConnectX-4 и более новых. ODP позволяет
|
||||||
|
не регистрировать память для её использования RDMA-картой. Благодаря этому
|
||||||
|
можно не копировать данные при отправке их в сеть и, казалось бы, это должно
|
||||||
|
улучшать производительность - но **по факту** получается так, что
|
||||||
|
производительность только ухудшается, причём сильно. Пример - на 3-узловом
|
||||||
|
кластере с 8 NVMe в каждом узле и сетью 2*25 Гбит/с на чтение с RDMA без ODP
|
||||||
|
удаётся снять 3950000 iops, а с ODP - всего 239000 iops...
|
||||||
|
|
||||||
|
Это происходит из-за того, что реализация ODP у Mellanox неоптимальная и
|
||||||
|
основана на повторной передаче сообщений, когда карте не известен буфер -
|
||||||
|
вероятно, на стандартных "RNR retransmission" (RNR = receiver not ready).
|
||||||
|
А данные повторные передачи в RDMA/RoCE - всегда очень медленная штука.
|
||||||
|
Презентация на эту тему с конференции ISPASS-2021: https://tkygtr6.github.io/pub/ISPASS21_slides.pdf
|
||||||
|
|
||||||
|
Возможность использования ODP сохранена в коде на случай, если вдруг в один
|
||||||
|
прекрасный день появится хорошая реализация ODP.
|
||||||
|
|
||||||
## peer_connect_interval
|
## peer_connect_interval
|
||||||
|
|
||||||
- Тип: секунды
|
- Тип: секунды
|
||||||
|
@ -194,19 +220,6 @@ OSD в любом случае согласовывают реальное зн
|
||||||
Если OSD не отвечает за это время, соединение отключается и производится
|
Если OSD не отвечает за это время, соединение отключается и производится
|
||||||
повторная попытка соединения.
|
повторная попытка соединения.
|
||||||
|
|
||||||
## up_wait_retry_interval
|
|
||||||
|
|
||||||
- Тип: миллисекунды
|
|
||||||
- Значение по умолчанию: 500
|
|
||||||
- Минимальное значение: 50
|
|
||||||
- Можно менять на лету: да
|
|
||||||
|
|
||||||
Когда OSD получают от клиентов запросы ввода-вывода, относящиеся к не
|
|
||||||
поднятым на данный момент на них PG, либо к PG в процессе синхронизации,
|
|
||||||
они отвечают клиентам специальным кодом ошибки, означающим, что клиент
|
|
||||||
должен некоторое время подождать перед повторением запроса. Именно это время
|
|
||||||
ожидания задаёт данный параметр.
|
|
||||||
|
|
||||||
## max_etcd_attempts
|
## max_etcd_attempts
|
||||||
|
|
||||||
- Тип: целое число
|
- Тип: целое число
|
||||||
|
@ -243,10 +256,10 @@ OSD в любом случае согласовывают реальное зн
|
||||||
Таймаут для HTTP Keep-Alive в соединениях к etcd. Должен быть больше, чем
|
Таймаут для HTTP Keep-Alive в соединениях к etcd. Должен быть больше, чем
|
||||||
etcd_report_interval, чтобы keepalive гарантированно работал.
|
etcd_report_interval, чтобы keepalive гарантированно работал.
|
||||||
|
|
||||||
## etcd_ws_keepalive_timeout
|
## etcd_ws_keepalive_interval
|
||||||
|
|
||||||
- Тип: секунды
|
- Тип: секунды
|
||||||
- Значение по умолчанию: 30
|
- Значение по умолчанию: 5
|
||||||
- Можно менять на лету: да
|
- Можно менять на лету: да
|
||||||
|
|
||||||
Интервал проверки живости вебсокет-подключений к etcd.
|
Интервал проверки живости вебсокет-подключений к etcd.
|
||||||
|
|
|
@ -10,6 +10,7 @@ These parameters only apply to OSDs, are not fixed at the moment of OSD drive
|
||||||
initialization and can be changed - either with an OSD restart or, for some of
|
initialization and can be changed - either with an OSD restart or, for some of
|
||||||
them, even without restarting by updating configuration in etcd.
|
them, even without restarting by updating configuration in etcd.
|
||||||
|
|
||||||
|
- [osd_iothread_count](#osd_iothread_count)
|
||||||
- [etcd_report_interval](#etcd_report_interval)
|
- [etcd_report_interval](#etcd_report_interval)
|
||||||
- [etcd_stats_interval](#etcd_stats_interval)
|
- [etcd_stats_interval](#etcd_stats_interval)
|
||||||
- [run_primary](#run_primary)
|
- [run_primary](#run_primary)
|
||||||
|
@ -19,6 +20,7 @@ them, even without restarting by updating configuration in etcd.
|
||||||
- [autosync_interval](#autosync_interval)
|
- [autosync_interval](#autosync_interval)
|
||||||
- [autosync_writes](#autosync_writes)
|
- [autosync_writes](#autosync_writes)
|
||||||
- [recovery_queue_depth](#recovery_queue_depth)
|
- [recovery_queue_depth](#recovery_queue_depth)
|
||||||
|
- [recovery_sleep_us](#recovery_sleep_us)
|
||||||
- [recovery_pg_switch](#recovery_pg_switch)
|
- [recovery_pg_switch](#recovery_pg_switch)
|
||||||
- [recovery_sync_batch](#recovery_sync_batch)
|
- [recovery_sync_batch](#recovery_sync_batch)
|
||||||
- [readonly](#readonly)
|
- [readonly](#readonly)
|
||||||
|
@ -51,6 +53,26 @@ them, even without restarting by updating configuration in etcd.
|
||||||
- [scrub_list_limit](#scrub_list_limit)
|
- [scrub_list_limit](#scrub_list_limit)
|
||||||
- [scrub_find_best](#scrub_find_best)
|
- [scrub_find_best](#scrub_find_best)
|
||||||
- [scrub_ec_max_bruteforce](#scrub_ec_max_bruteforce)
|
- [scrub_ec_max_bruteforce](#scrub_ec_max_bruteforce)
|
||||||
|
- [recovery_tune_interval](#recovery_tune_interval)
|
||||||
|
- [recovery_tune_util_low](#recovery_tune_util_low)
|
||||||
|
- [recovery_tune_util_high](#recovery_tune_util_high)
|
||||||
|
- [recovery_tune_client_util_low](#recovery_tune_client_util_low)
|
||||||
|
- [recovery_tune_client_util_high](#recovery_tune_client_util_high)
|
||||||
|
- [recovery_tune_agg_interval](#recovery_tune_agg_interval)
|
||||||
|
- [recovery_tune_sleep_min_us](#recovery_tune_sleep_min_us)
|
||||||
|
- [recovery_tune_sleep_cutoff_us](#recovery_tune_sleep_cutoff_us)
|
||||||
|
|
||||||
|
## osd_iothread_count
|
||||||
|
|
||||||
|
- Type: integer
|
||||||
|
- Default: 0
|
||||||
|
|
||||||
|
TCP network I/O thread count for OSD. When non-zero, a single OSD process
|
||||||
|
may handle more TCP I/O, but at a cost of increased latency because thread
|
||||||
|
switching overhead occurs. RDMA isn't affected by this option.
|
||||||
|
|
||||||
|
Because of latency, instead of enabling OSD I/O threads it's recommended to
|
||||||
|
just create multiple OSDs per disk, or use RDMA.
|
||||||
|
|
||||||
## etcd_report_interval
|
## etcd_report_interval
|
||||||
|
|
||||||
|
@ -135,12 +157,24 @@ operations before issuing an fsync operation internally.
|
||||||
## recovery_queue_depth
|
## recovery_queue_depth
|
||||||
|
|
||||||
- Type: integer
|
- Type: integer
|
||||||
- Default: 4
|
- Default: 1
|
||||||
- Can be changed online: yes
|
- Can be changed online: yes
|
||||||
|
|
||||||
Maximum recovery operations per one primary OSD at any given moment of time.
|
Maximum recovery and rebalance operations initiated by each OSD in parallel.
|
||||||
Currently it's the only parameter available to tune the speed or recovery
|
Note that each OSD talks to a lot of other OSDs so actual number of parallel
|
||||||
and rebalancing, but it's planned to implement more.
|
recovery operations per each OSD is greater than just recovery_queue_depth.
|
||||||
|
Increasing this parameter can speedup recovery if [auto-tuning](#recovery_tune_interval)
|
||||||
|
allows it or if it is disabled.
|
||||||
|
|
||||||
|
## recovery_sleep_us
|
||||||
|
|
||||||
|
- Type: microseconds
|
||||||
|
- Default: 0
|
||||||
|
- Can be changed online: yes
|
||||||
|
|
||||||
|
Delay for all recovery- and rebalance- related operations. If non-zero,
|
||||||
|
such operations are artificially slowed down to reduce the impact on
|
||||||
|
client I/O.
|
||||||
|
|
||||||
## recovery_pg_switch
|
## recovery_pg_switch
|
||||||
|
|
||||||
|
@ -508,3 +542,90 @@ the variant with most available equal copies is correct. For example, if
|
||||||
you have 3 replicas and 1 of them differs, this one is considered to be
|
you have 3 replicas and 1 of them differs, this one is considered to be
|
||||||
corrupted. But if there is no "best" version with more copies than all
|
corrupted. But if there is no "best" version with more copies than all
|
||||||
others have then the object is also marked as inconsistent.
|
others have then the object is also marked as inconsistent.
|
||||||
|
|
||||||
|
## recovery_tune_interval
|
||||||
|
|
||||||
|
- Type: seconds
|
||||||
|
- Default: 1
|
||||||
|
- Can be changed online: yes
|
||||||
|
|
||||||
|
Interval at which OSD re-considers client and recovery load and automatically
|
||||||
|
adjusts [recovery_sleep_us](#recovery_sleep_us). Recovery auto-tuning is
|
||||||
|
disabled if recovery_tune_interval is set to 0.
|
||||||
|
|
||||||
|
Auto-tuning targets utilization. Utilization is a measure of load and is
|
||||||
|
equal to the product of iops and average latency (so it may be greater
|
||||||
|
than 1). You set "low" and "high" client utilization thresholds and two
|
||||||
|
corresponding target recovery utilization levels. OSD calculates desired
|
||||||
|
recovery utilization from client utilization using linear interpolation
|
||||||
|
and auto-tunes recovery operation delay to make actual recovery utilization
|
||||||
|
match desired.
|
||||||
|
|
||||||
|
This allows to reduce recovery/rebalance impact on client operations. It is
|
||||||
|
of course impossible to remove it completely, but it should become adequate.
|
||||||
|
In some tests rebalance could earlier drop client write speed from 1.5 GB/s
|
||||||
|
to 50-100 MB/s, with default auto-tuning settings it now only reduces
|
||||||
|
to ~1 GB/s.
|
||||||
|
|
||||||
|
## recovery_tune_util_low
|
||||||
|
|
||||||
|
- Type: number
|
||||||
|
- Default: 0.1
|
||||||
|
- Can be changed online: yes
|
||||||
|
|
||||||
|
Desired recovery/rebalance utilization when client load is high, i.e. when
|
||||||
|
it is at or above recovery_tune_client_util_high.
|
||||||
|
|
||||||
|
## recovery_tune_util_high
|
||||||
|
|
||||||
|
- Type: number
|
||||||
|
- Default: 1
|
||||||
|
- Can be changed online: yes
|
||||||
|
|
||||||
|
Desired recovery/rebalance utilization when client load is low, i.e. when
|
||||||
|
it is at or below recovery_tune_client_util_low.
|
||||||
|
|
||||||
|
## recovery_tune_client_util_low
|
||||||
|
|
||||||
|
- Type: number
|
||||||
|
- Default: 0
|
||||||
|
- Can be changed online: yes
|
||||||
|
|
||||||
|
Client utilization considered "low".
|
||||||
|
|
||||||
|
## recovery_tune_client_util_high
|
||||||
|
|
||||||
|
- Type: number
|
||||||
|
- Default: 0.5
|
||||||
|
- Can be changed online: yes
|
||||||
|
|
||||||
|
Client utilization considered "high".
|
||||||
|
|
||||||
|
## recovery_tune_agg_interval
|
||||||
|
|
||||||
|
- Type: integer
|
||||||
|
- Default: 10
|
||||||
|
- Can be changed online: yes
|
||||||
|
|
||||||
|
The number of last auto-tuning iterations to use for calculating the
|
||||||
|
delay as average. Lower values result in quicker response to client
|
||||||
|
load change, higher values result in more stable delay. Default value of 10
|
||||||
|
is usually fine.
|
||||||
|
|
||||||
|
## recovery_tune_sleep_min_us
|
||||||
|
|
||||||
|
- Type: microseconds
|
||||||
|
- Default: 10
|
||||||
|
- Can be changed online: yes
|
||||||
|
|
||||||
|
Minimum possible value for auto-tuned recovery_sleep_us. Lower values
|
||||||
|
are changed to 0.
|
||||||
|
|
||||||
|
## recovery_tune_sleep_cutoff_us
|
||||||
|
|
||||||
|
- Type: microseconds
|
||||||
|
- Default: 10000000
|
||||||
|
- Can be changed online: yes
|
||||||
|
|
||||||
|
Maximum possible value for auto-tuned recovery_sleep_us. Higher values
|
||||||
|
are treated as outliers and ignored in aggregation.
|
||||||
|
|
|
@ -11,6 +11,7 @@
|
||||||
момент с помощью перезапуска OSD, а некоторые и без перезапуска, с помощью
|
момент с помощью перезапуска OSD, а некоторые и без перезапуска, с помощью
|
||||||
изменения конфигурации в etcd.
|
изменения конфигурации в etcd.
|
||||||
|
|
||||||
|
- [osd_iothread_count](#osd_iothread_count)
|
||||||
- [etcd_report_interval](#etcd_report_interval)
|
- [etcd_report_interval](#etcd_report_interval)
|
||||||
- [etcd_stats_interval](#etcd_stats_interval)
|
- [etcd_stats_interval](#etcd_stats_interval)
|
||||||
- [run_primary](#run_primary)
|
- [run_primary](#run_primary)
|
||||||
|
@ -20,6 +21,7 @@
|
||||||
- [autosync_interval](#autosync_interval)
|
- [autosync_interval](#autosync_interval)
|
||||||
- [autosync_writes](#autosync_writes)
|
- [autosync_writes](#autosync_writes)
|
||||||
- [recovery_queue_depth](#recovery_queue_depth)
|
- [recovery_queue_depth](#recovery_queue_depth)
|
||||||
|
- [recovery_sleep_us](#recovery_sleep_us)
|
||||||
- [recovery_pg_switch](#recovery_pg_switch)
|
- [recovery_pg_switch](#recovery_pg_switch)
|
||||||
- [recovery_sync_batch](#recovery_sync_batch)
|
- [recovery_sync_batch](#recovery_sync_batch)
|
||||||
- [readonly](#readonly)
|
- [readonly](#readonly)
|
||||||
|
@ -52,6 +54,27 @@
|
||||||
- [scrub_list_limit](#scrub_list_limit)
|
- [scrub_list_limit](#scrub_list_limit)
|
||||||
- [scrub_find_best](#scrub_find_best)
|
- [scrub_find_best](#scrub_find_best)
|
||||||
- [scrub_ec_max_bruteforce](#scrub_ec_max_bruteforce)
|
- [scrub_ec_max_bruteforce](#scrub_ec_max_bruteforce)
|
||||||
|
- [recovery_tune_interval](#recovery_tune_interval)
|
||||||
|
- [recovery_tune_util_low](#recovery_tune_util_low)
|
||||||
|
- [recovery_tune_util_high](#recovery_tune_util_high)
|
||||||
|
- [recovery_tune_client_util_low](#recovery_tune_client_util_low)
|
||||||
|
- [recovery_tune_client_util_high](#recovery_tune_client_util_high)
|
||||||
|
- [recovery_tune_agg_interval](#recovery_tune_agg_interval)
|
||||||
|
- [recovery_tune_sleep_min_us](#recovery_tune_sleep_min_us)
|
||||||
|
- [recovery_tune_sleep_cutoff_us](#recovery_tune_sleep_cutoff_us)
|
||||||
|
|
||||||
|
## osd_iothread_count
|
||||||
|
|
||||||
|
- Тип: целое число
|
||||||
|
- Значение по умолчанию: 0
|
||||||
|
|
||||||
|
Число отдельных потоков для обработки ввода-вывода через TCP-сеть на
|
||||||
|
стороне OSD. Включение опции позволяет каждому отдельному OSD передавать
|
||||||
|
по сети больше данных, но ухудшает задержку из-за накладных расходов
|
||||||
|
переключения потоков. На работу RDMA опция не влияет.
|
||||||
|
|
||||||
|
Из-за задержек вместо включения потоков ввода-вывода OSD рекомендуется
|
||||||
|
просто создавать по несколько OSD на каждом диске, или использовать RDMA.
|
||||||
|
|
||||||
## etcd_report_interval
|
## etcd_report_interval
|
||||||
|
|
||||||
|
@ -138,13 +161,25 @@ OSD, чтобы успевать очищать журнал - без них OSD
|
||||||
## recovery_queue_depth
|
## recovery_queue_depth
|
||||||
|
|
||||||
- Тип: целое число
|
- Тип: целое число
|
||||||
- Значение по умолчанию: 4
|
- Значение по умолчанию: 1
|
||||||
- Можно менять на лету: да
|
- Можно менять на лету: да
|
||||||
|
|
||||||
Максимальное число операций восстановления на одном первичном OSD в любой
|
Максимальное число параллельных операций восстановления, инициируемых одним
|
||||||
момент времени. На данный момент единственный параметр, который можно менять
|
OSD в любой момент времени. Имейте в виду, что каждый OSD обычно работает с
|
||||||
для ускорения или замедления восстановления и перебалансировки данных, но
|
многими другими OSD, так что на практике параллелизм восстановления больше,
|
||||||
в планах реализация других параметров.
|
чем просто recovery_queue_depth. Увеличение значения этого параметра может
|
||||||
|
ускорить восстановление если [автотюнинг скорости](#recovery_tune_interval)
|
||||||
|
разрешает это или если он отключён.
|
||||||
|
|
||||||
|
## recovery_sleep_us
|
||||||
|
|
||||||
|
- Тип: микросекунды
|
||||||
|
- Значение по умолчанию: 0
|
||||||
|
- Можно менять на лету: да
|
||||||
|
|
||||||
|
Delay for all recovery- and rebalance- related operations. If non-zero,
|
||||||
|
such operations are artificially slowed down to reduce the impact on
|
||||||
|
client I/O.
|
||||||
|
|
||||||
## recovery_pg_switch
|
## recovery_pg_switch
|
||||||
|
|
||||||
|
@ -535,3 +570,93 @@ EC (кодов коррекции ошибок) с более, чем 1 диск
|
||||||
считается некорректной. Однако, если "лучшую" версию с числом доступных
|
считается некорректной. Однако, если "лучшую" версию с числом доступных
|
||||||
копий большим, чем у всех других версий, найти невозможно, то объект тоже
|
копий большим, чем у всех других версий, найти невозможно, то объект тоже
|
||||||
маркируется неконсистентным.
|
маркируется неконсистентным.
|
||||||
|
|
||||||
|
## recovery_tune_interval
|
||||||
|
|
||||||
|
- Тип: секунды
|
||||||
|
- Значение по умолчанию: 1
|
||||||
|
- Можно менять на лету: да
|
||||||
|
|
||||||
|
Интервал, с которым OSD пересматривает клиентскую нагрузку и нагрузку
|
||||||
|
восстановления и автоматически подстраивает [recovery_sleep_us](#recovery_sleep_us).
|
||||||
|
Автотюнинг (автоподстройка) отключается, если recovery_tune_interval
|
||||||
|
устанавливается в значение 0.
|
||||||
|
|
||||||
|
Автотюнинг регулирует утилизацию. Утилизация является мерой нагрузки
|
||||||
|
и равна произведению числа операций в секунду и средней задержки
|
||||||
|
(то есть, она может быть выше 1). Вы задаёте два уровня клиентской
|
||||||
|
утилизации - "низкий" и "высокий" (low и high) и два соответствующих
|
||||||
|
целевых уровня утилизации операциями восстановления. OSD рассчитывает
|
||||||
|
желаемый уровень утилизации восстановления линейной интерполяцией от
|
||||||
|
клиентской утилизации и подстраивает задержку операций восстановления
|
||||||
|
так, чтобы фактическая утилизация восстановления совпадала с желаемой.
|
||||||
|
|
||||||
|
Это позволяет снизить влияние восстановления и ребаланса на клиентские
|
||||||
|
операции. Конечно, невозможно исключить такое влияние полностью, но оно
|
||||||
|
должно становиться адекватнее. В некоторых тестах перебалансировка могла
|
||||||
|
снижать клиентскую скорость записи с 1.5 ГБ/с до 50-100 МБ/с, а теперь, с
|
||||||
|
настройками автотюнинга по умолчанию, она снижается только до ~1 ГБ/с.
|
||||||
|
|
||||||
|
## recovery_tune_util_low
|
||||||
|
|
||||||
|
- Тип: число
|
||||||
|
- Значение по умолчанию: 0.1
|
||||||
|
- Можно менять на лету: да
|
||||||
|
|
||||||
|
Желаемая утилизация восстановления в моменты, когда клиентская нагрузка
|
||||||
|
высокая, то есть, находится на уровне или выше recovery_tune_client_util_high.
|
||||||
|
|
||||||
|
## recovery_tune_util_high
|
||||||
|
|
||||||
|
- Тип: число
|
||||||
|
- Значение по умолчанию: 1
|
||||||
|
- Можно менять на лету: да
|
||||||
|
|
||||||
|
Желаемая утилизация восстановления в моменты, когда клиентская нагрузка
|
||||||
|
низкая, то есть, находится на уровне или ниже recovery_tune_client_util_low.
|
||||||
|
|
||||||
|
## recovery_tune_client_util_low
|
||||||
|
|
||||||
|
- Тип: число
|
||||||
|
- Значение по умолчанию: 0
|
||||||
|
- Можно менять на лету: да
|
||||||
|
|
||||||
|
Клиентская утилизация, которая считается "низкой".
|
||||||
|
|
||||||
|
## recovery_tune_client_util_high
|
||||||
|
|
||||||
|
- Тип: число
|
||||||
|
- Значение по умолчанию: 0.5
|
||||||
|
- Можно менять на лету: да
|
||||||
|
|
||||||
|
Клиентская утилизация, которая считается "высокой".
|
||||||
|
|
||||||
|
## recovery_tune_agg_interval
|
||||||
|
|
||||||
|
- Тип: целое число
|
||||||
|
- Значение по умолчанию: 10
|
||||||
|
- Можно менять на лету: да
|
||||||
|
|
||||||
|
Число последних итераций автоподстройки для расчёта задержки как среднего
|
||||||
|
значения. Меньшие значения параметра ускоряют отклик на изменение нагрузки,
|
||||||
|
большие значения делают задержку стабильнее. Значение по умолчанию 10
|
||||||
|
обычно нормальное и не требует изменений.
|
||||||
|
|
||||||
|
## recovery_tune_sleep_min_us
|
||||||
|
|
||||||
|
- Тип: микросекунды
|
||||||
|
- Значение по умолчанию: 10
|
||||||
|
- Можно менять на лету: да
|
||||||
|
|
||||||
|
Минимальное возможное значение авто-подстроенного recovery_sleep_us.
|
||||||
|
Меньшие значения заменяются на 0.
|
||||||
|
|
||||||
|
## recovery_tune_sleep_cutoff_us
|
||||||
|
|
||||||
|
- Тип: микросекунды
|
||||||
|
- Значение по умолчанию: 10000000
|
||||||
|
- Можно менять на лету: да
|
||||||
|
|
||||||
|
Максимальное возможное значение авто-подстроенного recovery_sleep_us.
|
||||||
|
Большие значения считаются случайными выбросами и игнорируются в
|
||||||
|
усреднении.
|
||||||
|
|
|
@ -32,6 +32,8 @@ Parameters:
|
||||||
- [pg_minsize](#pg_minsize)
|
- [pg_minsize](#pg_minsize)
|
||||||
- [pg_count](#pg_count)
|
- [pg_count](#pg_count)
|
||||||
- [failure_domain](#failure_domain)
|
- [failure_domain](#failure_domain)
|
||||||
|
- [level_placement](#level_placement)
|
||||||
|
- [raw_placement](#raw_placement)
|
||||||
- [max_osd_combinations](#max_osd_combinations)
|
- [max_osd_combinations](#max_osd_combinations)
|
||||||
- [block_size](#block_size)
|
- [block_size](#block_size)
|
||||||
- [bitmap_granularity](#bitmap_granularity)
|
- [bitmap_granularity](#bitmap_granularity)
|
||||||
|
@ -41,6 +43,7 @@ Parameters:
|
||||||
- [osd_tags](#osd_tags)
|
- [osd_tags](#osd_tags)
|
||||||
- [primary_affinity_tags](#primary_affinity_tags)
|
- [primary_affinity_tags](#primary_affinity_tags)
|
||||||
- [scrub_interval](#scrub_interval)
|
- [scrub_interval](#scrub_interval)
|
||||||
|
- [used_for_fs](#used_for_fs)
|
||||||
|
|
||||||
Examples:
|
Examples:
|
||||||
|
|
||||||
|
@ -83,7 +86,11 @@ Parent node reference is required for intermediate tree nodes.
|
||||||
Separate OSD settings are set in etc keys `/vitastor/config/osd/<number>`
|
Separate OSD settings are set in etc keys `/vitastor/config/osd/<number>`
|
||||||
in JSON format `{"<key>":<value>}`.
|
in JSON format `{"<key>":<value>}`.
|
||||||
|
|
||||||
As of now, two settings are supported:
|
As of now, the following settings are supported:
|
||||||
|
|
||||||
|
- [reweight](#reweight)
|
||||||
|
- [tags](#tags)
|
||||||
|
- [noout](#noout)
|
||||||
|
|
||||||
## reweight
|
## reweight
|
||||||
|
|
||||||
|
@ -106,6 +113,14 @@ subsets and then use a specific subset for pool instead of all OSDs.
|
||||||
For example you can mark SSD OSDs with tag "ssd" and HDD OSDs with "hdd" and
|
For example you can mark SSD OSDs with tag "ssd" and HDD OSDs with "hdd" and
|
||||||
such tags will work as device classes.
|
such tags will work as device classes.
|
||||||
|
|
||||||
|
## noout
|
||||||
|
|
||||||
|
- Type: boolean
|
||||||
|
- Default: false
|
||||||
|
|
||||||
|
If set to true, [osd_out_time](monitor.en.md#osd_out_time) is ignored for this
|
||||||
|
OSD and it's never removed from data distribution by the monitor.
|
||||||
|
|
||||||
# Pool parameters
|
# Pool parameters
|
||||||
|
|
||||||
## name
|
## name
|
||||||
|
@ -154,6 +169,26 @@ That is, if it becomes impossible to place PG data on at least (pg_minsize)
|
||||||
OSDs, PG is deactivated for both read and write. So you know that a fresh
|
OSDs, PG is deactivated for both read and write. So you know that a fresh
|
||||||
write always goes to at least (pg_minsize) OSDs (disks).
|
write always goes to at least (pg_minsize) OSDs (disks).
|
||||||
|
|
||||||
|
For example, the difference between pg_minsize 2 and 1 in a 3-way replicated
|
||||||
|
pool (pg_size=3) is:
|
||||||
|
- If 2 hosts go down with pg_minsize=2, the pool becomes inactive and remains
|
||||||
|
inactive for [osd_out_time](monitor.en.md#osd_out_time) (10 minutes). After
|
||||||
|
this timeout, the monitor selects replacement hosts/OSDs and the pool comes
|
||||||
|
up and starts to heal. Therefore, if you don't have replacement OSDs, i.e.
|
||||||
|
if you only have 3 hosts with OSDs and 2 of them are down, the pool remains
|
||||||
|
inactive until you add or return at least 1 host (or change failure_domain
|
||||||
|
to "osd").
|
||||||
|
- If 2 hosts go down with pg_minsize=1, the pool only experiences a short
|
||||||
|
I/O pause until the monitor notices that OSDs are down (5-10 seconds with
|
||||||
|
the default [etcd_report_interval](osd.en.md#etcd_report_interval)). After
|
||||||
|
this pause, I/O resumes, but new data is temporarily written in only 1 copy.
|
||||||
|
Then, after osd_out_time, the monitor also selects replacement OSDs and the
|
||||||
|
pool starts to heal.
|
||||||
|
|
||||||
|
So, pg_minsize regulates the number of failures that a pool can tolerate
|
||||||
|
without temporary downtime for [osd_out_time](monitor.en.md#osd_out_time),
|
||||||
|
but at a cost of slightly reduced storage reliability.
|
||||||
|
|
||||||
FIXME: pg_minsize behaviour may be changed in the future to only make PGs
|
FIXME: pg_minsize behaviour may be changed in the future to only make PGs
|
||||||
read-only instead of deactivating them.
|
read-only instead of deactivating them.
|
||||||
|
|
||||||
|
@ -165,8 +200,8 @@ read-only instead of deactivating them.
|
||||||
Number of PGs for this pool. The value should be big enough for the monitor /
|
Number of PGs for this pool. The value should be big enough for the monitor /
|
||||||
LP solver to be able to optimize data placement.
|
LP solver to be able to optimize data placement.
|
||||||
|
|
||||||
"Enough" is usually around 64-128 PGs per OSD, i.e. you set pg_count for pool
|
"Enough" is usually around 10-100 PGs per OSD, i.e. you set pg_count for pool
|
||||||
to (total OSD count * 100 / pg_size). You can round it to the closest power of 2,
|
to (total OSD count * 10 / pg_size). You can round it to the closest power of 2,
|
||||||
because it makes it easier to reduce or increase PG count later by dividing or
|
because it makes it easier to reduce or increase PG count later by dividing or
|
||||||
multiplying it by 2.
|
multiplying it by 2.
|
||||||
|
|
||||||
|
@ -188,6 +223,69 @@ never put on OSDs in the same failure domain (for example, on the same host).
|
||||||
So failure domain specifies the unit which failure you are protecting yourself
|
So failure domain specifies the unit which failure you are protecting yourself
|
||||||
from.
|
from.
|
||||||
|
|
||||||
|
## level_placement
|
||||||
|
|
||||||
|
- Type: string
|
||||||
|
|
||||||
|
Additional failure domain rules, applied in conjuction with failure_domain.
|
||||||
|
Must be specified in the following form:
|
||||||
|
|
||||||
|
`<placement level>=<sequence of characters>, <level2>=<sequence2>, ...`
|
||||||
|
|
||||||
|
Sequence should be exactly [pg_size](#pg_size) character long. Each character
|
||||||
|
corresponds to an OSD in the PG of this pool. Equal characters mean that
|
||||||
|
corresponding items of the PG should be placed into the same placement tree
|
||||||
|
item at this level. Different characters mean that items should be placed into
|
||||||
|
different items.
|
||||||
|
|
||||||
|
For example, if you want a EC 4+2 pool and you want every 2 chunks to be stored
|
||||||
|
in its own datacenter and you also want each chunk to be stored on a different
|
||||||
|
host, you should set `level_placement` to `dc=112233 host=123456`.
|
||||||
|
|
||||||
|
Or you can set `level_placement` to `dc=112233` and leave `failure_domain` empty,
|
||||||
|
because `host` is the default `failure_domain` and it will be applied anyway.
|
||||||
|
|
||||||
|
Without this rule, it may happen that 3 chunks will be stored on OSDs in the
|
||||||
|
same datacenter, and the data will become inaccessibly if that datacenter goes
|
||||||
|
down in this case.
|
||||||
|
|
||||||
|
Of course, you should group your hosts into datacenters before applying the rule
|
||||||
|
by setting [placement_levels](monitor.en.md#placement_levels) to something like
|
||||||
|
`{"dc":90,"host":100,"osd":110}` and add DCs to [node_placement](#placement-tree),
|
||||||
|
like `{"dc1":{"level":"dc"},"host1":{"parent":"dc1"},...}`.
|
||||||
|
|
||||||
|
## raw_placement
|
||||||
|
|
||||||
|
- Type: string
|
||||||
|
|
||||||
|
Raw PG placement rules, specified in the form of a DSL (domain-specific language).
|
||||||
|
Use only if you really know what you're doing :)
|
||||||
|
|
||||||
|
DSL specification:
|
||||||
|
|
||||||
|
```
|
||||||
|
dsl := item | item ("\n" | ",") items
|
||||||
|
item := "any" | rules
|
||||||
|
rules := rule | rule rules
|
||||||
|
rule := level operator arg
|
||||||
|
level := /\w+/
|
||||||
|
operator := "!=" | "=" | ">" | "?="
|
||||||
|
arg := value | "(" values ")"
|
||||||
|
values := value | value "," values
|
||||||
|
value := item_ref | constant_id
|
||||||
|
item_ref := /\d+/
|
||||||
|
constant_id := /"([^"]+)"/
|
||||||
|
```
|
||||||
|
|
||||||
|
"?=" operator means "preferred". I.e. `dc ?= "meow"` means "prefer datacenter meow
|
||||||
|
for this chunk, but put into another dc if it's unavailable".
|
||||||
|
|
||||||
|
Examples:
|
||||||
|
|
||||||
|
- Simple 3 replicas with failure_domain=host: `any, host!=1, host!=(1,2)`
|
||||||
|
- EC 4+2 in 3 DC: `any, dc=1 host!=1, dc!=1, dc=3 host!=3, dc!=(1,3), dc=5 host!=5`
|
||||||
|
- 1 replica in fixed DC + 2 in random DCs: `dc?=meow, dc!=1, dc!=(1,2)`
|
||||||
|
|
||||||
## max_osd_combinations
|
## max_osd_combinations
|
||||||
|
|
||||||
- Type: integer
|
- Type: integer
|
||||||
|
@ -279,6 +377,25 @@ of the OSDs containing a data chunk for a PG.
|
||||||
Automatic scrubbing interval for this pool. Overrides
|
Automatic scrubbing interval for this pool. Overrides
|
||||||
[global scrub_interval setting](osd.en.md#scrub_interval).
|
[global scrub_interval setting](osd.en.md#scrub_interval).
|
||||||
|
|
||||||
|
## used_for_fs
|
||||||
|
|
||||||
|
- Type: string
|
||||||
|
|
||||||
|
If non-empty, the pool is marked as used for VitastorFS with metadata stored
|
||||||
|
in block image (regular Vitastor volume) named as the value of this pool parameter.
|
||||||
|
|
||||||
|
When a pool is marked as used for VitastorFS, regular block volume creation in it
|
||||||
|
is disabled (vitastor-cli refuses to create images without --force) to protect
|
||||||
|
the user from block volume and FS file ID collisions and data loss.
|
||||||
|
|
||||||
|
[vitastor-nfs](../usage/nfs.ru.md), in its turn, refuses to use pools not marked
|
||||||
|
for the corresponding FS when starting. This also implies that you can use one
|
||||||
|
pool only for one VitastorFS.
|
||||||
|
|
||||||
|
The second thing that is disabled for VitastorFS pools is reporting per-inode space
|
||||||
|
usage statistics in etcd because a FS pool may store a very large number of files
|
||||||
|
and statistics for them all would take a lot of space in etcd.
|
||||||
|
|
||||||
# Examples
|
# Examples
|
||||||
|
|
||||||
## Replicated pool
|
## Replicated pool
|
||||||
|
|
|
@ -31,6 +31,8 @@
|
||||||
- [pg_minsize](#pg_minsize)
|
- [pg_minsize](#pg_minsize)
|
||||||
- [pg_count](#pg_count)
|
- [pg_count](#pg_count)
|
||||||
- [failure_domain](#failure_domain)
|
- [failure_domain](#failure_domain)
|
||||||
|
- [level_placement](#level_placement)
|
||||||
|
- [raw_placement](#raw_placement)
|
||||||
- [max_osd_combinations](#max_osd_combinations)
|
- [max_osd_combinations](#max_osd_combinations)
|
||||||
- [block_size](#block_size)
|
- [block_size](#block_size)
|
||||||
- [bitmap_granularity](#bitmap_granularity)
|
- [bitmap_granularity](#bitmap_granularity)
|
||||||
|
@ -40,6 +42,7 @@
|
||||||
- [osd_tags](#osd_tags)
|
- [osd_tags](#osd_tags)
|
||||||
- [primary_affinity_tags](#primary_affinity_tags)
|
- [primary_affinity_tags](#primary_affinity_tags)
|
||||||
- [scrub_interval](#scrub_interval)
|
- [scrub_interval](#scrub_interval)
|
||||||
|
- [used_for_fs](#used_for_fs)
|
||||||
|
|
||||||
Примеры:
|
Примеры:
|
||||||
|
|
||||||
|
@ -82,10 +85,11 @@
|
||||||
Настройки отдельных OSD задаются в ключах etcd `/vitastor/config/osd/<number>`
|
Настройки отдельных OSD задаются в ключах etcd `/vitastor/config/osd/<number>`
|
||||||
в JSON-формате `{"<key>":<value>}`.
|
в JSON-формате `{"<key>":<value>}`.
|
||||||
|
|
||||||
На данный момент поддерживаются две настройки:
|
На данный момент поддерживаются следующие настройки:
|
||||||
|
|
||||||
- [reweight](#reweight)
|
- [reweight](#reweight)
|
||||||
- [tags](#tags)
|
- [tags](#tags)
|
||||||
|
- [noout](#noout)
|
||||||
|
|
||||||
## reweight
|
## reweight
|
||||||
|
|
||||||
|
@ -109,6 +113,14 @@
|
||||||
всех. Можно, например, пометить SSD OSD тегом "ssd", а HDD тегом "hdd", в
|
всех. Можно, например, пометить SSD OSD тегом "ssd", а HDD тегом "hdd", в
|
||||||
этом смысле теги работают аналогично классам устройств.
|
этом смысле теги работают аналогично классам устройств.
|
||||||
|
|
||||||
|
## noout
|
||||||
|
|
||||||
|
- Тип: булево (да/нет)
|
||||||
|
- Значение по умолчанию: false
|
||||||
|
|
||||||
|
Если установлено в true, то [osd_out_time](monitor.ru.md#osd_out_time) для этого
|
||||||
|
OSD игнорируется и OSD не удаляется из распределения данных монитором.
|
||||||
|
|
||||||
# Параметры
|
# Параметры
|
||||||
|
|
||||||
## name
|
## name
|
||||||
|
@ -157,6 +169,26 @@
|
||||||
OSD, PG деактивируется на чтение и запись. Иными словами, всегда известно,
|
OSD, PG деактивируется на чтение и запись. Иными словами, всегда известно,
|
||||||
что новые блоки данных всегда записываются как минимум на pg_minsize дисков.
|
что новые блоки данных всегда записываются как минимум на pg_minsize дисков.
|
||||||
|
|
||||||
|
Для примера, разница между pg_minsize 2 и 1 в реплицированном пуле с 3 копиями
|
||||||
|
данных (pg_size=3), проявляется следующим образом:
|
||||||
|
- Если 2 сервера отключаются при pg_minsize=2, пул становится неактивным и
|
||||||
|
остаётся неактивным в течение [osd_out_time](monitor.ru.md#osd_out_time)
|
||||||
|
(10 минут), после чего монитор назначает другие OSD/серверы на замену, пул
|
||||||
|
поднимается и начинает восстанавливать недостающие копии данных. Соответственно,
|
||||||
|
если OSD на замену нет - то есть, если у вас всего 3 сервера с OSD и 2 из них
|
||||||
|
недоступны - пул так и остаётся недоступным до тех пор, пока вы не вернёте
|
||||||
|
или не добавите хотя бы 1 сервер (или не переключите failure_domain на "osd").
|
||||||
|
- Если 2 сервера отключаются при pg_minsize=1, ввод-вывод лишь приостанавливается
|
||||||
|
на короткое время, до тех пор, пока монитор не поймёт, что OSD отключены
|
||||||
|
(что занимает 5-10 секунд при стандартном [etcd_report_interval](osd.ru.md#etcd_report_interval)).
|
||||||
|
После этого ввод-вывод восстанавливается, но новые данные временно пишутся
|
||||||
|
всего в 1 копии. Когда же проходит osd_out_time, монитор точно так же назначает
|
||||||
|
другие OSD на замену выбывшим и пул начинает восстанавливать копии данных.
|
||||||
|
|
||||||
|
То есть, pg_minsize регулирует число отказов, которые пул может пережить без
|
||||||
|
временной остановки обслуживания на [osd_out_time](monitor.ru.md#osd_out_time),
|
||||||
|
но ценой немного пониженных гарантий надёжности.
|
||||||
|
|
||||||
FIXME: Поведение pg_minsize может быть изменено в будущем с полной деактивации
|
FIXME: Поведение pg_minsize может быть изменено в будущем с полной деактивации
|
||||||
PG на перевод их в режим только для чтения.
|
PG на перевод их в режим только для чтения.
|
||||||
|
|
||||||
|
@ -168,8 +200,8 @@ PG на перевод их в режим только для чтения.
|
||||||
Число PG для данного пула. Число должно быть достаточно большим, чтобы монитор
|
Число PG для данного пула. Число должно быть достаточно большим, чтобы монитор
|
||||||
мог равномерно распределить по ним данные.
|
мог равномерно распределить по ним данные.
|
||||||
|
|
||||||
Обычно это означает примерно 64-128 PG на 1 OSD, т.е. pg_count можно устанавливать
|
Обычно это означает примерно 10-100 PG на 1 OSD, т.е. pg_count можно устанавливать
|
||||||
равным (общему числу OSD * 100 / pg_size). Значение можно округлить до ближайшей
|
равным (общему числу OSD * 10 / pg_size). Значение можно округлить до ближайшей
|
||||||
степени 2, чтобы потом было легче уменьшать или увеличивать число PG, умножая
|
степени 2, чтобы потом было легче уменьшать или увеличивать число PG, умножая
|
||||||
или деля его на 2.
|
или деля его на 2.
|
||||||
|
|
||||||
|
@ -190,6 +222,71 @@ PG в Vitastor эферемерны, то есть вы можете менят
|
||||||
Иными словами, домен отказа - это то, от отказа чего вы защищаете себя избыточным
|
Иными словами, домен отказа - это то, от отказа чего вы защищаете себя избыточным
|
||||||
хранением.
|
хранением.
|
||||||
|
|
||||||
|
## level_placement
|
||||||
|
|
||||||
|
- Тип: строка
|
||||||
|
|
||||||
|
Правила дополнительных доменов отказа, применяемые вместе с failure_domain.
|
||||||
|
Должны задаваться в следующем виде:
|
||||||
|
|
||||||
|
`<уровень>=<последовательность символов>, <уровень2>=<последовательность2>, ...`
|
||||||
|
|
||||||
|
Каждая `<последовательность>` должна состоять ровно из [pg_size](#pg_size) символов.
|
||||||
|
Каждый символ соответствует одному OSD (размещению одной части PG) этого пула.
|
||||||
|
Одинаковые символы означают, что соответствующие части размещаются в один и тот же
|
||||||
|
узел дерева OSD на заданном `<уровне>`. Разные символы означают, что части
|
||||||
|
размещаются в разные узлы.
|
||||||
|
|
||||||
|
Например, если вы хотите сделать пул EC 4+2 и хотите поместить каждые 2 части
|
||||||
|
данных в свой датацентр, и также вы хотите, чтобы каждая часть размещалась на
|
||||||
|
другом хосте, то вы должны задать `level_placement` равным `dc=112233 host=123456`.
|
||||||
|
|
||||||
|
Либо вы просто можете задать `level_placement` равным `dc=112233` и оставить
|
||||||
|
`failure_domain` пустым, т.к. `host` это его значение по умолчанию и оно также
|
||||||
|
применится автоматически.
|
||||||
|
|
||||||
|
Без этого правила может получиться так, что в одном из датацентров окажется
|
||||||
|
3 части данных одной PG и данные окажутся недоступными при временном отключении
|
||||||
|
этого датацентра.
|
||||||
|
|
||||||
|
Естественно, перед установкой правила вам нужно сгруппировать ваши хосты в
|
||||||
|
датацентры, установив [placement_levels](monitor.ru.md#placement_levels) во что-то
|
||||||
|
типа `{"dc":90,"host":100,"osd":110}` и добавив датацентры в [node_placement](#дерево-размещения),
|
||||||
|
примерно так: `{"dc1":{"level":"dc"},"host1":{"parent":"dc1"},...}`.
|
||||||
|
|
||||||
|
## raw_placement
|
||||||
|
|
||||||
|
- Type: string
|
||||||
|
|
||||||
|
Низкоуровневые правила генерации PG в форме DSL (доменно-специфичного языка).
|
||||||
|
Используйте, только если действительно знаете, зачем вам это надо :)
|
||||||
|
|
||||||
|
Спецификация DSL:
|
||||||
|
|
||||||
|
```
|
||||||
|
dsl := item | item ("\n" | ",") items
|
||||||
|
item := "any" | rules
|
||||||
|
rules := rule | rule rules
|
||||||
|
rule := level operator arg
|
||||||
|
level := /\w+/
|
||||||
|
operator := "!=" | "=" | ">" | "?="
|
||||||
|
arg := value | "(" values ")"
|
||||||
|
values := value | value "," values
|
||||||
|
value := item_ref | constant_id
|
||||||
|
item_ref := /\d+/
|
||||||
|
constant_id := /"([^"]+)"/
|
||||||
|
```
|
||||||
|
|
||||||
|
Оператор "?=" означает "предпочитаемый". Т.е. `dc ?= "meow"` означает "предпочитать
|
||||||
|
датацентр meow для этой части данных, но разместить её в другом датацентре, если
|
||||||
|
meow недоступен".
|
||||||
|
|
||||||
|
Примеры:
|
||||||
|
|
||||||
|
- Простые 3 реплики с failure_domain=host: `any, host!=1, host!=(1,2)`
|
||||||
|
- EC 4+2 в 3 датацентрах: `any, dc=1 host!=1, dc!=1, dc=3 host!=3, dc!=(1,3), dc=5 host!=5`
|
||||||
|
- 1 копия в фиксированном ДЦ + 2 в других ДЦ: `dc?=meow, dc!=1, dc!=(1,2)`
|
||||||
|
|
||||||
## max_osd_combinations
|
## max_osd_combinations
|
||||||
|
|
||||||
- Тип: целое число
|
- Тип: целое число
|
||||||
|
@ -286,6 +383,27 @@ OSD с "all".
|
||||||
Интервал скраба, то есть, автоматической фоновой проверки данных для данного пула.
|
Интервал скраба, то есть, автоматической фоновой проверки данных для данного пула.
|
||||||
Переопределяет [глобальную настройку scrub_interval](osd.ru.md#scrub_interval).
|
Переопределяет [глобальную настройку scrub_interval](osd.ru.md#scrub_interval).
|
||||||
|
|
||||||
|
## used_for_fs
|
||||||
|
|
||||||
|
- Type: string
|
||||||
|
|
||||||
|
Если непусто, пул помечается как используемый для файловой системы VitastorFS с
|
||||||
|
метаданными, хранимыми в блочном образе Vitastor с именем, равным значению
|
||||||
|
этого параметра.
|
||||||
|
|
||||||
|
Когда пул помечается как используемый для VitastorFS, создание обычных блочных
|
||||||
|
образов в нём отключается (vitastor-cli отказывается создавать образы без --force),
|
||||||
|
чтобы защитить пользователя от коллизий ID файлов и блочных образов и, таким
|
||||||
|
образом, от потери данных.
|
||||||
|
|
||||||
|
[vitastor-nfs](../usage/nfs.ru.md), в свою очередь, при запуске отказывается
|
||||||
|
использовать для ФС пулы, не выделенные для неё. Это также означает, что один
|
||||||
|
пул может использоваться только для одной VitastorFS.
|
||||||
|
|
||||||
|
Также для ФС-пулов отключается передача статистики в etcd по отдельным инодам,
|
||||||
|
так как ФС-пул может содержать очень много файлов и статистика по ним всем
|
||||||
|
заняла бы очень много места в etcd.
|
||||||
|
|
||||||
# Примеры
|
# Примеры
|
||||||
|
|
||||||
## Реплицированный пул
|
## Реплицированный пул
|
||||||
|
|
|
@ -1,4 +1,4 @@
|
||||||
# Client Parameters
|
# Client Parameters
|
||||||
|
|
||||||
These parameters apply only to clients and affect their interaction with
|
These parameters apply only to Vitastor clients (QEMU, fio, NBD and so on) and
|
||||||
the cluster.
|
affect their interaction with the cluster.
|
||||||
|
|
|
@ -1,4 +1,4 @@
|
||||||
# Параметры клиентского кода
|
# Параметры клиентского кода
|
||||||
|
|
||||||
Данные параметры применяются только к клиентам Vitastor (QEMU, fio, NBD) и
|
Данные параметры применяются только к клиентам Vitastor (QEMU, fio, NBD и т.п.) и
|
||||||
затрагивают логику их работы с кластером.
|
затрагивают логику их работы с кластером.
|
||||||
|
|
|
@ -1,3 +1,66 @@
|
||||||
|
- name: client_iothread_count
|
||||||
|
type: int
|
||||||
|
default: 0
|
||||||
|
online: false
|
||||||
|
info: |
|
||||||
|
Number of separate threads for handling TCP network I/O at client library
|
||||||
|
side. Enabling 4 threads usually allows to increase peak performance of each
|
||||||
|
client from approx. 2-3 to 7-8 GByte/s linear read/write and from approx.
|
||||||
|
100-150 to 400 thousand iops, but at the same time it increases latency.
|
||||||
|
Latency increase depends on CPU: with CPU power saving disabled latency
|
||||||
|
only increases by ~10 us (equivalent to Q=1 iops decrease from 10500 to 9500),
|
||||||
|
with CPU power saving enabled it may be as high as 500 us (equivalent to Q=1
|
||||||
|
iops decrease from 2000 to 1000). RDMA isn't affected by this option.
|
||||||
|
|
||||||
|
It's recommended to enable client I/O threads if you don't use RDMA and want
|
||||||
|
to increase peak client performance.
|
||||||
|
info_ru: |
|
||||||
|
Число отдельных потоков для обработки ввода-вывода через TCP сеть на стороне
|
||||||
|
клиентской библиотеки. Включение 4 потоков обычно позволяет поднять пиковую
|
||||||
|
производительность каждого клиента примерно с 2-3 до 7-8 Гбайт/с линейного
|
||||||
|
чтения/записи и примерно с 100-150 до 400 тысяч операций ввода-вывода в
|
||||||
|
секунду, но ухудшает задержку. Увеличение задержки зависит от процессора:
|
||||||
|
при отключённом энергосбережении CPU это всего ~10 микросекунд (равносильно
|
||||||
|
падению iops с Q=1 с 10500 до 9500), а при включённом это может быть
|
||||||
|
и 500 микросекунд (равносильно падению iops с Q=1 с 2000 до 1000). На работу
|
||||||
|
RDMA данная опция не влияет.
|
||||||
|
|
||||||
|
Рекомендуется включать клиентские потоки ввода-вывода, если вы не используете
|
||||||
|
RDMA и хотите повысить пиковую производительность клиентов.
|
||||||
|
- name: client_retry_interval
|
||||||
|
type: ms
|
||||||
|
min: 10
|
||||||
|
default: 50
|
||||||
|
online: true
|
||||||
|
info: |
|
||||||
|
Retry time for I/O requests failed due to inactive PGs or network
|
||||||
|
connectivity errors.
|
||||||
|
info_ru: |
|
||||||
|
Время повтора запросов ввода-вывода, неудачных из-за неактивных PG или
|
||||||
|
ошибок сети.
|
||||||
|
- name: client_eio_retry_interval
|
||||||
|
type: ms
|
||||||
|
default: 1000
|
||||||
|
online: true
|
||||||
|
info: |
|
||||||
|
Retry time for I/O requests failed due to data corruption or unfinished
|
||||||
|
EC object deletions (has_incomplete PG state). 0 disables such retries
|
||||||
|
and clients are not blocked and just get EIO error code instead.
|
||||||
|
info_ru: |
|
||||||
|
Время повтора запросов ввода-вывода, неудачных из-за повреждения данных
|
||||||
|
или незавершённых удалений EC-объектов (состояния PG has_incomplete).
|
||||||
|
0 отключает повторы таких запросов и клиенты не блокируются, а вместо
|
||||||
|
этого просто получают код ошибки EIO.
|
||||||
|
- name: client_retry_enospc
|
||||||
|
type: bool
|
||||||
|
default: true
|
||||||
|
online: true
|
||||||
|
info: |
|
||||||
|
Retry writes on out of space errors to wait until some space is freed on
|
||||||
|
OSDs.
|
||||||
|
info_ru: |
|
||||||
|
Повторять запросы записи, завершившиеся с ошибками нехватки места, т.е.
|
||||||
|
ожидать, пока на OSD не освободится место.
|
||||||
- name: client_max_dirty_bytes
|
- name: client_max_dirty_bytes
|
||||||
type: int
|
type: int
|
||||||
default: 33554432
|
default: 33554432
|
||||||
|
@ -122,3 +185,71 @@
|
||||||
Maximum number of parallel writes when flushing buffered data to the server.
|
Maximum number of parallel writes when flushing buffered data to the server.
|
||||||
info_ru: |
|
info_ru: |
|
||||||
Максимальное число параллельных операций записи при сбросе буферов на сервер.
|
Максимальное число параллельных операций записи при сбросе буферов на сервер.
|
||||||
|
- name: nbd_timeout
|
||||||
|
type: sec
|
||||||
|
default: 300
|
||||||
|
online: false
|
||||||
|
info: |
|
||||||
|
Timeout for I/O operations for [NBD](../usage/nbd.en.md). If an operation
|
||||||
|
executes for longer than this timeout, including when your cluster is just
|
||||||
|
temporarily down for more than timeout, the NBD device will detach by itself
|
||||||
|
(and possibly break the mounted file system).
|
||||||
|
|
||||||
|
You can set timeout to 0 to never detach, but in that case you won't be
|
||||||
|
able to remove the kernel device at all if the NBD process dies - you'll have
|
||||||
|
to reboot the host.
|
||||||
|
info_ru: |
|
||||||
|
Таймаут для операций чтения/записи через [NBD](../usage/nbd.ru.md). Если
|
||||||
|
операция выполняется дольше таймаута, включая временную недоступность
|
||||||
|
кластера на время, большее таймаута, NBD-устройство отключится само собой
|
||||||
|
(и, возможно, сломает примонтированную ФС).
|
||||||
|
|
||||||
|
Вы можете установить таймаут в 0, чтобы никогда не отключать устройство по
|
||||||
|
таймауту, но в этом случае вы вообще не сможете удалить устройство, если
|
||||||
|
процесс NBD умрёт - вам придётся перезагружать сервер.
|
||||||
|
- name: nbd_max_devices
|
||||||
|
type: int
|
||||||
|
default: 64
|
||||||
|
online: false
|
||||||
|
info: |
|
||||||
|
Maximum number of NBD devices in the system. This value is passed as
|
||||||
|
`nbds_max` parameter for the nbd kernel module when vitastor-nbd autoloads it.
|
||||||
|
info_ru: |
|
||||||
|
Максимальное число NBD-устройств в системе. Данное значение передаётся
|
||||||
|
модулю ядра nbd как параметр `nbds_max`, когда его загружает vitastor-nbd.
|
||||||
|
- name: nbd_max_part
|
||||||
|
type: int
|
||||||
|
default: 3
|
||||||
|
online: false
|
||||||
|
info: |
|
||||||
|
Maximum number of partitions per NBD device. This value is passed as
|
||||||
|
`max_part` parameter for the nbd kernel module when vitastor-nbd autoloads it.
|
||||||
|
Note that (nbds_max)*(1+max_part) usually can't exceed 256.
|
||||||
|
info_ru: |
|
||||||
|
Максимальное число разделов на одном NBD-устройстве. Данное значение передаётся
|
||||||
|
модулю ядра nbd как параметр `max_part`, когда его загружает vitastor-nbd.
|
||||||
|
Имейте в виду, что (nbds_max)*(1+max_part) обычно не может превышать 256.
|
||||||
|
- name: osd_nearfull_ratio
|
||||||
|
type: float
|
||||||
|
default: 0.95
|
||||||
|
online: true
|
||||||
|
info: |
|
||||||
|
Ratio of used space on OSD to treat it as "almost full" in vitastor-cli status output.
|
||||||
|
|
||||||
|
Remember that some client writes may hang or complete with an error if even
|
||||||
|
just one OSD becomes 100 % full!
|
||||||
|
|
||||||
|
However, unlike in Ceph, 100 % full Vitastor OSDs don't crash (in Ceph they're
|
||||||
|
unable to start at all), so you'll be able to recover from "out of space" errors
|
||||||
|
without destroying and recreating OSDs.
|
||||||
|
info_ru: |
|
||||||
|
Доля занятого места на OSD, начиная с которой он считается "почти заполненным" в
|
||||||
|
выводе vitastor-cli status.
|
||||||
|
|
||||||
|
Помните, что часть клиентских запросов может зависнуть или завершиться с ошибкой,
|
||||||
|
если на 100 % заполнится хотя бы 1 OSD!
|
||||||
|
|
||||||
|
Однако, в отличие от Ceph, заполненные на 100 % OSD Vitastor не падают (в Ceph
|
||||||
|
заполненные на 100% OSD вообще не могут стартовать), так что вы сможете
|
||||||
|
восстановить работу кластера после ошибок отсутствия свободного места
|
||||||
|
без уничтожения и пересоздания OSD.
|
||||||
|
|
|
@ -56,6 +56,8 @@
|
||||||
|
|
||||||
{{../../usage/nfs.en.md}}
|
{{../../usage/nfs.en.md}}
|
||||||
|
|
||||||
|
{{../../usage/admin.en.md}}
|
||||||
|
|
||||||
## Performance
|
## Performance
|
||||||
|
|
||||||
{{../../performance/understanding.en.md}}
|
{{../../performance/understanding.en.md}}
|
||||||
|
@ -64,4 +66,6 @@
|
||||||
|
|
||||||
{{../../performance/comparison1.en.md}}
|
{{../../performance/comparison1.en.md}}
|
||||||
|
|
||||||
|
{{../../performance/bench2.en.md}}
|
||||||
|
|
||||||
{{../../intro/author.en.md|indent=1}}
|
{{../../intro/author.en.md|indent=1}}
|
||||||
|
|
|
@ -56,6 +56,8 @@
|
||||||
|
|
||||||
{{../../usage/nfs.ru.md}}
|
{{../../usage/nfs.ru.md}}
|
||||||
|
|
||||||
|
{{../../usage/admin.ru.md}}
|
||||||
|
|
||||||
## Производительность
|
## Производительность
|
||||||
|
|
||||||
{{../../performance/understanding.ru.md}}
|
{{../../performance/understanding.ru.md}}
|
||||||
|
@ -64,4 +66,6 @@
|
||||||
|
|
||||||
{{../../performance/comparison1.ru.md}}
|
{{../../performance/comparison1.ru.md}}
|
||||||
|
|
||||||
|
{{../../performance/bench2.ru.md}}
|
||||||
|
|
||||||
{{../../intro/author.ru.md|indent=1}}
|
{{../../intro/author.ru.md|indent=1}}
|
||||||
|
|
|
@ -47,14 +47,24 @@
|
||||||
Не может быть меньше размера сектора дисков данных OSD.
|
Не может быть меньше размера сектора дисков данных OSD.
|
||||||
- name: immediate_commit
|
- name: immediate_commit
|
||||||
type: string
|
type: string
|
||||||
default: false
|
default: all
|
||||||
info: |
|
info: |
|
||||||
Another parameter which is really important for performance.
|
One of "none", "all" or "small". Global value, may be overriden [at pool level](pool.en.md#immediate_commit).
|
||||||
|
|
||||||
|
This parameter is also really important for performance.
|
||||||
|
|
||||||
|
TLDR: default "all" is optimal for server-grade SSDs with supercapacitor-based
|
||||||
|
power loss protection (nonvolatile write-through cache) and also for most HDDs.
|
||||||
|
"none" or "small" should be only selected if you use desktop SSDs without
|
||||||
|
capacitors or drives with slow write-back cache that can't be disabled. Check
|
||||||
|
immediate_commit of your OSDs in [ls-osd](../usage/cli.en.md#ls-osd).
|
||||||
|
|
||||||
|
Detailed explanation:
|
||||||
|
|
||||||
Desktop SSDs are very fast (100000+ iops) for simple random writes
|
Desktop SSDs are very fast (100000+ iops) for simple random writes
|
||||||
without cache flush. However, they are really slow (only around 1000 iops)
|
without cache flush. However, they are really slow (only around 1000 iops)
|
||||||
if you try to fsync() each write, that is, when you want to guarantee that
|
if you try to fsync() each write, that is, if you want to guarantee that
|
||||||
each change gets immediately persisted to the physical media.
|
each change gets actually persisted to the physical media.
|
||||||
|
|
||||||
Server-grade SSDs with "Advanced/Enhanced Power Loss Protection" or with
|
Server-grade SSDs with "Advanced/Enhanced Power Loss Protection" or with
|
||||||
"Supercapacitor-based Power Loss Protection", on the other hand, are equally
|
"Supercapacitor-based Power Loss Protection", on the other hand, are equally
|
||||||
|
@ -66,8 +76,8 @@
|
||||||
efficiently utilize desktop SSDs by postponing fsync until the client calls
|
efficiently utilize desktop SSDs by postponing fsync until the client calls
|
||||||
it explicitly.
|
it explicitly.
|
||||||
|
|
||||||
This is what this parameter regulates. When it's set to "all" the whole
|
This is what this parameter regulates. When it's set to "all" Vitastor
|
||||||
Vitastor cluster commits each change to disks immediately and clients just
|
cluster commits each change to disks immediately and clients just
|
||||||
ignore fsyncs because they know for sure that they're unneeded. This reduces
|
ignore fsyncs because they know for sure that they're unneeded. This reduces
|
||||||
the amount of network roundtrips performed by clients and improves
|
the amount of network roundtrips performed by clients and improves
|
||||||
performance. So it's always better to use server grade SSDs with
|
performance. So it's always better to use server grade SSDs with
|
||||||
|
@ -90,14 +100,19 @@
|
||||||
[disable_journal_fsync](layout-osd.en.yml#disable_journal_fsync) and
|
[disable_journal_fsync](layout-osd.en.yml#disable_journal_fsync) and
|
||||||
[disable_meta_fsync](layout-osd.en.yml#disable_meta_fsync), setting it to
|
[disable_meta_fsync](layout-osd.en.yml#disable_meta_fsync), setting it to
|
||||||
"all" also requires enabling [disable_data_fsync](layout-osd.en.yml#disable_data_fsync).
|
"all" also requires enabling [disable_data_fsync](layout-osd.en.yml#disable_data_fsync).
|
||||||
|
vitastor-disk tried to do that by default, first checking/disabling drive cache.
|
||||||
TLDR: For optimal performance, set immediate_commit to "all" if you only use
|
If it can't disable drive cache, OSD get initialized with "none".
|
||||||
SSDs with supercapacitor-based power loss protection (nonvolatile
|
|
||||||
write-through cache) for both data and journals in the whole Vitastor
|
|
||||||
cluster. Set it to "small" if you only use such SSDs for journals. Leave
|
|
||||||
empty if your drives have write-back cache.
|
|
||||||
info_ru: |
|
info_ru: |
|
||||||
Ещё один важный для производительности параметр.
|
Одно из значений "none", "small" или "all". Глобальное значение, может быть
|
||||||
|
переопределено [на уровне пула](pool.ru.md#immediate_commit).
|
||||||
|
|
||||||
|
Данный параметр тоже важен для производительности.
|
||||||
|
|
||||||
|
Вкратце: значение по умолчанию "all" оптимально для всех серверных SSD с
|
||||||
|
суперконденсаторами и также для большинства HDD. "none" и "small" имеет смысл
|
||||||
|
устанавливать только при использовании SSD настольного класса без
|
||||||
|
суперконденсаторов или дисков с медленным неотключаемым кэшем записи.
|
||||||
|
Проверьте настройку immediate_commit своих OSD в выводе команды [ls-osd](../usage/cli.ru.md#ls-osd).
|
||||||
|
|
||||||
Модели SSD для настольных компьютеров очень быстрые (100000+ операций в
|
Модели SSD для настольных компьютеров очень быстрые (100000+ операций в
|
||||||
секунду) при простой случайной записи без сбросов кэша. Однако они очень
|
секунду) при простой случайной записи без сбросов кэша. Однако они очень
|
||||||
|
@ -118,7 +133,7 @@
|
||||||
эффективно утилизировать настольные SSD.
|
эффективно утилизировать настольные SSD.
|
||||||
|
|
||||||
Данный параметр влияет как раз на это. Когда он установлен в значение "all",
|
Данный параметр влияет как раз на это. Когда он установлен в значение "all",
|
||||||
весь кластер Vitastor мгновенно фиксирует каждое изменение на физические
|
кластер Vitastor мгновенно фиксирует каждое изменение на физические
|
||||||
носители и клиенты могут просто игнорировать запросы fsync, т.к. они точно
|
носители и клиенты могут просто игнорировать запросы fsync, т.к. они точно
|
||||||
знают, что fsync-и не нужны. Это уменьшает число необходимых обращений к OSD
|
знают, что fsync-и не нужны. Это уменьшает число необходимых обращений к OSD
|
||||||
по сети и улучшает производительность. Поэтому даже с Vitastor лучше всегда
|
по сети и улучшает производительность. Поэтому даже с Vitastor лучше всегда
|
||||||
|
@ -144,10 +159,3 @@
|
||||||
включения [disable_journal_fsync](layout-osd.ru.yml#disable_journal_fsync) и
|
включения [disable_journal_fsync](layout-osd.ru.yml#disable_journal_fsync) и
|
||||||
[disable_meta_fsync](layout-osd.ru.yml#disable_meta_fsync), значение "all"
|
[disable_meta_fsync](layout-osd.ru.yml#disable_meta_fsync), значение "all"
|
||||||
также требует включения [disable_data_fsync](layout-osd.ru.yml#disable_data_fsync).
|
также требует включения [disable_data_fsync](layout-osd.ru.yml#disable_data_fsync).
|
||||||
|
|
||||||
Итого, вкратце: для оптимальной производительности установите
|
|
||||||
immediate_commit в значение "all", если вы используете в кластере только SSD
|
|
||||||
с суперконденсаторами и для данных, и для журналов. Если вы используете
|
|
||||||
такие SSD для всех журналов, но не для данных - можете установить параметр
|
|
||||||
в "small". Если и какие-то из дисков журналов имеют волатильный кэш записи -
|
|
||||||
оставьте параметр пустым.
|
|
||||||
|
|
|
@ -38,6 +38,7 @@ const types = {
|
||||||
bool: 'boolean',
|
bool: 'boolean',
|
||||||
int: 'integer',
|
int: 'integer',
|
||||||
sec: 'seconds',
|
sec: 'seconds',
|
||||||
|
float: 'number',
|
||||||
ms: 'milliseconds',
|
ms: 'milliseconds',
|
||||||
us: 'microseconds',
|
us: 'microseconds',
|
||||||
},
|
},
|
||||||
|
@ -46,6 +47,7 @@ const types = {
|
||||||
bool: 'булево (да/нет)',
|
bool: 'булево (да/нет)',
|
||||||
int: 'целое число',
|
int: 'целое число',
|
||||||
sec: 'секунды',
|
sec: 'секунды',
|
||||||
|
float: 'число',
|
||||||
ms: 'миллисекунды',
|
ms: 'миллисекунды',
|
||||||
us: 'микросекунды',
|
us: 'микросекунды',
|
||||||
},
|
},
|
||||||
|
|
|
@ -1,7 +1,107 @@
|
||||||
|
- name: use_antietcd
|
||||||
|
type: bool
|
||||||
|
default: false
|
||||||
|
info: |
|
||||||
|
Enable experimental built-in etcd replacement (clustered key-value database):
|
||||||
|
[antietcd](https://git.yourcmc.ru/vitalif/antietcd/).
|
||||||
|
|
||||||
|
When set to true, monitor runs internal antietcd automatically if it finds
|
||||||
|
a network interface with an IP address matching one of addresses in the
|
||||||
|
`etcd_address` configuration option (in `/etc/vitastor/vitastor.conf` or in
|
||||||
|
the monitor command line). If there are multiple matching addresses, it also
|
||||||
|
checks `antietcd_port` and antietcd is started for address with matching port.
|
||||||
|
By default, antietcd accepts connection on the selected IP address, but it
|
||||||
|
can also be overridden manually in the `antietcd_ip` option.
|
||||||
|
|
||||||
|
When antietcd is started, monitor stores cluster metadata itself and exposes
|
||||||
|
a etcd-compatible REST API. On disk, these metadata are stored in
|
||||||
|
`/var/lib/vitastor/mon_2379.json.gz` (can be overridden in antietcd_data_file
|
||||||
|
or antietcd_data_dir options). All other antietcd parameters
|
||||||
|
(see [here](https://git.yourcmc.ru/vitalif/antietcd/)) except node_id,
|
||||||
|
cluster, cluster_key, persist_filter, stale_read can also be set in
|
||||||
|
Vitastor configuration with `antietcd_` prefix.
|
||||||
|
|
||||||
|
You can dump/load data to or from antietcd using Antietcd `anticli` tool:
|
||||||
|
|
||||||
|
```
|
||||||
|
npm exec anticli -e http://etcd:2379/v3 get --prefix '' --no-temp > dump.json
|
||||||
|
npm exec anticli -e http://antietcd:2379/v3 load < dump.json
|
||||||
|
```
|
||||||
|
info_ru: |
|
||||||
|
Включить экспериментальный встроенный заменитель etcd (кластерную БД ключ-значение):
|
||||||
|
[antietcd](https://git.yourcmc.ru/vitalif/antietcd/).
|
||||||
|
|
||||||
|
Если параметр установлен в true, монитор запускает antietcd автоматически,
|
||||||
|
если обнаруживает сетевой интерфейс с одним из адресов, указанных в опции
|
||||||
|
конфигурации `etcd_address` (в `/etc/vitastor/vitastor.conf` или в опциях
|
||||||
|
командной строки монитора). Если таких адресов несколько, также проверяется
|
||||||
|
опция `antietcd_port` и antietcd запускается для адреса с соответствующим
|
||||||
|
портом. По умолчанию antietcd принимает подключения по выбранному совпадающему
|
||||||
|
IP, но его также можно определить вручную опцией `antietcd_ip`.
|
||||||
|
|
||||||
|
При запуске antietcd монитор сам хранит центральные метаданные кластера и
|
||||||
|
выставляет etcd-совместимое REST API. На диске эти метаданные хранятся в файле
|
||||||
|
`/var/lib/vitastor/mon_2379.json.gz` (можно переопределить параметрами
|
||||||
|
antietcd_data_file или antietcd_data_dir). Все остальные параметры antietcd
|
||||||
|
(смотрите [по ссылке](https://git.yourcmc.ru/vitalif/antietcd/)), за исключением
|
||||||
|
node_id, cluster, cluster_key, persist_filter, stale_read также можно задавать
|
||||||
|
в конфигурации Vitastor с префиксом `antietcd_`.
|
||||||
|
|
||||||
|
Вы можете выгружать/загружать данные в или из antietcd с помощью его инструмента
|
||||||
|
`anticli`:
|
||||||
|
|
||||||
|
```
|
||||||
|
npm exec anticli -e http://etcd:2379/v3 get --prefix '' --no-temp > dump.json
|
||||||
|
npm exec anticli -e http://antietcd:2379/v3 load < dump.json
|
||||||
|
```
|
||||||
|
- name: enable_prometheus
|
||||||
|
type: bool
|
||||||
|
default: true
|
||||||
|
info: |
|
||||||
|
Enable built-in Prometheus metrics exporter at mon_http_port (8060 by default).
|
||||||
|
|
||||||
|
Note that only the active (master) monitor exposes metrics, others return
|
||||||
|
HTTP 503. So you should add all monitor URLs to your Prometheus job configuration.
|
||||||
|
|
||||||
|
Grafana dashboard suitable for this exporter is here: [Vitastor-Grafana-6+.json](../../mon/scripts/Vitastor-Grafana-6+.json).
|
||||||
|
info_ru: |
|
||||||
|
Включить встроенный Prometheus-экспортер метрик на порту mon_http_port (по умолчанию 8060).
|
||||||
|
|
||||||
|
Обратите внимание, что метрики выставляет только активный (главный) монитор, остальные
|
||||||
|
возвращают статус HTTP 503, поэтому вам следует добавлять адреса всех мониторов
|
||||||
|
в задание по сбору метрик Prometheus.
|
||||||
|
|
||||||
|
Дашборд для Grafana, подходящий для этого экспортера: [Vitastor-Grafana-6+.json](../../mon/scripts/Vitastor-Grafana-6+.json).
|
||||||
|
- name: mon_http_port
|
||||||
|
type: int
|
||||||
|
default: 8060
|
||||||
|
info: HTTP port for monitors to listen on (including metrics exporter)
|
||||||
|
info_ru: Порт, на котором мониторы принимают HTTP-соединения (в том числе для отдачи метрик)
|
||||||
|
- name: mon_http_ip
|
||||||
|
type: string
|
||||||
|
info: IP address for monitors to listen on (all addresses by default)
|
||||||
|
info_ru: IP-адрес, на котором мониторы принимают HTTP-соединения (по умолчанию все адреса)
|
||||||
|
- name: mon_https_cert
|
||||||
|
type: string
|
||||||
|
info: Path to PEM SSL certificate file for monitor to listen using HTTPS
|
||||||
|
info_ru: Путь к PEM-файлу SSL-сертификата для монитора, чтобы принимать соединения через HTTPS
|
||||||
|
- name: mon_https_key
|
||||||
|
type: string
|
||||||
|
info: Path to PEM SSL private key file for monitor to listen using HTTPS
|
||||||
|
info_ru: Путь к PEM-файлу секретного SSL-ключа для монитора, чтобы принимать соединения через HTTPS
|
||||||
|
- name: mon_https_client_auth
|
||||||
|
type: bool
|
||||||
|
default: false
|
||||||
|
info: Enable HTTPS client certificate-based authorization for monitor connections
|
||||||
|
info_ru: Включить в HTTPS-сервере монитора авторизацию по клиентским сертификатам
|
||||||
|
- name: mon_https_ca
|
||||||
|
type: string
|
||||||
|
info: Path to CA certificate for client HTTPS authorization
|
||||||
|
info_ru: Путь к удостоверяющему сертификату для авторизации клиентских HTTPS соединений
|
||||||
- name: etcd_mon_ttl
|
- name: etcd_mon_ttl
|
||||||
type: sec
|
type: sec
|
||||||
min: 10
|
min: 5
|
||||||
default: 30
|
default: 1
|
||||||
info: Monitor etcd lease refresh interval in seconds
|
info: Monitor etcd lease refresh interval in seconds
|
||||||
info_ru: Интервал обновления etcd резервации (lease) монитором
|
info_ru: Интервал обновления etcd резервации (lease) монитором
|
||||||
- name: etcd_mon_timeout
|
- name: etcd_mon_timeout
|
||||||
|
@ -63,3 +163,12 @@
|
||||||
"host" и "osd" являются предопределёнными и не могут быть удалены. Если
|
"host" и "osd" являются предопределёнными и не могут быть удалены. Если
|
||||||
один из них отсутствует в конфигурации, он доопределяется с приоритетом по
|
один из них отсутствует в конфигурации, он доопределяется с приоритетом по
|
||||||
умолчанию (100 для уровня "host", 101 для "osd").
|
умолчанию (100 для уровня "host", 101 для "osd").
|
||||||
|
- name: use_old_pg_combinator
|
||||||
|
type: bool
|
||||||
|
default: false
|
||||||
|
info: |
|
||||||
|
Use the old PG combination generator which doesn't support [level_placement](pool.en.md#level_placement)
|
||||||
|
and [raw_placement](pool.en.md#raw_placement) for pools which don't use this features.
|
||||||
|
info_ru: |
|
||||||
|
Использовать старый генератор комбинаций PG, не поддерживающий [level_placement](pool.ru.md#level_placement)
|
||||||
|
и [raw_placement](pool.ru.md#raw_placement) для пулов, которые не используют данные функции.
|
||||||
|
|
|
@ -48,11 +48,14 @@
|
||||||
type: string
|
type: string
|
||||||
info: |
|
info: |
|
||||||
RDMA device name to use for Vitastor OSD communications (for example,
|
RDMA device name to use for Vitastor OSD communications (for example,
|
||||||
"rocep5s0f0"). Please note that Vitastor RDMA requires Implicit On-Demand
|
"rocep5s0f0"). Now Vitastor supports all adapters, even ones without
|
||||||
Paging (Implicit ODP) and Scatter/Gather (SG) support from the RDMA device
|
ODP support, like Mellanox ConnectX-3 and non-Mellanox cards.
|
||||||
to work. For example, Mellanox ConnectX-3 and older adapters don't have
|
|
||||||
Implicit ODP, so they're unsupported by Vitastor. Run `ibv_devinfo -v` as
|
Versions up to Vitastor 1.2.0 required ODP which is only present in
|
||||||
root to list available RDMA devices and their features.
|
Mellanox ConnectX >= 4. See also [rdma_odp](#rdma_odp).
|
||||||
|
|
||||||
|
Run `ibv_devinfo -v` as root to list available RDMA devices and their
|
||||||
|
features.
|
||||||
|
|
||||||
Remember that you also have to configure your network switches if you use
|
Remember that you also have to configure your network switches if you use
|
||||||
RoCE/RoCEv2, otherwise you may experience unstable performance. Refer to
|
RoCE/RoCEv2, otherwise you may experience unstable performance. Refer to
|
||||||
|
@ -61,12 +64,15 @@
|
||||||
PFC (Priority Flow Control) and ECN (Explicit Congestion Notification).
|
PFC (Priority Flow Control) and ECN (Explicit Congestion Notification).
|
||||||
info_ru: |
|
info_ru: |
|
||||||
Название RDMA-устройства для связи с Vitastor OSD (например, "rocep5s0f0").
|
Название RDMA-устройства для связи с Vitastor OSD (например, "rocep5s0f0").
|
||||||
Имейте в виду, что поддержка RDMA в Vitastor требует функций устройства
|
Сейчас Vitastor поддерживает все модели адаптеров, включая те, у которых
|
||||||
Implicit On-Demand Paging (Implicit ODP) и Scatter/Gather (SG). Например,
|
нет поддержки ODP, то есть вы можете использовать RDMA с ConnectX-3 и
|
||||||
адаптеры Mellanox ConnectX-3 и более старые не поддерживают Implicit ODP и
|
картами производства не Mellanox.
|
||||||
потому не поддерживаются в Vitastor. Запустите `ibv_devinfo -v` от имени
|
|
||||||
суперпользователя, чтобы посмотреть список доступных RDMA-устройств, их
|
Версии Vitastor до 1.2.0 включительно требовали ODP, который есть только
|
||||||
параметры и возможности.
|
на Mellanox ConnectX 4 и более новых. См. также [rdma_odp](#rdma_odp).
|
||||||
|
|
||||||
|
Запустите `ibv_devinfo -v` от имени суперпользователя, чтобы посмотреть
|
||||||
|
список доступных RDMA-устройств, их параметры и возможности.
|
||||||
|
|
||||||
Обратите внимание, что если вы используете RoCE/RoCEv2, вам также необходимо
|
Обратите внимание, что если вы используете RoCE/RoCEv2, вам также необходимо
|
||||||
правильно настроить для него коммутаторы, иначе вы можете столкнуться с
|
правильно настроить для него коммутаторы, иначе вы можете столкнуться с
|
||||||
|
@ -160,6 +166,45 @@
|
||||||
у принимающей стороны в процессе работы не заканчивались буферы на приём.
|
у принимающей стороны в процессе работы не заканчивались буферы на приём.
|
||||||
Не влияет на потребление памяти - дополнительная память на операции отправки
|
Не влияет на потребление памяти - дополнительная память на операции отправки
|
||||||
не выделяется.
|
не выделяется.
|
||||||
|
- name: rdma_odp
|
||||||
|
type: bool
|
||||||
|
default: false
|
||||||
|
online: false
|
||||||
|
info: |
|
||||||
|
Use RDMA with On-Demand Paging. ODP is currently only available on Mellanox
|
||||||
|
ConnectX-4 and newer adapters. ODP allows to not register memory explicitly
|
||||||
|
for RDMA adapter to be able to use it. This, in turn, allows to skip memory
|
||||||
|
copying during sending. One would think this should improve performance, but
|
||||||
|
**in reality** RDMA performance with ODP is **drastically** worse. Example
|
||||||
|
3-node cluster with 8 NVMe in each node and 2*25 GBit/s ConnectX-6 RDMA network
|
||||||
|
without ODP pushes 3950000 read iops, but only 239000 iops with ODP...
|
||||||
|
|
||||||
|
This happens because Mellanox ODP implementation seems to be based on
|
||||||
|
message retransmissions when the adapter doesn't know about the buffer yet -
|
||||||
|
it likely uses standard "RNR retransmissions" (RNR = receiver not ready)
|
||||||
|
which is generally slow in RDMA/RoCE networks. Here's a presentation about
|
||||||
|
it from ISPASS-2021 conference: https://tkygtr6.github.io/pub/ISPASS21_slides.pdf
|
||||||
|
|
||||||
|
ODP support is retained in the code just in case a good ODP implementation
|
||||||
|
appears one day.
|
||||||
|
info_ru: |
|
||||||
|
Использовать RDMA с On-Demand Paging. ODP - функция, доступная пока что
|
||||||
|
исключительно на адаптерах Mellanox ConnectX-4 и более новых. ODP позволяет
|
||||||
|
не регистрировать память для её использования RDMA-картой. Благодаря этому
|
||||||
|
можно не копировать данные при отправке их в сеть и, казалось бы, это должно
|
||||||
|
улучшать производительность - но **по факту** получается так, что
|
||||||
|
производительность только ухудшается, причём сильно. Пример - на 3-узловом
|
||||||
|
кластере с 8 NVMe в каждом узле и сетью 2*25 Гбит/с на чтение с RDMA без ODP
|
||||||
|
удаётся снять 3950000 iops, а с ODP - всего 239000 iops...
|
||||||
|
|
||||||
|
Это происходит из-за того, что реализация ODP у Mellanox неоптимальная и
|
||||||
|
основана на повторной передаче сообщений, когда карте не известен буфер -
|
||||||
|
вероятно, на стандартных "RNR retransmission" (RNR = receiver not ready).
|
||||||
|
А данные повторные передачи в RDMA/RoCE - всегда очень медленная штука.
|
||||||
|
Презентация на эту тему с конференции ISPASS-2021: https://tkygtr6.github.io/pub/ISPASS21_slides.pdf
|
||||||
|
|
||||||
|
Возможность использования ODP сохранена в коде на случай, если вдруг в один
|
||||||
|
прекрасный день появится хорошая реализация ODP.
|
||||||
- name: peer_connect_interval
|
- name: peer_connect_interval
|
||||||
type: sec
|
type: sec
|
||||||
min: 1
|
min: 1
|
||||||
|
@ -198,21 +243,6 @@
|
||||||
Максимальное время ожидания ответа на запрос проверки состояния соединения.
|
Максимальное время ожидания ответа на запрос проверки состояния соединения.
|
||||||
Если OSD не отвечает за это время, соединение отключается и производится
|
Если OSD не отвечает за это время, соединение отключается и производится
|
||||||
повторная попытка соединения.
|
повторная попытка соединения.
|
||||||
- name: up_wait_retry_interval
|
|
||||||
type: ms
|
|
||||||
min: 50
|
|
||||||
default: 500
|
|
||||||
online: true
|
|
||||||
info: |
|
|
||||||
OSDs respond to clients with a special error code when they receive I/O
|
|
||||||
requests for a PG that's not synchronized and started. This parameter sets
|
|
||||||
the time for the clients to wait before re-attempting such I/O requests.
|
|
||||||
info_ru: |
|
|
||||||
Когда OSD получают от клиентов запросы ввода-вывода, относящиеся к не
|
|
||||||
поднятым на данный момент на них PG, либо к PG в процессе синхронизации,
|
|
||||||
они отвечают клиентам специальным кодом ошибки, означающим, что клиент
|
|
||||||
должен некоторое время подождать перед повторением запроса. Именно это время
|
|
||||||
ожидания задаёт данный параметр.
|
|
||||||
- name: max_etcd_attempts
|
- name: max_etcd_attempts
|
||||||
type: int
|
type: int
|
||||||
default: 5
|
default: 5
|
||||||
|
@ -250,9 +280,9 @@
|
||||||
info_ru: |
|
info_ru: |
|
||||||
Таймаут для HTTP Keep-Alive в соединениях к etcd. Должен быть больше, чем
|
Таймаут для HTTP Keep-Alive в соединениях к etcd. Должен быть больше, чем
|
||||||
etcd_report_interval, чтобы keepalive гарантированно работал.
|
etcd_report_interval, чтобы keepalive гарантированно работал.
|
||||||
- name: etcd_ws_keepalive_timeout
|
- name: etcd_ws_keepalive_interval
|
||||||
type: sec
|
type: sec
|
||||||
default: 30
|
default: 5
|
||||||
online: true
|
online: true
|
||||||
info: |
|
info: |
|
||||||
etcd websocket ping interval required to keep the connection alive and
|
etcd websocket ping interval required to keep the connection alive and
|
||||||
|
|
|
@ -1,3 +1,21 @@
|
||||||
|
- name: osd_iothread_count
|
||||||
|
type: int
|
||||||
|
default: 0
|
||||||
|
info: |
|
||||||
|
TCP network I/O thread count for OSD. When non-zero, a single OSD process
|
||||||
|
may handle more TCP I/O, but at a cost of increased latency because thread
|
||||||
|
switching overhead occurs. RDMA isn't affected by this option.
|
||||||
|
|
||||||
|
Because of latency, instead of enabling OSD I/O threads it's recommended to
|
||||||
|
just create multiple OSDs per disk, or use RDMA.
|
||||||
|
info_ru: |
|
||||||
|
Число отдельных потоков для обработки ввода-вывода через TCP-сеть на
|
||||||
|
стороне OSD. Включение опции позволяет каждому отдельному OSD передавать
|
||||||
|
по сети больше данных, но ухудшает задержку из-за накладных расходов
|
||||||
|
переключения потоков. На работу RDMA опция не влияет.
|
||||||
|
|
||||||
|
Из-за задержек вместо включения потоков ввода-вывода OSD рекомендуется
|
||||||
|
просто создавать по несколько OSD на каждом диске, или использовать RDMA.
|
||||||
- name: etcd_report_interval
|
- name: etcd_report_interval
|
||||||
type: sec
|
type: sec
|
||||||
default: 5
|
default: 5
|
||||||
|
@ -107,17 +125,29 @@
|
||||||
принудительной отправкой fsync-а.
|
принудительной отправкой fsync-а.
|
||||||
- name: recovery_queue_depth
|
- name: recovery_queue_depth
|
||||||
type: int
|
type: int
|
||||||
default: 4
|
default: 1
|
||||||
online: true
|
online: true
|
||||||
info: |
|
info: |
|
||||||
Maximum recovery operations per one primary OSD at any given moment of time.
|
Maximum recovery and rebalance operations initiated by each OSD in parallel.
|
||||||
Currently it's the only parameter available to tune the speed or recovery
|
Note that each OSD talks to a lot of other OSDs so actual number of parallel
|
||||||
and rebalancing, but it's planned to implement more.
|
recovery operations per each OSD is greater than just recovery_queue_depth.
|
||||||
|
Increasing this parameter can speedup recovery if [auto-tuning](#recovery_tune_interval)
|
||||||
|
allows it or if it is disabled.
|
||||||
info_ru: |
|
info_ru: |
|
||||||
Максимальное число операций восстановления на одном первичном OSD в любой
|
Максимальное число параллельных операций восстановления, инициируемых одним
|
||||||
момент времени. На данный момент единственный параметр, который можно менять
|
OSD в любой момент времени. Имейте в виду, что каждый OSD обычно работает с
|
||||||
для ускорения или замедления восстановления и перебалансировки данных, но
|
многими другими OSD, так что на практике параллелизм восстановления больше,
|
||||||
в планах реализация других параметров.
|
чем просто recovery_queue_depth. Увеличение значения этого параметра может
|
||||||
|
ускорить восстановление если [автотюнинг скорости](#recovery_tune_interval)
|
||||||
|
разрешает это или если он отключён.
|
||||||
|
- name: recovery_sleep_us
|
||||||
|
type: us
|
||||||
|
default: 0
|
||||||
|
online: true
|
||||||
|
info: |
|
||||||
|
Delay for all recovery- and rebalance- related operations. If non-zero,
|
||||||
|
such operations are artificially slowed down to reduce the impact on
|
||||||
|
client I/O.
|
||||||
- name: recovery_pg_switch
|
- name: recovery_pg_switch
|
||||||
type: int
|
type: int
|
||||||
default: 128
|
default: 128
|
||||||
|
@ -626,3 +656,112 @@
|
||||||
считается некорректной. Однако, если "лучшую" версию с числом доступных
|
считается некорректной. Однако, если "лучшую" версию с числом доступных
|
||||||
копий большим, чем у всех других версий, найти невозможно, то объект тоже
|
копий большим, чем у всех других версий, найти невозможно, то объект тоже
|
||||||
маркируется неконсистентным.
|
маркируется неконсистентным.
|
||||||
|
- name: recovery_tune_interval
|
||||||
|
type: sec
|
||||||
|
default: 1
|
||||||
|
online: true
|
||||||
|
info: |
|
||||||
|
Interval at which OSD re-considers client and recovery load and automatically
|
||||||
|
adjusts [recovery_sleep_us](#recovery_sleep_us). Recovery auto-tuning is
|
||||||
|
disabled if recovery_tune_interval is set to 0.
|
||||||
|
|
||||||
|
Auto-tuning targets utilization. Utilization is a measure of load and is
|
||||||
|
equal to the product of iops and average latency (so it may be greater
|
||||||
|
than 1). You set "low" and "high" client utilization thresholds and two
|
||||||
|
corresponding target recovery utilization levels. OSD calculates desired
|
||||||
|
recovery utilization from client utilization using linear interpolation
|
||||||
|
and auto-tunes recovery operation delay to make actual recovery utilization
|
||||||
|
match desired.
|
||||||
|
|
||||||
|
This allows to reduce recovery/rebalance impact on client operations. It is
|
||||||
|
of course impossible to remove it completely, but it should become adequate.
|
||||||
|
In some tests rebalance could earlier drop client write speed from 1.5 GB/s
|
||||||
|
to 50-100 MB/s, with default auto-tuning settings it now only reduces
|
||||||
|
to ~1 GB/s.
|
||||||
|
info_ru: |
|
||||||
|
Интервал, с которым OSD пересматривает клиентскую нагрузку и нагрузку
|
||||||
|
восстановления и автоматически подстраивает [recovery_sleep_us](#recovery_sleep_us).
|
||||||
|
Автотюнинг (автоподстройка) отключается, если recovery_tune_interval
|
||||||
|
устанавливается в значение 0.
|
||||||
|
|
||||||
|
Автотюнинг регулирует утилизацию. Утилизация является мерой нагрузки
|
||||||
|
и равна произведению числа операций в секунду и средней задержки
|
||||||
|
(то есть, она может быть выше 1). Вы задаёте два уровня клиентской
|
||||||
|
утилизации - "низкий" и "высокий" (low и high) и два соответствующих
|
||||||
|
целевых уровня утилизации операциями восстановления. OSD рассчитывает
|
||||||
|
желаемый уровень утилизации восстановления линейной интерполяцией от
|
||||||
|
клиентской утилизации и подстраивает задержку операций восстановления
|
||||||
|
так, чтобы фактическая утилизация восстановления совпадала с желаемой.
|
||||||
|
|
||||||
|
Это позволяет снизить влияние восстановления и ребаланса на клиентские
|
||||||
|
операции. Конечно, невозможно исключить такое влияние полностью, но оно
|
||||||
|
должно становиться адекватнее. В некоторых тестах перебалансировка могла
|
||||||
|
снижать клиентскую скорость записи с 1.5 ГБ/с до 50-100 МБ/с, а теперь, с
|
||||||
|
настройками автотюнинга по умолчанию, она снижается только до ~1 ГБ/с.
|
||||||
|
- name: recovery_tune_util_low
|
||||||
|
type: float
|
||||||
|
default: 0.1
|
||||||
|
online: true
|
||||||
|
info: |
|
||||||
|
Desired recovery/rebalance utilization when client load is high, i.e. when
|
||||||
|
it is at or above recovery_tune_client_util_high.
|
||||||
|
info_ru: |
|
||||||
|
Желаемая утилизация восстановления в моменты, когда клиентская нагрузка
|
||||||
|
высокая, то есть, находится на уровне или выше recovery_tune_client_util_high.
|
||||||
|
- name: recovery_tune_util_high
|
||||||
|
type: float
|
||||||
|
default: 1
|
||||||
|
online: true
|
||||||
|
info: |
|
||||||
|
Desired recovery/rebalance utilization when client load is low, i.e. when
|
||||||
|
it is at or below recovery_tune_client_util_low.
|
||||||
|
info_ru: |
|
||||||
|
Желаемая утилизация восстановления в моменты, когда клиентская нагрузка
|
||||||
|
низкая, то есть, находится на уровне или ниже recovery_tune_client_util_low.
|
||||||
|
- name: recovery_tune_client_util_low
|
||||||
|
type: float
|
||||||
|
default: 0
|
||||||
|
online: true
|
||||||
|
info: Client utilization considered "low".
|
||||||
|
info_ru: Клиентская утилизация, которая считается "низкой".
|
||||||
|
- name: recovery_tune_client_util_high
|
||||||
|
type: float
|
||||||
|
default: 0.5
|
||||||
|
online: true
|
||||||
|
info: Client utilization considered "high".
|
||||||
|
info_ru: Клиентская утилизация, которая считается "высокой".
|
||||||
|
- name: recovery_tune_agg_interval
|
||||||
|
type: int
|
||||||
|
default: 10
|
||||||
|
online: true
|
||||||
|
info: |
|
||||||
|
The number of last auto-tuning iterations to use for calculating the
|
||||||
|
delay as average. Lower values result in quicker response to client
|
||||||
|
load change, higher values result in more stable delay. Default value of 10
|
||||||
|
is usually fine.
|
||||||
|
info_ru: |
|
||||||
|
Число последних итераций автоподстройки для расчёта задержки как среднего
|
||||||
|
значения. Меньшие значения параметра ускоряют отклик на изменение нагрузки,
|
||||||
|
большие значения делают задержку стабильнее. Значение по умолчанию 10
|
||||||
|
обычно нормальное и не требует изменений.
|
||||||
|
- name: recovery_tune_sleep_min_us
|
||||||
|
type: us
|
||||||
|
default: 10
|
||||||
|
online: true
|
||||||
|
info: |
|
||||||
|
Minimum possible value for auto-tuned recovery_sleep_us. Lower values
|
||||||
|
are changed to 0.
|
||||||
|
info_ru: |
|
||||||
|
Минимальное возможное значение авто-подстроенного recovery_sleep_us.
|
||||||
|
Меньшие значения заменяются на 0.
|
||||||
|
- name: recovery_tune_sleep_cutoff_us
|
||||||
|
type: us
|
||||||
|
default: 10000000
|
||||||
|
online: true
|
||||||
|
info: |
|
||||||
|
Maximum possible value for auto-tuned recovery_sleep_us. Higher values
|
||||||
|
are treated as outliers and ignored in aggregation.
|
||||||
|
info_ru: |
|
||||||
|
Максимальное возможное значение авто-подстроенного recovery_sleep_us.
|
||||||
|
Большие значения считаются случайными выбросами и игнорируются в
|
||||||
|
усреднении.
|
||||||
|
|
|
@ -19,6 +19,14 @@ for i in ./???-*.yaml; do kubectl apply -f $i; done
|
||||||
|
|
||||||
After that you'll be able to create PersistentVolumes.
|
After that you'll be able to create PersistentVolumes.
|
||||||
|
|
||||||
|
**Important:** For best experience, use Linux kernel at least 5.15 with [VDUSE](../usage/qemu.en.md#vduse)
|
||||||
|
kernel modules enabled (vdpa, vduse, virtio-vdpa). If your distribution doesn't
|
||||||
|
have them pre-built - build them yourself ([instructions](../usage/qemu.en.md#vduse)),
|
||||||
|
I promise it's worth it :-). When VDUSE is unavailable, CSI driver uses [NBD](../usage/nbd.en.md)
|
||||||
|
to map Vitastor devices. NBD is slower and prone to timeout issues: if Vitastor
|
||||||
|
cluster becomes unresponsible for more than [nbd_timeout](../config/client.en.md#nbd_timeout),
|
||||||
|
the NBD device detaches and breaks pods using it.
|
||||||
|
|
||||||
## Features
|
## Features
|
||||||
|
|
||||||
Vitastor CSI supports:
|
Vitastor CSI supports:
|
||||||
|
@ -27,5 +35,9 @@ Vitastor CSI supports:
|
||||||
- Raw block RWX (ReadWriteMany) volumes. Example: [PVC](../../csi/deploy/example-pvc-block.yaml), [pod](../../csi/deploy/example-test-pod-block.yaml)
|
- Raw block RWX (ReadWriteMany) volumes. Example: [PVC](../../csi/deploy/example-pvc-block.yaml), [pod](../../csi/deploy/example-test-pod-block.yaml)
|
||||||
- Volume expansion
|
- Volume expansion
|
||||||
- Volume snapshots. Example: [snapshot class](../../csi/deploy/example-snapshot-class.yaml), [snapshot](../../csi/deploy/example-snapshot.yaml), [clone](../../csi/deploy/example-snapshot-clone.yaml)
|
- Volume snapshots. Example: [snapshot class](../../csi/deploy/example-snapshot-class.yaml), [snapshot](../../csi/deploy/example-snapshot.yaml), [clone](../../csi/deploy/example-snapshot-clone.yaml)
|
||||||
|
- [VDUSE](../usage/qemu.en.md#vduse) (preferred) and [NBD](../usage/nbd.en.md) device mapping methods
|
||||||
|
- Upgrades with VDUSE - new handler processes are restarted when CSI pods are restarted themselves
|
||||||
|
- VDUSE daemon auto-restart - handler processes are automatically restarted if they crash due to a bug in Vitastor client code
|
||||||
|
- Multiple clusters by using multiple configuration files in ConfigMap.
|
||||||
|
|
||||||
Remember that to use snapshots with CSI you also have to install [Snapshot Controller and CRDs](https://kubernetes-csi.github.io/docs/snapshot-controller.html#deployment).
|
Remember that to use snapshots with CSI you also have to install [Snapshot Controller and CRDs](https://kubernetes-csi.github.io/docs/snapshot-controller.html#deployment).
|
||||||
|
|
|
@ -19,6 +19,14 @@ for i in ./???-*.yaml; do kubectl apply -f $i; done
|
||||||
|
|
||||||
После этого вы сможете создавать PersistentVolume.
|
После этого вы сможете создавать PersistentVolume.
|
||||||
|
|
||||||
|
**Важно:** Лучше всего использовать ядро Linux версии не менее 5.15 с включёнными модулями
|
||||||
|
[VDUSE](../usage/qemu.ru.md#vduse) (vdpa, vduse, virtio-vdpa). Если в вашем дистрибутиве
|
||||||
|
они не собраны из коробки - соберите их сами, обещаю, что это стоит того ([инструкция](../usage/qemu.ru.md#vduse)) :-).
|
||||||
|
Когда VDUSE недоступно, CSI-плагин использует [NBD](../usage/nbd.ru.md) для подключения
|
||||||
|
дисков, а NBD медленнее и имеет проблему таймаута - если кластер остаётся недоступным
|
||||||
|
дольше, чем [nbd_timeout](../config/client.ru.md#nbd_timeout), NBD-устройство отключается
|
||||||
|
и ломает поды, использующие его.
|
||||||
|
|
||||||
## Возможности
|
## Возможности
|
||||||
|
|
||||||
CSI-плагин Vitastor поддерживает:
|
CSI-плагин Vitastor поддерживает:
|
||||||
|
@ -27,5 +35,9 @@ CSI-плагин Vitastor поддерживает:
|
||||||
- Сырые блочные RWX (ReadWriteMany) тома. Пример: [PVC](../../csi/deploy/example-pvc-block.yaml), [под](../../csi/deploy/example-test-pod-block.yaml)
|
- Сырые блочные RWX (ReadWriteMany) тома. Пример: [PVC](../../csi/deploy/example-pvc-block.yaml), [под](../../csi/deploy/example-test-pod-block.yaml)
|
||||||
- Расширение размера томов
|
- Расширение размера томов
|
||||||
- Снимки томов. Пример: [класс снимков](../../csi/deploy/example-snapshot-class.yaml), [снимок](../../csi/deploy/example-snapshot.yaml), [клон снимка](../../csi/deploy/example-snapshot-clone.yaml)
|
- Снимки томов. Пример: [класс снимков](../../csi/deploy/example-snapshot-class.yaml), [снимок](../../csi/deploy/example-snapshot.yaml), [клон снимка](../../csi/deploy/example-snapshot-clone.yaml)
|
||||||
|
- Способы подключения устройств [VDUSE](../usage/qemu.ru.md#vduse) (предпочитаемый) и [NBD](../usage/nbd.ru.md)
|
||||||
|
- Обновление при использовании VDUSE - новые процессы-обработчики устройств успешно перезапускаются вместе с самими подами CSI
|
||||||
|
- Автоперезауск демонов VDUSE - процесс-обработчик автоматически перезапустится, если он внезапно упадёт из-за бага в коде клиента Vitastor
|
||||||
|
- Несколько кластеров через задание нескольких файлов конфигурации в ConfigMap.
|
||||||
|
|
||||||
Не забывайте, что для использования снимков нужно сначала установить [контроллер снимков и CRD](https://kubernetes-csi.github.io/docs/snapshot-controller.html#deployment).
|
Не забывайте, что для использования снимков нужно сначала установить [контроллер снимков и CRD](https://kubernetes-csi.github.io/docs/snapshot-controller.html#deployment).
|
||||||
|
|
|
@ -0,0 +1,184 @@
|
||||||
|
[Documentation](../../README.md#documentation) → Installation → OpenNebula
|
||||||
|
|
||||||
|
-----
|
||||||
|
|
||||||
|
[Читать на русском](opennebula.ru.md)
|
||||||
|
|
||||||
|
## Automatic Installation
|
||||||
|
|
||||||
|
OpenNebula plugin is packaged as `vitastor-opennebula` Debian and RPM package since Vitastor 1.9.0. So:
|
||||||
|
|
||||||
|
- Run `apt-get install vitastor-opennebula` or `yum install vitastor-opennebula` after installing OpenNebula on all nodes
|
||||||
|
- Check that it prints "OK, Vitastor OpenNebula patches successfully applied" or "OK, Vitastor OpenNebula patches are already applied"
|
||||||
|
- If it does not, refer to [Manual Installation](#manual-installation) and apply configuration file changes manually
|
||||||
|
- Make sure that Vitastor patched versions of QEMU and libvirt are installed
|
||||||
|
(`dpkg -l qemu-system-x86`, `dpkg -l | grep libvirt`, `rpm -qa | grep qemu`, `rpm -qa | grep qemu`, `rpm -qa | grep libvirt-libs` should show "vitastor" in version names)
|
||||||
|
- [Block VM access to Vitastor cluster](#block-vm-access-to-vitastor-cluster)
|
||||||
|
|
||||||
|
## Manual Installation
|
||||||
|
|
||||||
|
Install OpenNebula. Then, on each node:
|
||||||
|
|
||||||
|
- Copy [opennebula/remotes](../../opennebula/remotes) into `/var/lib/one` recursively: `cp -r opennebula/remotes /var/lib/one/`
|
||||||
|
- Copy [opennebula/sudoers.d](../../opennebula/sudoers.d) to `/etc`: `cp -r opennebula/sudoers.d /etc/`
|
||||||
|
- Apply [downloader-vitastor.sh.diff](../../opennebula/remotes/datastore/vitastor/downloader-vitastor.sh.diff) to `/var/lib/one/remotes/datastore/downloader.sh`:
|
||||||
|
`patch /var/lib/one/remotes/datastore/downloader.sh < opennebula/remotes/datastore/vitastor/downloader-vitastor.sh.diff` - or read the patch and apply the same change manually
|
||||||
|
- Add `kvm-vitastor` to `LIVE_DISK_SNAPSHOTS` in `/etc/one/vmm_exec/vmm_execrc`
|
||||||
|
- If on Debian or Ubuntu (and AppArmor is used), add Vitastor config file path(s) to `/etc/apparmor.d/local/abstractions/libvirt-qemu`: for example,
|
||||||
|
`echo ' "/etc/vitastor/vitastor.conf" r,' >> /etc/apparmor.d/local/abstractions/libvirt-qemu`
|
||||||
|
- Apply changes to `/etc/one/oned.conf`
|
||||||
|
|
||||||
|
### oned.conf changes
|
||||||
|
|
||||||
|
1. Add deploy script override in kvm VM_MAD: add `-l deploy.vitastor` to ARGUMENTS.
|
||||||
|
|
||||||
|
```diff
|
||||||
|
VM_MAD = [
|
||||||
|
NAME = "kvm",
|
||||||
|
SUNSTONE_NAME = "KVM",
|
||||||
|
EXECUTABLE = "one_vmm_exec",
|
||||||
|
- ARGUMENTS = "-t 15 -r 0 kvm -p",
|
||||||
|
+ ARGUMENTS = "-t 15 -r 0 kvm -p -l deploy=deploy.vitastor",
|
||||||
|
DEFAULT = "vmm_exec/vmm_exec_kvm.conf",
|
||||||
|
TYPE = "kvm",
|
||||||
|
KEEP_SNAPSHOTS = "yes",
|
||||||
|
LIVE_RESIZE = "yes",
|
||||||
|
SUPPORT_SHAREABLE = "yes",
|
||||||
|
IMPORTED_VMS_ACTIONS = "terminate, terminate-hard, hold, release, suspend,
|
||||||
|
resume, delete, reboot, reboot-hard, resched, unresched, disk-attach,
|
||||||
|
disk-detach, nic-attach, nic-detach, snapshot-create, snapshot-delete,
|
||||||
|
resize, updateconf, update"
|
||||||
|
]
|
||||||
|
```
|
||||||
|
|
||||||
|
Optional: if you also want to save VM RAM checkpoints to Vitastor, use
|
||||||
|
`-l deploy=deploy.vitastor,save=save.vitastor,restore=restore.vitastor`
|
||||||
|
instead of just `-l deploy=deploy.vitastor`.
|
||||||
|
|
||||||
|
2. Add `vitastor` to TM_MAD.ARGUMENTS and DATASTORE_MAD.ARGUMENTS:
|
||||||
|
|
||||||
|
```diff
|
||||||
|
TM_MAD = [
|
||||||
|
EXECUTABLE = "one_tm",
|
||||||
|
- ARGUMENTS = "-t 15 -d dummy,lvm,shared,fs_lvm,fs_lvm_ssh,qcow2,ssh,ceph,dev,vcenter,iscsi_libvirt"
|
||||||
|
+ ARGUMENTS = "-t 15 -d dummy,lvm,shared,fs_lvm,fs_lvm_ssh,qcow2,ssh,ceph,vitastor,dev,vcenter,iscsi_libvirt"
|
||||||
|
]
|
||||||
|
|
||||||
|
DATASTORE_MAD = [
|
||||||
|
EXECUTABLE = "one_datastore",
|
||||||
|
- ARGUMENTS = "-t 15 -d dummy,fs,lvm,ceph,dev,iscsi_libvirt,vcenter,restic,rsync -s shared,ssh,ceph,fs_lvm,fs_lvm_ssh,qcow2,vcenter"
|
||||||
|
+ ARGUMENTS = "-t 15 -d dummy,fs,lvm,ceph,vitastor,dev,iscsi_libvirt,vcenter,restic,rsync -s shared,ssh,ceph,vitastor,fs_lvm,fs_lvm_ssh,qcow2,vcenter"
|
||||||
|
]
|
||||||
|
```
|
||||||
|
|
||||||
|
3. Add INHERIT_DATASTORE_ATTR for two Vitastor attributes:
|
||||||
|
|
||||||
|
```
|
||||||
|
INHERIT_DATASTORE_ATTR = "VITASTOR_CONF"
|
||||||
|
INHERIT_DATASTORE_ATTR = "IMAGE_PREFIX"
|
||||||
|
```
|
||||||
|
|
||||||
|
4. Add TM_MAD_CONF and DS_MAD_CONF for Vitastor:
|
||||||
|
|
||||||
|
```
|
||||||
|
TM_MAD_CONF = [
|
||||||
|
NAME = "vitastor", LN_TARGET = "NONE", CLONE_TARGET = "SELF", SHARED = "YES",
|
||||||
|
DS_MIGRATE = "NO", DRIVER = "raw", ALLOW_ORPHANS="format",
|
||||||
|
TM_MAD_SYSTEM = "ssh,shared", LN_TARGET_SSH = "SYSTEM", CLONE_TARGET_SSH = "SYSTEM",
|
||||||
|
DISK_TYPE_SSH = "FILE", LN_TARGET_SHARED = "NONE",
|
||||||
|
CLONE_TARGET_SHARED = "SELF", DISK_TYPE_SHARED = "FILE"
|
||||||
|
]
|
||||||
|
|
||||||
|
DS_MAD_CONF = [
|
||||||
|
NAME = "vitastor",
|
||||||
|
REQUIRED_ATTRS = "DISK_TYPE,BRIDGE_LIST",
|
||||||
|
PERSISTENT_ONLY = "NO",
|
||||||
|
MARKETPLACE_ACTIONS = "export"
|
||||||
|
]
|
||||||
|
```
|
||||||
|
|
||||||
|
## Create Datastores
|
||||||
|
|
||||||
|
Example Image and System Datastore definitions:
|
||||||
|
[opennebula/vitastor-imageds.conf](../../opennebula/vitastor-imageds.conf) and
|
||||||
|
[opennebula/vitastor-systemds.conf](../../opennebula/vitastor-systemds.conf).
|
||||||
|
|
||||||
|
Change parameters to your will:
|
||||||
|
|
||||||
|
- POOL_NAME is Vitastor pool name to store images.
|
||||||
|
- IMAGE_PREFIX is a string prepended to all Vitastor image names.
|
||||||
|
- BRIDGE_LIST is a list of hosts with access to Vitastor cluster, mostly used for image (not system) datastore operations.
|
||||||
|
- VITASTOR_CONF is the path to cluster configuration. Note that it should be also added to `/etc/apparmor.d/local/abstractions/libvirt-qemu` if you use AppArmor.
|
||||||
|
- STAGING_DIR is a temporary directory used when importing external images. Should have free space sufficient for downloading external images.
|
||||||
|
|
||||||
|
Then create datastores using `onedatastore create vitastor-imageds.conf` and `onedatastore create vitastor-systemds.conf` (or use UI).
|
||||||
|
|
||||||
|
## Block VM access to Vitastor cluster
|
||||||
|
|
||||||
|
Vitastor doesn't support any authentication yet, so you MUST block VM guest access to the Vitastor cluster at the network level.
|
||||||
|
|
||||||
|
If you use VLAN networking for VMs - make sure you use different VLANs for VMs and hypervisor/storage network and
|
||||||
|
block access between them using your firewall/switch configuration.
|
||||||
|
|
||||||
|
If you use something more stupid like bridged networking, you probably have to use manual firewall/iptables setup
|
||||||
|
to only allow access to Vitastor from hypervisor IPs.
|
||||||
|
|
||||||
|
Also you need to switch network to "Bridged & Security Groups" and enable IP spoofing filters in OpenNebula.
|
||||||
|
Problem is that OpenNebula's IP spoofing filter doesn't affect local interfaces of the hypervisor i.e. when
|
||||||
|
it's enabled a VM can't talk to other VMs or to the outer world using a spoofed IP, but it CAN talk to the
|
||||||
|
hypervisor if it takes an IP from its subnet. To fix that you also need some more iptables.
|
||||||
|
|
||||||
|
So the complete "stupid" bridged network filter setup could look like the following
|
||||||
|
(here `10.0.3.0/24` is the VM subnet and `10.0.2.0/24` is the hypervisor subnet):
|
||||||
|
|
||||||
|
```
|
||||||
|
# Allow incoming traffic from physical device
|
||||||
|
iptables -A INPUT -m physdev --physdev-in eth0 -j ACCEPT
|
||||||
|
# Do not allow incoming traffic from VMs, but not from VM subnet
|
||||||
|
iptables -A INPUT ! -s 10.0.3.0/24 -i onebr0 -j DROP
|
||||||
|
# Drop traffic from VMs to hypervisor/storage subnet
|
||||||
|
iptables -I FORWARD 1 -s 10.0.3.0/24 -d 10.0.2.0/24 -j DROP
|
||||||
|
```
|
||||||
|
|
||||||
|
## Testing
|
||||||
|
|
||||||
|
The OpenNebula plugin includes quite a bit of bash scripts, so here's their description to get an idea about what they actually do.
|
||||||
|
|
||||||
|
| Script | Action | How to Test |
|
||||||
|
| ----------------------- | ----------------------------------------- | ------------------------------------------------------------------------------------ |
|
||||||
|
| vmm/kvm/deploy.vitastor | Start a VM | Create and start a VM with Vitastor disk(s): persistent / non-persistent / volatile. |
|
||||||
|
| vmm/kvm/save.vitastor | Save VM memory checkpoint | Stop a VM using "Stop" command. |
|
||||||
|
| vmm/kvm/restore.vitastor| Restore VM memory checkpoint | Start a VM back after stopping it. |
|
||||||
|
| datastore/clone | Copy an image as persistent | Create a VM template and instantiate it as persistent. |
|
||||||
|
| datastore/cp | Import an external image | Import a VM template with images from Marketplace. |
|
||||||
|
| datastore/export | Export an image as URL | Probably: export a VM template with images to Marketplace. |
|
||||||
|
| datastore/mkfs | Create an image with FS | Storage → Images → Create → Type: Datablock, Location: Empty disk image, Filesystem: Not empty. |
|
||||||
|
| datastore/monitor | Monitor used space in image datastore | Check reported used/free space in image datastore list. |
|
||||||
|
| datastore/rm | Remove a persistent image | Storage → Images → Select an image → Delete. |
|
||||||
|
| datastore/snap_delete | Delete a snapshot of a persistent image | Storage → Images → Select an image → Select a snapshot → Delete; <br> To create an image with snapshot: attach a persistent image to a VM; create a snapshot; detach the image. |
|
||||||
|
| datastore/snap_flatten | Revert an image to snapshot and delete other snapshots | Storage → Images → Select an image → Select a snapshot → Flatten. |
|
||||||
|
| datastore/snap_revert | Revert an image to snapshot | Storage → Images → Select an image → Select a snapshot → Revert. |
|
||||||
|
| datastore/stat | Get virtual size of an image in MB | No idea. Seems to be unused both in Vitastor and Ceph datastores. |
|
||||||
|
| tm/clone | Clone a non-persistent image to a VM disk | Attach a non-persistent image to a VM. |
|
||||||
|
| tm/context | Generate a contextualisation VM disk | Create a VM with enabled contextualisation (default). Common host FS-based version is used in Vitastor and Ceph datastores. |
|
||||||
|
| tm/cpds | Copy a VM disk / its snapshot to an image | Select a VM → Select a disk → Optionally select a snapshot → Save as. |
|
||||||
|
| tm/delete | Delete a cloned or volatile VM disk | Detach a volatile disk or a non-persistent image from a VM. |
|
||||||
|
| tm/failmigrate | Handle live migration failure | No action. Script is empty in Vitastor and Ceph. In other datastores, should roll back actions done by tm/premigrate. |
|
||||||
|
| tm/ln | Attach a persistent image to a VM | No action. Script is empty in Vitastor and Ceph. |
|
||||||
|
| tm/mkimage | Create a volatile disk, maybe with FS | Attach a volatile disk to a VM, with or without file system. |
|
||||||
|
| tm/mkswap | Create a volatile swap disk | Attach a volatile disk to a VM, formatted as swap. |
|
||||||
|
| tm/monitor | Monitor used space in system datastore | Check reported used/free space in system datastore list. |
|
||||||
|
| tm/mv | Move a migrated VM disk between hosts | Migrate a VM between hosts. In Vitastor and Ceph datastores, doesn't do any storage action. |
|
||||||
|
| tm/mvds | Detach a persistent image from a VM | No action. The opposite of tm/ln. Script is empty in Vitastor and Ceph. In other datastores, script may copy the image from VM host back to the datastore. |
|
||||||
|
| tm/postbackup | Executed after backup | Seems that the script just removes temporary files after backup. Perform a VM backup and check that temporary files are cleaned up. |
|
||||||
|
| tm/postbackup_live | Executed after backup of a running VM | Same as tm/postbackup, but for a running VM. |
|
||||||
|
| tm/postmigrate | Executed after VM live migration | No action. Only executed for system datastore, so the script tries to call other TMs for other disks. Except that, the script does nothing in Vitastor and Ceph datastores. |
|
||||||
|
| tm/prebackup | Actual backup script: backup VM disks | Set up "rsync" backup datastore → Backup a VM to it. |
|
||||||
|
| tm/prebackup_live | Backup VM disks of a running VM | Same as tm/prebackup, but also does fsfreeze/thaw. So perform a live backup, restore it and check that disks are consistent. |
|
||||||
|
| tm/premigrate | Executed before live migration | No action. Only executed for system datastore, so the script tries to call other TMs for other disks. Except that, the script does nothing in Vitastor and Ceph datastores. |
|
||||||
|
| tm/resize | Resize a VM disk | Select a VM → Select a non-persistent disk → Resize. |
|
||||||
|
| tm/restore | Restore VM disks from backup | Set up "rsync" backup datastore → Backup a VM to it → Restore it back. |
|
||||||
|
| tm/snap_create | Create a VM disk snapshot | Select a VM → Select a disk → Create snapshot. |
|
||||||
|
| tm/snap_create_live | Create a VM disk snapshot for a live VM | Select a running VM → Select a disk → Create snapshot. |
|
||||||
|
| tm/snap_delete | Delete a VM disk snapshot | Select a VM → Select a disk → Select a snapshot → Delete. |
|
||||||
|
| tm/snap_revert | Revert a VM disk to a snapshot | Select a VM → Select a disk → Select a snapshot → Revert. |
|
|
@ -0,0 +1,187 @@
|
||||||
|
[Документация](../../README-ru.md#документация) → Установка → OpenNebula
|
||||||
|
|
||||||
|
-----
|
||||||
|
|
||||||
|
[Read in English](opennebula.en.md)
|
||||||
|
|
||||||
|
## Автоматическая установка
|
||||||
|
|
||||||
|
Плагин OpenNebula Vitastor распространяется как Debian и RPM пакет `vitastor-opennebula`, начиная с версии Vitastor 1.9.0. Так что:
|
||||||
|
|
||||||
|
- Запустите `apt-get install vitastor-opennebula` или `yum install vitastor-opennebula` после установки OpenNebula на всех серверах
|
||||||
|
- Проверьте, что он выводит "OK, Vitastor OpenNebula patches successfully applied" или "OK, Vitastor OpenNebula patches are already applied" в процессе установки
|
||||||
|
- Если сообщение не выведено, пройдите по шагам инструкцию [Ручная установка](#ручная-установка) и примените правки файлов конфигурации вручную
|
||||||
|
- Удостоверьтесь, что установлены версии QEMU и libvirt с изменениями Vitastor
|
||||||
|
(`dpkg -l qemu-system-x86`, `dpkg -l | grep libvirt`, `rpm -qa | grep qemu`, `rpm -qa | grep qemu`, `rpm -qa | grep libvirt-libs` должны показывать "vitastor" в номере версии)
|
||||||
|
- [Заблокируйте доступ виртуальных машин в Vitastor](#блокировка-доступа-вм-в-vitastor)
|
||||||
|
|
||||||
|
## Ручная установка
|
||||||
|
|
||||||
|
Сначала установите саму OpenNebula. После этого, на каждом сервере:
|
||||||
|
|
||||||
|
- Скопируйте директорию [opennebula/remotes](../../opennebula/remotes) в `/var/lib/one`: `cp -r opennebula/remotes /var/lib/one/`
|
||||||
|
- Скопируйте директорию [opennebula/sudoers.d](../../opennebula/sudoers.d) в `/etc`: `cp -r opennebula/sudoers.d /etc/`
|
||||||
|
- Примените патч [downloader-vitastor.sh.diff](../../opennebula/remotes/datastore/vitastor/downloader-vitastor.sh.diff) к `/var/lib/one/remotes/datastore/downloader.sh`:
|
||||||
|
`patch /var/lib/one/remotes/datastore/downloader.sh < opennebula/remotes/datastore/vitastor/downloader-vitastor.sh.diff` - либо прочитайте патч и примените изменение вручную
|
||||||
|
- Добавьте `kvm-vitastor` в список `LIVE_DISK_SNAPSHOTS` в файле `/etc/one/vmm_exec/vmm_execrc`
|
||||||
|
- Если вы используете Debian или Ubuntu (и AppArmor), добавьте пути к файлу(ам) конфигурации Vitastor в файл `/etc/apparmor.d/local/abstractions/libvirt-qemu`: например,
|
||||||
|
`echo ' "/etc/vitastor/vitastor.conf" r,' >> /etc/apparmor.d/local/abstractions/libvirt-qemu`
|
||||||
|
- Примените изменения `/etc/one/oned.conf`
|
||||||
|
|
||||||
|
### Изменения oned.conf
|
||||||
|
|
||||||
|
1. Добавьте переопределение скрипта deploy в VM_MAD kvm, добавив `-l deploy.vitastor` в `ARGUMENTS`:
|
||||||
|
|
||||||
|
```diff
|
||||||
|
VM_MAD = [
|
||||||
|
NAME = "kvm",
|
||||||
|
SUNSTONE_NAME = "KVM",
|
||||||
|
EXECUTABLE = "one_vmm_exec",
|
||||||
|
- ARGUMENTS = "-t 15 -r 0 kvm -p",
|
||||||
|
+ ARGUMENTS = "-t 15 -r 0 kvm -p -l deploy=deploy.vitastor",
|
||||||
|
DEFAULT = "vmm_exec/vmm_exec_kvm.conf",
|
||||||
|
TYPE = "kvm",
|
||||||
|
KEEP_SNAPSHOTS = "yes",
|
||||||
|
LIVE_RESIZE = "yes",
|
||||||
|
SUPPORT_SHAREABLE = "yes",
|
||||||
|
IMPORTED_VMS_ACTIONS = "terminate, terminate-hard, hold, release, suspend,
|
||||||
|
resume, delete, reboot, reboot-hard, resched, unresched, disk-attach,
|
||||||
|
disk-detach, nic-attach, nic-detach, snapshot-create, snapshot-delete,
|
||||||
|
resize, updateconf, update"
|
||||||
|
]
|
||||||
|
```
|
||||||
|
|
||||||
|
Опционально: если вы хотите также сохранять снимки памяти ВМ в Vitastor, добавьте
|
||||||
|
`-l deploy=deploy.vitastor,save=save.vitastor,restore=restore.vitastor`
|
||||||
|
вместо просто `-l deploy=deploy.vitastor`.
|
||||||
|
|
||||||
|
2. Добавьте `vitastor` в значения TM_MAD.ARGUMENTS и DATASTORE_MAD.ARGUMENTS:
|
||||||
|
|
||||||
|
```diff
|
||||||
|
TM_MAD = [
|
||||||
|
EXECUTABLE = "one_tm",
|
||||||
|
- ARGUMENTS = "-t 15 -d dummy,lvm,shared,fs_lvm,fs_lvm_ssh,qcow2,ssh,ceph,dev,vcenter,iscsi_libvirt"
|
||||||
|
+ ARGUMENTS = "-t 15 -d dummy,lvm,shared,fs_lvm,fs_lvm_ssh,qcow2,ssh,ceph,vitastor,dev,vcenter,iscsi_libvirt"
|
||||||
|
]
|
||||||
|
|
||||||
|
DATASTORE_MAD = [
|
||||||
|
EXECUTABLE = "one_datastore",
|
||||||
|
- ARGUMENTS = "-t 15 -d dummy,fs,lvm,ceph,dev,iscsi_libvirt,vcenter,restic,rsync -s shared,ssh,ceph,fs_lvm,fs_lvm_ssh,qcow2,vcenter"
|
||||||
|
+ ARGUMENTS = "-t 15 -d dummy,fs,lvm,ceph,vitastor,dev,iscsi_libvirt,vcenter,restic,rsync -s shared,ssh,ceph,vitastor,fs_lvm,fs_lvm_ssh,qcow2,vcenter"
|
||||||
|
]
|
||||||
|
```
|
||||||
|
|
||||||
|
3. Добавьте строчки с INHERIT_DATASTORE_ATTR для двух атрибутов Vitastor-хранилищ:
|
||||||
|
|
||||||
|
```
|
||||||
|
INHERIT_DATASTORE_ATTR = "VITASTOR_CONF"
|
||||||
|
INHERIT_DATASTORE_ATTR = "IMAGE_PREFIX"
|
||||||
|
```
|
||||||
|
|
||||||
|
4. Добавьте TM_MAD_CONF и DS_MAD_CONF для Vitastor:
|
||||||
|
|
||||||
|
```
|
||||||
|
TM_MAD_CONF = [
|
||||||
|
NAME = "vitastor", LN_TARGET = "NONE", CLONE_TARGET = "SELF", SHARED = "YES",
|
||||||
|
DS_MIGRATE = "NO", DRIVER = "raw", ALLOW_ORPHANS="format",
|
||||||
|
TM_MAD_SYSTEM = "ssh,shared", LN_TARGET_SSH = "SYSTEM", CLONE_TARGET_SSH = "SYSTEM",
|
||||||
|
DISK_TYPE_SSH = "FILE", LN_TARGET_SHARED = "NONE",
|
||||||
|
CLONE_TARGET_SHARED = "SELF", DISK_TYPE_SHARED = "FILE"
|
||||||
|
]
|
||||||
|
|
||||||
|
DS_MAD_CONF = [
|
||||||
|
NAME = "vitastor",
|
||||||
|
REQUIRED_ATTRS = "DISK_TYPE,BRIDGE_LIST",
|
||||||
|
PERSISTENT_ONLY = "NO",
|
||||||
|
MARKETPLACE_ACTIONS = "export"
|
||||||
|
]
|
||||||
|
```
|
||||||
|
|
||||||
|
## Создайте хранилища
|
||||||
|
|
||||||
|
Примеры настроек хранилищ образов (image) и дисков ВМ (system):
|
||||||
|
[opennebula/vitastor-imageds.conf](../../opennebula/vitastor-imageds.conf) и
|
||||||
|
[opennebula/vitastor-systemds.conf](../../opennebula/vitastor-systemds.conf).
|
||||||
|
|
||||||
|
Скопируйте настройки и поменяйте следующие параметры так, как вам необходимо:
|
||||||
|
|
||||||
|
- POOL_NAME - имя пула Vitastor для сохранения образов дисков.
|
||||||
|
- IMAGE_PREFIX - строка, добавляемая в начало имён образов дисков.
|
||||||
|
- BRIDGE_LIST - список серверов с доступом к кластеру Vitastor, используемых для операций с хранилищем образов (image, не system).
|
||||||
|
- VITASTOR_CONF - путь к конфигурации Vitastor. Имейте в виду, что этот путь также надо добавить в `/etc/apparmor.d/local/abstractions/libvirt-qemu`, если вы используете AppArmor.
|
||||||
|
- STAGING_DIR - путь к временному каталогу, используемому при импорте внешних образов. Должен иметь достаточно свободного места, чтобы вмещать скачанные образы.
|
||||||
|
|
||||||
|
После этого создайте хранилища с помощью команд `onedatastore create vitastor-imageds.conf` и `onedatastore create vitastor-systemds.conf` (либо через UI).
|
||||||
|
|
||||||
|
## Блокировка доступа ВМ в Vitastor
|
||||||
|
|
||||||
|
Vitastor пока не поддерживает никакую аутентификацию, так что вы ДОЛЖНЫ заблокировать доступ гостевых ВМ
|
||||||
|
в кластер Vitastor на сетевом уровне.
|
||||||
|
|
||||||
|
Если вы используете VLAN-сети для ВМ - удостоверьтесь, что ВМ и гипервизор/сеть хранения помещены в разные
|
||||||
|
изолированные друг от друга VLAN-ы.
|
||||||
|
|
||||||
|
Если вы используете что-то более примитивное, например, мосты (bridge), вам, скорее всего, придётся вручную
|
||||||
|
настроить iptables / межсетевой экран, чтобы разрешить доступ к Vitastor только с IP гипервизоров.
|
||||||
|
|
||||||
|
Также в этом случае нужно будет переключить обычные мосты на "Bridged & Security Groups" и включить фильтр
|
||||||
|
спуфинга IP в OpenNebula. Правда, реализация этого фильтра пока не полная, и она не блокирует доступ к
|
||||||
|
локальным интерфейсам гипервизора. То есть, включённый фильтр спуфинга IP запрещает ВМ отправлять трафик
|
||||||
|
с чужими IP к другим ВМ или во внешний мир, но не запрещает отправлять его напрямую гипервизору. Чтобы
|
||||||
|
исправить это, тоже нужны дополнительные правила iptables.
|
||||||
|
|
||||||
|
Таким образом, более-менее полная блокировка при использовании простой сети на сетевых мостах может
|
||||||
|
выглядеть так (здесь `10.0.3.0/24` - подсеть ВМ, `10.0.2.0/24` - подсеть гипервизора):
|
||||||
|
|
||||||
|
```
|
||||||
|
# Разрешаем входящий трафик с физического устройства
|
||||||
|
iptables -A INPUT -m physdev --physdev-in eth0 -j ACCEPT
|
||||||
|
# Запрещаем трафик со всех ВМ, но с IP не из подсети ВМ
|
||||||
|
iptables -A INPUT ! -s 10.0.3.0/24 -i onebr0 -j DROP
|
||||||
|
# Запрещаем трафик от ВМ к сети гипервизора
|
||||||
|
iptables -I FORWARD 1 -s 10.0.3.0/24 -d 10.0.2.0/24 -j DROP
|
||||||
|
```
|
||||||
|
|
||||||
|
## Тестирование
|
||||||
|
|
||||||
|
Плагин OpenNebula по большей части состоит из bash-скриптов, и чтобы было понятнее, что они
|
||||||
|
вообще делают - ниже приведены описания процедур, которыми можно протестировать каждый из них.
|
||||||
|
|
||||||
|
| Скрипт | Описание | Как протестировать |
|
||||||
|
| ----------------------- | --------------------------------------------- | ------------------------------------------------------------------------------------ |
|
||||||
|
| vmm/kvm/deploy.vitastor | Запустить виртуальную машину | Создайте и запустите виртуальную машину с дисками Vitastor: постоянным / непостоянным / волатильным (временным). |
|
||||||
|
| vmm/kvm/save.vitastor | Сохранить снимок памяти ВМ | Остановите виртуальную машину командой "Остановить". |
|
||||||
|
| vmm/kvm/restore.vitastor| Восстановить снимок памяти ВМ | Запустите ВМ после остановки обратно. |
|
||||||
|
| datastore/clone | Скопировать образ как "постоянный" | Создайте шаблон ВМ и создайте из него постоянную ВМ. |
|
||||||
|
| datastore/cp | Импортировать внешний образ | Импортируйте шаблон ВМ с образами дисков из Магазина OpenNebula. |
|
||||||
|
| datastore/export | Экспортировать образ как URL | Вероятно: экспортируйте шаблон ВМ с образами в Магазин. |
|
||||||
|
| datastore/mkfs | Создать образ с файловой системой | Хранилище → Образы → Создать → Тип: базовый блок данных, Расположение: пустой образ диска, Файловая система: любая непустая. |
|
||||||
|
| datastore/monitor | Вывод статистики места в хранилище образов | Проверьте статистику свободного/занятого места в списке хранилищ образов. |
|
||||||
|
| datastore/rm | Удалить "постоянный" образ | Хранилище → Образы → Выберите образ → Удалить. |
|
||||||
|
| datastore/snap_delete | Удалить снимок "постоянного" образа | Хранилище → Образы → Выберите образ → Выберите снимок → Удалить; <br> Чтобы создать образ со снимком: подключите постоянный образ к ВМ, создайте снимок, отключите образ. |
|
||||||
|
| datastore/snap_flatten | Откатить образ к снимку, удалив другие снимки | Хранилище → Образы → Выберите образ → Выберите снимок → "Выровнять" (flatten). |
|
||||||
|
| datastore/snap_revert | Откатить образ к снимку | Хранилище → Образы → Выберите образ → Выберите снимок → Откатить. |
|
||||||
|
| datastore/stat | Показать виртуальный размер образа в МБ | Неизвестно. По-видимому, в плагинах Vitastor и Ceph не используется. |
|
||||||
|
| tm/clone | Клонировать "непостоянный" образ в диск ВМ | Подключите "непостоянный" образ к ВМ. |
|
||||||
|
| tm/context | Создать диск контекстуализации ВМ | Создайте ВМ с контекстуализацией, как обычно. Но тестировать особенно нечего: в плагинах Vitastor и Ceph образ контекста хранится в локальной ФС гипервизора. |
|
||||||
|
| tm/cpds | Копировать диск ВМ/его снимок в новый образ | Выберите ВМ → Выберите диск → Опционально выберите снимок → "Сохранить как". |
|
||||||
|
| tm/delete | Удалить диск-клон или волатильный диск ВМ | Отключите волатильный или не-постоянный диск от ВМ. |
|
||||||
|
| tm/failmigrate | Обработать неудачную миграцию | Тестировать нечего. Скрипт пуст в плагинах Vitastor и Ceph. В других плагинах скрипт должен откатывать действия tm/premigrate. |
|
||||||
|
| tm/ln | Подключить "постоянный" образ к ВМ | Тестировать нечего. Скрипт пуст в плагинах Vitastor и Ceph. |
|
||||||
|
| tm/mkimage | Создать волатильный диск, без или с ФС | Подключите волатильный диск к ВМ, с или без файловой системы. |
|
||||||
|
| tm/mkswap | Создать волатильный диск подкачки | Подключите волатильный диск к ВМ, форматированный как диск подкачки (swap). |
|
||||||
|
| tm/monitor | Вывод статистики места в хранилище дисков ВМ | Проверьте статистику свободного/занятого места в списке хранилищ дисков ВМ. |
|
||||||
|
| tm/mv | Мигрировать диск ВМ между хостами | Мигрируйте ВМ между серверами. Правда, с точки зрения хранилища в плагинах Vitastor и Ceph этот скрипт ничего не делает. |
|
||||||
|
| tm/mvds | Отключить "постоянный" образ от ВМ | Тестировать нечего. Скрипт пуст в плагинах Vitastor и Ceph. В целом же скрипт обратный к tm/ln и в других хранилищах он может, например, копировать образ ВМ с диска гипервизора обратно в хранилище. |
|
||||||
|
| tm/postbackup | Выполняется после бэкапа | По-видимому, скрипт просто удаляет временные файлы после резервного копирования. Так что можно провести его и проверить, что на серверах не осталось временных файлов. |
|
||||||
|
| tm/postbackup_live | Выполняется после бэкапа запущенной ВМ | То же, что tm/postbackup, но для запущенной ВМ. |
|
||||||
|
| tm/postmigrate | Выполняется после миграции ВМ | Тестировать нечего. Однако, OpenNebula запускает скрипт только для системного хранилища, поэтому он вызывает аналогичные скрипты для хранилищ других дисков той же ВМ. Помимо этого в плагинах Vitastor и Ceph скрипт ничего не делает. |
|
||||||
|
| tm/prebackup | Выполнить резервное копирование дисков ВМ | Создайте хранилище резервных копий типа "rsync" → Забэкапьте в него ВМ. |
|
||||||
|
| tm/prebackup_live | То же самое для запущенной ВМ | То же, что tm/prebackup, но запускает fsfreeze/thaw (остановку доступа к дискам). Так что смысл теста - проведите резервное копирование и проверьте, что данные скопировались консистентно. |
|
||||||
|
| tm/premigrate | Выполняется перед миграцией ВМ | Тестировать нечего. Аналогично tm/postmigrate запускается только для системного хранилища. |
|
||||||
|
| tm/resize | Изменить размер диска ВМ | Выберите ВМ → Выберите непостоянный диск → Измените его размер. |
|
||||||
|
| tm/restore | Восстановить диски ВМ из бэкапа | Создайте хранилище резервных копий → Забэкапьте в него ВМ → Восстановите её обратно. |
|
||||||
|
| tm/snap_create | Создать снимок диска ВМ | Выберите ВМ → Выберите диск → Создайте снимок. |
|
||||||
|
| tm/snap_create_live | Создать снимок диска запущенной ВМ | Выберите запущенную ВМ → Выберите диск → Создайте снимок. |
|
||||||
|
| tm/snap_delete | Удалить снимок диска ВМ | Выберите ВМ → Выберите диск → Выберите снимок → Удалить. |
|
||||||
|
| tm/snap_revert | Откатить диск ВМ к снимку | Выберите ВМ → Выберите диск → Выберите снимок → Откатить. |
|
|
@ -16,9 +16,7 @@
|
||||||
- Debian 10 (Buster): `deb https://vitastor.io/debian buster main`
|
- Debian 10 (Buster): `deb https://vitastor.io/debian buster main`
|
||||||
- Add `-oldstable` to bookworm/bullseye/buster in this line to install the last
|
- Add `-oldstable` to bookworm/bullseye/buster in this line to install the last
|
||||||
stable version from 0.9.x branch instead of 1.x
|
stable version from 0.9.x branch instead of 1.x
|
||||||
- For Debian 10 (Buster) also enable backports repository:
|
- Install packages: `apt update; apt install vitastor lp-solve etcd linux-image-amd64 qemu-system-x86`
|
||||||
`deb http://deb.debian.org/debian buster-backports main`
|
|
||||||
- Install packages: `apt update; apt install vitastor lp-solve etcd linux-image-amd64 qemu`
|
|
||||||
|
|
||||||
## CentOS
|
## CentOS
|
||||||
|
|
||||||
|
|
|
@ -16,9 +16,7 @@
|
||||||
- Debian 10 (Buster): `deb https://vitastor.io/debian buster main`
|
- Debian 10 (Buster): `deb https://vitastor.io/debian buster main`
|
||||||
- Добавьте `-oldstable` к слову bookworm/bullseye/buster в этой строке, чтобы
|
- Добавьте `-oldstable` к слову bookworm/bullseye/buster в этой строке, чтобы
|
||||||
установить последнюю стабильную версию из ветки 0.9.x вместо 1.x
|
установить последнюю стабильную версию из ветки 0.9.x вместо 1.x
|
||||||
- Для Debian 10 (Buster) также включите репозиторий backports:
|
- Установите пакеты: `apt update; apt install vitastor lp-solve etcd linux-image-amd64 qemu-system-x86`
|
||||||
`deb http://deb.debian.org/debian buster-backports main`
|
|
||||||
- Установите пакеты: `apt update; apt install vitastor lp-solve etcd linux-image-amd64 qemu`
|
|
||||||
|
|
||||||
## CentOS
|
## CentOS
|
||||||
|
|
||||||
|
|
|
@ -6,10 +6,10 @@
|
||||||
|
|
||||||
# Proxmox VE
|
# Proxmox VE
|
||||||
|
|
||||||
To enable Vitastor support in Proxmox Virtual Environment (6.4-8.0 are supported):
|
To enable Vitastor support in Proxmox Virtual Environment (6.4-8.1 are supported):
|
||||||
|
|
||||||
- Add the corresponding Vitastor Debian repository into sources.list on Proxmox hosts:
|
- Add the corresponding Vitastor Debian repository into sources.list on Proxmox hosts:
|
||||||
bookworm for 8.0, bullseye for 7.4, pve7.3 for 7.3, pve7.2 for 7.2, pve7.1 for 7.1, buster for 6.4
|
bookworm for 8.1, pve8.0 for 8.0, bullseye for 7.4, pve7.3 for 7.3, pve7.2 for 7.2, pve7.1 for 7.1, buster for 6.4
|
||||||
- Install vitastor-client, pve-qemu-kvm, pve-storage-vitastor (* or see note) packages from Vitastor repository
|
- Install vitastor-client, pve-qemu-kvm, pve-storage-vitastor (* or see note) packages from Vitastor repository
|
||||||
- Define storage in `/etc/pve/storage.cfg` (see below)
|
- Define storage in `/etc/pve/storage.cfg` (see below)
|
||||||
- Block network access from VMs to Vitastor network (to OSDs and etcd),
|
- Block network access from VMs to Vitastor network (to OSDs and etcd),
|
||||||
|
@ -17,15 +17,15 @@ To enable Vitastor support in Proxmox Virtual Environment (6.4-8.0 are supported
|
||||||
- Restart pvedaemon: `systemctl restart pvedaemon`
|
- Restart pvedaemon: `systemctl restart pvedaemon`
|
||||||
|
|
||||||
`/etc/pve/storage.cfg` example (the only required option is vitastor_pool, all others
|
`/etc/pve/storage.cfg` example (the only required option is vitastor_pool, all others
|
||||||
are listed below with their default values):
|
are listed below with their default values; `vitastor_ssd` is Proxmox storage pool id):
|
||||||
|
|
||||||
```
|
```
|
||||||
vitastor: vitastor
|
vitastor: vitastor_ssd
|
||||||
# pool to put new images into
|
# pool to put new images into
|
||||||
vitastor_pool testpool
|
vitastor_pool testpool
|
||||||
# path to the configuration file
|
# path to the configuration file
|
||||||
vitastor_config_path /etc/vitastor/vitastor.conf
|
vitastor_config_path /etc/vitastor/vitastor.conf
|
||||||
# etcd address(es), required only if missing in the configuration file
|
# etcd address(es), OPTIONAL, required only if missing in the configuration file
|
||||||
vitastor_etcd_address 192.168.7.2:2379/v3
|
vitastor_etcd_address 192.168.7.2:2379/v3
|
||||||
# prefix for keys in etcd
|
# prefix for keys in etcd
|
||||||
vitastor_etcd_prefix /vitastor
|
vitastor_etcd_prefix /vitastor
|
||||||
|
|
|
@ -6,25 +6,25 @@
|
||||||
|
|
||||||
# Proxmox VE
|
# Proxmox VE
|
||||||
|
|
||||||
Чтобы подключить Vitastor к Proxmox Virtual Environment (поддерживаются версии 6.4-8.0):
|
Чтобы подключить Vitastor к Proxmox Virtual Environment (поддерживаются версии 6.4-8.1):
|
||||||
|
|
||||||
- Добавьте соответствующий Debian-репозиторий Vitastor в sources.list на хостах Proxmox:
|
- Добавьте соответствующий Debian-репозиторий Vitastor в sources.list на хостах Proxmox:
|
||||||
bookworm для 8.0, bullseye для 7.4, pve7.3 для 7.3, pve7.2 для 7.2, pve7.1 для 7.1, buster для 6.4
|
bookworm для 8.1, pve8.0 для 8.0, bullseye для 7.4, pve7.3 для 7.3, pve7.2 для 7.2, pve7.1 для 7.1, buster для 6.4
|
||||||
- Установите пакеты vitastor-client, pve-qemu-kvm, pve-storage-vitastor (* или см. сноску) из репозитория Vitastor
|
- Установите пакеты vitastor-client, pve-qemu-kvm, pve-storage-vitastor (* или см. сноску) из репозитория Vitastor
|
||||||
- Определите тип хранилища в `/etc/pve/storage.cfg` (см. ниже)
|
- Определите тип хранилища в `/etc/pve/storage.cfg` (см. ниже)
|
||||||
- Обязательно заблокируйте доступ от виртуальных машин к сети Vitastor (OSD и etcd), т.к. Vitastor (пока) не поддерживает аутентификацию
|
- Обязательно заблокируйте доступ от виртуальных машин к сети Vitastor (OSD и etcd), т.к. Vitastor (пока) не поддерживает аутентификацию
|
||||||
- Перезапустите демон Proxmox: `systemctl restart pvedaemon`
|
- Перезапустите демон Proxmox: `systemctl restart pvedaemon`
|
||||||
|
|
||||||
Пример `/etc/pve/storage.cfg` (единственная обязательная опция - vitastor_pool, все остальные
|
Пример `/etc/pve/storage.cfg` (единственная обязательная опция - vitastor_pool, все остальные
|
||||||
перечислены внизу для понимания значений по умолчанию):
|
перечислены внизу для понимания значений по умолчанию; `vitastor_ssd` - имя хранилища в Proxmox):
|
||||||
|
|
||||||
```
|
```
|
||||||
vitastor: vitastor
|
vitastor: vitastor_ssd
|
||||||
# Пул, в который будут помещаться образы дисков
|
# Пул, в который будут помещаться образы дисков
|
||||||
vitastor_pool testpool
|
vitastor_pool testpool
|
||||||
# Путь к файлу конфигурации
|
# Путь к файлу конфигурации
|
||||||
vitastor_config_path /etc/vitastor/vitastor.conf
|
vitastor_config_path /etc/vitastor/vitastor.conf
|
||||||
# Адрес(а) etcd, нужны, только если не указаны в vitastor.conf
|
# Адрес(а) etcd, ОПЦИОНАЛЬНЫ, нужны, только если не указаны в vitastor.conf
|
||||||
vitastor_etcd_address 192.168.7.2:2379/v3
|
vitastor_etcd_address 192.168.7.2:2379/v3
|
||||||
# Префикс ключей метаданных в etcd
|
# Префикс ключей метаданных в etcd
|
||||||
vitastor_etcd_prefix /vitastor
|
vitastor_etcd_prefix /vitastor
|
||||||
|
|
|
@ -41,7 +41,7 @@ It's recommended to build the QEMU driver (qemu_driver.c) in-tree, as a part of
|
||||||
QEMU build process. To do that:
|
QEMU build process. To do that:
|
||||||
- Install vitastor client library headers (from source or from vitastor-client-dev package)
|
- Install vitastor client library headers (from source or from vitastor-client-dev package)
|
||||||
- Take a corresponding patch from `patches/qemu-*-vitastor.patch` and apply it to QEMU source
|
- Take a corresponding patch from `patches/qemu-*-vitastor.patch` and apply it to QEMU source
|
||||||
- Copy `src/qemu_driver.c` to QEMU source directory as `block/vitastor.c`
|
- Copy `src/client/qemu_driver.c` to QEMU source directory as `block/vitastor.c`
|
||||||
- Build QEMU as usual
|
- Build QEMU as usual
|
||||||
|
|
||||||
But it is also possible to build it out-of-tree. To do that:
|
But it is also possible to build it out-of-tree. To do that:
|
||||||
|
|
|
@ -41,7 +41,7 @@ cmake .. && make -j8 install
|
||||||
Драйвер QEMU (qemu_driver.c) рекомендуется собирать вместе с самим QEMU. Для этого:
|
Драйвер QEMU (qemu_driver.c) рекомендуется собирать вместе с самим QEMU. Для этого:
|
||||||
- Установите заголовки клиентской библиотеки Vitastor (из исходников или из пакета vitastor-client-dev)
|
- Установите заголовки клиентской библиотеки Vitastor (из исходников или из пакета vitastor-client-dev)
|
||||||
- Возьмите соответствующий патч из `patches/qemu-*-vitastor.patch` и примените его к исходникам QEMU
|
- Возьмите соответствующий патч из `patches/qemu-*-vitastor.patch` и примените его к исходникам QEMU
|
||||||
- Скопируйте [src/qemu_driver.c](../../src/qemu_driver.c) в директорию исходников QEMU как `block/vitastor.c`
|
- Скопируйте [src/client/qemu_driver.c](../../src/client/qemu_driver.c) в директорию исходников QEMU как `block/vitastor.c`
|
||||||
- Соберите QEMU как обычно
|
- Соберите QEMU как обычно
|
||||||
|
|
||||||
Однако в целях отладки драйвер также можно собирать отдельно от QEMU. Для этого:
|
Однако в целях отладки драйвер также можно собирать отдельно от QEMU. Для этого:
|
||||||
|
|
|
@ -54,7 +54,8 @@
|
||||||
виртуальные диски, их снимки и клоны.
|
виртуальные диски, их снимки и клоны.
|
||||||
- **Драйвер QEMU** — подключаемый модуль QEMU, позволяющий QEMU/KVM виртуальным машинам работать
|
- **Драйвер QEMU** — подключаемый модуль QEMU, позволяющий QEMU/KVM виртуальным машинам работать
|
||||||
с виртуальными дисками Vitastor напрямую из пространства пользователя с помощью клиентской
|
с виртуальными дисками Vitastor напрямую из пространства пользователя с помощью клиентской
|
||||||
библиотеки, без необходимости отображения дисков в виде блочных устройств.
|
библиотеки, без необходимости отображения дисков в виде блочных устройств. Тот же драйвер
|
||||||
|
позволяет подключать диски в систему через [VDUSE](../usage/qemu.ru.md#vduse).
|
||||||
- **vitastor-nbd** — утилита, позволяющая монтировать образы Vitastor в виде блочных устройств
|
- **vitastor-nbd** — утилита, позволяющая монтировать образы Vitastor в виде блочных устройств
|
||||||
с помощью NBD (Network Block Device), на самом деле скорее работающего как "BUSE"
|
с помощью NBD (Network Block Device), на самом деле скорее работающего как "BUSE"
|
||||||
(Block Device In Userspace). Модуля ядра Linux для выполнения той же задачи в Vitastor нет
|
(Block Device In Userspace). Модуля ядра Linux для выполнения той же задачи в Vitastor нет
|
||||||
|
|
|
@ -13,7 +13,7 @@
|
||||||
## Server-side features
|
## Server-side features
|
||||||
|
|
||||||
- Basic part: highly-available block storage with symmetric clustering and no SPOF
|
- Basic part: highly-available block storage with symmetric clustering and no SPOF
|
||||||
- [Performance](../performance/comparison1.en.md) ;-D
|
- [Performance](../performance/bench2.en.md) ;-D
|
||||||
- [Multiple redundancy schemes](../config/pool.en.md#scheme): Replication, XOR n+1, Reed-Solomon erasure codes
|
- [Multiple redundancy schemes](../config/pool.en.md#scheme): Replication, XOR n+1, Reed-Solomon erasure codes
|
||||||
based on jerasure and ISA-L libraries with any number of data and parity drives in a group
|
based on jerasure and ISA-L libraries with any number of data and parity drives in a group
|
||||||
- Configuration via simple JSON data structures in etcd (parameters, pools and images)
|
- Configuration via simple JSON data structures in etcd (parameters, pools and images)
|
||||||
|
@ -32,9 +32,17 @@
|
||||||
- [Scrubbing](../config/osd.en.md#auto_scrub) (verification of copies)
|
- [Scrubbing](../config/osd.en.md#auto_scrub) (verification of copies)
|
||||||
- [Checksums](../config/layout-osd.en.md#data_csum_type)
|
- [Checksums](../config/layout-osd.en.md#data_csum_type)
|
||||||
- [Client write-back cache](../config/client.en.md#client_enable_writeback)
|
- [Client write-back cache](../config/client.en.md#client_enable_writeback)
|
||||||
|
- [Intelligent recovery auto-tuning](../config/osd.en.md#recovery_tune_interval)
|
||||||
|
- [Clustered file system](../usage/nfs.en.md#vitastorfs)
|
||||||
|
- [Experimental internal etcd replacement - antietcd](../config/monitor.en.md#use_antietcd)
|
||||||
|
- [Built-in Prometheus metric exporter](../config/monitor.en.md#enable_prometheus)
|
||||||
|
|
||||||
## Plugins and tools
|
## Plugins and tools
|
||||||
|
|
||||||
|
- [Proxmox storage plugin and packages](../installation/proxmox.en.md)
|
||||||
|
- [OpenNebula storage plugin](../installation/opennebula.en.md)
|
||||||
|
- [CSI plugin for Kubernetes](../installation/kubernetes.en.md)
|
||||||
|
- [OpenStack support: Cinder driver, Nova and libvirt patches](../installation/openstack.en.md)
|
||||||
- [Debian and CentOS packages](../installation/packages.en.md)
|
- [Debian and CentOS packages](../installation/packages.en.md)
|
||||||
- [Image management CLI (vitastor-cli)](../usage/cli.en.md)
|
- [Image management CLI (vitastor-cli)](../usage/cli.en.md)
|
||||||
- [Disk management CLI (vitastor-disk)](../usage/disk.en.md)
|
- [Disk management CLI (vitastor-disk)](../usage/disk.en.md)
|
||||||
|
@ -42,20 +50,15 @@
|
||||||
- [Native QEMU driver](../usage/qemu.en.md)
|
- [Native QEMU driver](../usage/qemu.en.md)
|
||||||
- [Loadable fio engine for benchmarks](../usage/fio.en.md)
|
- [Loadable fio engine for benchmarks](../usage/fio.en.md)
|
||||||
- [NBD proxy for kernel mounts](../usage/nbd.en.md)
|
- [NBD proxy for kernel mounts](../usage/nbd.en.md)
|
||||||
- [CSI plugin for Kubernetes](../installation/kubernetes.en.md)
|
- [Simplified NFS proxy for file-based image access emulation (suitable for VMWare)](../usage/nfs.en.md#pseudo-fs)
|
||||||
- [OpenStack support: Cinder driver, Nova and libvirt patches](../installation/openstack.en.md)
|
|
||||||
- [Proxmox storage plugin and packages](../installation/proxmox.en.md)
|
|
||||||
- [Simplified NFS proxy for file-based image access emulation (suitable for VMWare)](../usage/nfs.en.md)
|
|
||||||
|
|
||||||
## Roadmap
|
## Roadmap
|
||||||
|
|
||||||
The following features are planned for the future:
|
The following features are planned for the future:
|
||||||
|
|
||||||
- File system
|
|
||||||
- Control plane optimisation
|
- Control plane optimisation
|
||||||
- Other administrative tools
|
- Other administrative tools
|
||||||
- Web GUI
|
- Web GUI
|
||||||
- OpenNebula plugin
|
|
||||||
- iSCSI and NVMeoF gateways
|
- iSCSI and NVMeoF gateways
|
||||||
- Multi-threaded client
|
- Multi-threaded client
|
||||||
- Faster failover
|
- Faster failover
|
||||||
|
|
|
@ -13,7 +13,7 @@
|
||||||
## Серверные функции
|
## Серверные функции
|
||||||
|
|
||||||
- Базовая часть - надёжное кластерное блочное хранилище без единой точки отказа
|
- Базовая часть - надёжное кластерное блочное хранилище без единой точки отказа
|
||||||
- [Производительность](../performance/comparison1.ru.md) ;-D
|
- [Производительность](../performance/bench2.ru.md) ;-D
|
||||||
- [Несколько схем отказоустойчивости](../config/pool.ru.md#scheme): репликация, XOR n+1 (1 диск чётности), коды коррекции ошибок
|
- [Несколько схем отказоустойчивости](../config/pool.ru.md#scheme): репликация, XOR n+1 (1 диск чётности), коды коррекции ошибок
|
||||||
Рида-Соломона на основе библиотек jerasure и ISA-L с любым числом дисков данных и чётности в группе
|
Рида-Соломона на основе библиотек jerasure и ISA-L с любым числом дисков данных и чётности в группе
|
||||||
- Конфигурация через простые человекочитаемые JSON-структуры в etcd
|
- Конфигурация через простые человекочитаемые JSON-структуры в etcd
|
||||||
|
@ -34,9 +34,17 @@
|
||||||
- [Фоновая проверка целостности](../config/osd.ru.md#auto_scrub) (сверка копий)
|
- [Фоновая проверка целостности](../config/osd.ru.md#auto_scrub) (сверка копий)
|
||||||
- [Контрольные суммы](../config/layout-osd.ru.md#data_csum_type)
|
- [Контрольные суммы](../config/layout-osd.ru.md#data_csum_type)
|
||||||
- [Буферизация записи на стороне клиента](../config/client.ru.md#client_enable_writeback)
|
- [Буферизация записи на стороне клиента](../config/client.ru.md#client_enable_writeback)
|
||||||
|
- [Интеллектуальная автоподстройка скорости восстановления](../config/osd.ru.md#recovery_tune_interval)
|
||||||
|
- [Кластерная файловая система](../usage/nfs.ru.md#vitastorfs)
|
||||||
|
- [Экспериментальная встроенная замена etcd - antietcd](../config/monitor.ru.md#use_antietcd)
|
||||||
|
- [Встроенный Prometheus-экспортер метрик](../config/monitor.ru.md#enable_prometheus)
|
||||||
|
|
||||||
## Драйверы и инструменты
|
## Драйверы и инструменты
|
||||||
|
|
||||||
|
- [Плагин для Proxmox](../installation/proxmox.ru.md)
|
||||||
|
- [Плагин для OpenNebula](../installation/opennebula.ru.md)
|
||||||
|
- [CSI-плагин для Kubernetes](../installation/kubernetes.ru.md)
|
||||||
|
- [Базовая поддержка OpenStack: драйвер Cinder, патчи для Nova и libvirt](../installation/openstack.ru.md)
|
||||||
- [Пакеты для Debian и CentOS](../installation/packages.ru.md)
|
- [Пакеты для Debian и CentOS](../installation/packages.ru.md)
|
||||||
- [Консольный интерфейс управления образами (vitastor-cli)](../usage/cli.ru.md)
|
- [Консольный интерфейс управления образами (vitastor-cli)](../usage/cli.ru.md)
|
||||||
- [Инструмент управления дисками (vitastor-disk)](../usage/disk.ru.md)
|
- [Инструмент управления дисками (vitastor-disk)](../usage/disk.ru.md)
|
||||||
|
@ -44,18 +52,13 @@
|
||||||
- [Драйвер диска для QEMU](../usage/qemu.ru.md)
|
- [Драйвер диска для QEMU](../usage/qemu.ru.md)
|
||||||
- [Драйвер диска для утилиты тестирования производительности fio](../usage/fio.ru.md)
|
- [Драйвер диска для утилиты тестирования производительности fio](../usage/fio.ru.md)
|
||||||
- [NBD-прокси для монтирования образов ядром](../usage/nbd.ru.md) ("блочное устройство в режиме пользователя")
|
- [NBD-прокси для монтирования образов ядром](../usage/nbd.ru.md) ("блочное устройство в режиме пользователя")
|
||||||
- [CSI-плагин для Kubernetes](../installation/kubernetes.ru.md)
|
- [Упрощённая NFS-прокси для эмуляции файлового доступа к образам (подходит для VMWare)](../usage/nfs.ru.md#псевдо-фс)
|
||||||
- [Базовая поддержка OpenStack: драйвер Cinder, патчи для Nova и libvirt](../installation/openstack.ru.md)
|
|
||||||
- [Плагин для Proxmox](../installation/proxmox.ru.md)
|
|
||||||
- [Упрощённая NFS-прокси для эмуляции файлового доступа к образам (подходит для VMWare)](../usage/nfs.ru.md)
|
|
||||||
|
|
||||||
## Планы развития
|
## Планы развития
|
||||||
|
|
||||||
- Файловая система
|
|
||||||
- Оптимизация слоя управления
|
- Оптимизация слоя управления
|
||||||
- Другие инструменты администрирования
|
- Другие инструменты администрирования
|
||||||
- Web-интерфейс
|
- Web-интерфейс
|
||||||
- Плагин для OpenNebula
|
|
||||||
- iSCSI и NVMeoF прокси
|
- iSCSI и NVMeoF прокси
|
||||||
- Многопоточный клиент
|
- Многопоточный клиент
|
||||||
- Более быстрое переключение при отказах
|
- Более быстрое переключение при отказах
|
||||||
|
|
|
@ -14,6 +14,7 @@
|
||||||
- [Check cluster status](#check-cluster-status)
|
- [Check cluster status](#check-cluster-status)
|
||||||
- [Create an image](#create-an-image)
|
- [Create an image](#create-an-image)
|
||||||
- [Install plugins](#install-plugins)
|
- [Install plugins](#install-plugins)
|
||||||
|
- [Create VitastorFS](#create-vitastorfs)
|
||||||
|
|
||||||
## Preparation
|
## Preparation
|
||||||
|
|
||||||
|
@ -21,7 +22,7 @@
|
||||||
with lazy fsync, but prepare for inferior single-thread latency. Read more about capacitors
|
with lazy fsync, but prepare for inferior single-thread latency. Read more about capacitors
|
||||||
[here](../config/layout-cluster.en.md#immediate_commit).
|
[here](../config/layout-cluster.en.md#immediate_commit).
|
||||||
- If you want to use HDDs, get modern HDDs with Media Cache or SSD Cache: HGST Ultrastar,
|
- If you want to use HDDs, get modern HDDs with Media Cache or SSD Cache: HGST Ultrastar,
|
||||||
Toshiba MG08, Seagate EXOS or something similar. If your drives don't have such cache then
|
Toshiba MG, Seagate EXOS or something similar. If your drives don't have such cache then
|
||||||
you also need small SSDs for journal and metadata (even 2 GB per 1 TB of HDD space is enough).
|
you also need small SSDs for journal and metadata (even 2 GB per 1 TB of HDD space is enough).
|
||||||
- Get a fast network (at least 10 Gbit/s). Something like Mellanox ConnectX-4 with RoCEv2 is ideal.
|
- Get a fast network (at least 10 Gbit/s). Something like Mellanox ConnectX-4 with RoCEv2 is ideal.
|
||||||
- Disable CPU powersaving: `cpupower idle-set -D 0 && cpupower frequency-set -g performance`.
|
- Disable CPU powersaving: `cpupower idle-set -D 0 && cpupower frequency-set -g performance`.
|
||||||
|
@ -32,7 +33,7 @@
|
||||||
- SATA SSD: Micron 5100/5200/5300/5400, Samsung PM863/PM883/PM893, Intel D3-S4510/4520/4610/4620, Kingston DC500M
|
- SATA SSD: Micron 5100/5200/5300/5400, Samsung PM863/PM883/PM893, Intel D3-S4510/4520/4610/4620, Kingston DC500M
|
||||||
- NVMe: Micron 9100/9200/9300/9400, Micron 7300/7450, Samsung PM983/PM9A3, Samsung PM1723/1735/1743,
|
- NVMe: Micron 9100/9200/9300/9400, Micron 7300/7450, Samsung PM983/PM9A3, Samsung PM1723/1735/1743,
|
||||||
Intel DC-P3700/P4500/P4600, Intel D7-P5500/P5600, Intel Optane, Kingston DC1000B/DC1500M
|
Intel DC-P3700/P4500/P4600, Intel D7-P5500/P5600, Intel Optane, Kingston DC1000B/DC1500M
|
||||||
- HDD: HGST Ultrastar, Toshiba MG06/MG07/MG08, Seagate EXOS
|
- HDD: HGST Ultrastar, Toshiba MG, Seagate EXOS
|
||||||
|
|
||||||
## Configure monitors
|
## Configure monitors
|
||||||
|
|
||||||
|
@ -67,28 +68,26 @@ On the monitor hosts:
|
||||||
but some free unpartitioned space must be available because the script creates new partitions for journals.
|
but some free unpartitioned space must be available because the script creates new partitions for journals.
|
||||||
- You can change OSD configuration in units or in `vitastor.conf`.
|
- You can change OSD configuration in units or in `vitastor.conf`.
|
||||||
Check [Configuration Reference](../config.en.md) for parameter descriptions.
|
Check [Configuration Reference](../config.en.md) for parameter descriptions.
|
||||||
- If all your drives have capacitors, and even if not, but if you ran `vitastor-disk`
|
|
||||||
without `--disable_data_fsync off` at the first step, then put the following
|
|
||||||
setting into etcd: \
|
|
||||||
`etcdctl --endpoints=... put /vitastor/config/global '{"immediate_commit":"all"}'`
|
|
||||||
- Start all OSDs: `systemctl start vitastor.target`
|
- Start all OSDs: `systemctl start vitastor.target`
|
||||||
|
|
||||||
## Create a pool
|
## Create a pool
|
||||||
|
|
||||||
Create pool configuration in etcd:
|
Create a pool using vitastor-cli:
|
||||||
|
|
||||||
```
|
```
|
||||||
etcdctl --endpoints=... put /vitastor/config/pools '{"1":{"name":"testpool",
|
vitastor-cli create-pool testpool --pg_size 2 --pg_count 256
|
||||||
"scheme":"replicated","pg_size":2,"pg_minsize":1,"pg_count":256,"failure_domain":"host"}}'
|
|
||||||
```
|
```
|
||||||
|
|
||||||
For EC pools the configuration should look like the following:
|
For EC pools the configuration should look like the following:
|
||||||
|
|
||||||
```
|
```
|
||||||
etcdctl --endpoints=... put /vitastor/config/pools '{"2":{"name":"ecpool",
|
vitastor-cli create-pool testpool --ec 2+2 --pg_count 256
|
||||||
"scheme":"ec","pg_size":4,"parity_chunks":2,"pg_minsize":2,"pg_count":256,"failure_domain":"host"}}'
|
|
||||||
```
|
```
|
||||||
|
|
||||||
|
Add `--immediate_commit none` if you added `--disable_data_fsync off` at the OSD
|
||||||
|
initialization step, or if `vitastor-disk` complained about impossibility to
|
||||||
|
disable drive cache.
|
||||||
|
|
||||||
After you do this, one of the monitors will configure PGs and OSDs will start them.
|
After you do this, one of the monitors will configure PGs and OSDs will start them.
|
||||||
|
|
||||||
If you use HDDs you should also add `"block_size": 1048576` to pool configuration.
|
If you use HDDs you should also add `"block_size": 1048576` to pool configuration.
|
||||||
|
@ -116,3 +115,9 @@ After that, you can [run benchmarks](../usage/fio.en.md) or [start QEMU manually
|
||||||
- [Proxmox](../installation/proxmox.en.md)
|
- [Proxmox](../installation/proxmox.en.md)
|
||||||
- [OpenStack](../installation/openstack.en.md)
|
- [OpenStack](../installation/openstack.en.md)
|
||||||
- [Kubernetes CSI](../installation/kubernetes.en.md)
|
- [Kubernetes CSI](../installation/kubernetes.en.md)
|
||||||
|
|
||||||
|
## Create VitastorFS
|
||||||
|
|
||||||
|
If you want to use clustered file system in addition to VM or container images:
|
||||||
|
|
||||||
|
- [Follow the instructions here](../usage/nfs.en.md#vitastorfs)
|
||||||
|
|
|
@ -14,6 +14,7 @@
|
||||||
- [Проверьте состояние кластера](#проверьте-состояние-кластера)
|
- [Проверьте состояние кластера](#проверьте-состояние-кластера)
|
||||||
- [Создайте образ](#создайте-образ)
|
- [Создайте образ](#создайте-образ)
|
||||||
- [Установите плагины](#установите-плагины)
|
- [Установите плагины](#установите-плагины)
|
||||||
|
- [Создайте VitastorFS](#создайте-vitastorfs)
|
||||||
|
|
||||||
## Подготовка
|
## Подготовка
|
||||||
|
|
||||||
|
@ -68,29 +69,26 @@
|
||||||
для журналов, на SSD должно быть доступно свободное нераспределённое место.
|
для журналов, на SSD должно быть доступно свободное нераспределённое место.
|
||||||
- Вы можете менять параметры OSD в юнитах systemd или в `vitastor.conf`. Описания параметров
|
- Вы можете менять параметры OSD в юнитах systemd или в `vitastor.conf`. Описания параметров
|
||||||
смотрите в [справке по конфигурации](../config.ru.md).
|
смотрите в [справке по конфигурации](../config.ru.md).
|
||||||
- Если все ваши диски - серверные с конденсаторами, и даже если нет, но при этом
|
|
||||||
вы не добавляли опцию `--disable_data_fsync off` на первом шаге, а `vitastor-disk`
|
|
||||||
не ругался на невозможность отключения кэша дисков, пропишите следующую настройку
|
|
||||||
в глобальную конфигурацию в etcd: \
|
|
||||||
`etcdctl --endpoints=... put /vitastor/config/global '{"immediate_commit":"all"}'`.
|
|
||||||
- Запустите все OSD: `systemctl start vitastor.target`
|
- Запустите все OSD: `systemctl start vitastor.target`
|
||||||
|
|
||||||
## Создайте пул
|
## Создайте пул
|
||||||
|
|
||||||
Создайте конфигурацию пула с помощью etcdctl:
|
Создайте пул с помощью vitastor-cli:
|
||||||
|
|
||||||
```
|
```
|
||||||
etcdctl --endpoints=... put /vitastor/config/pools '{"1":{"name":"testpool",
|
vitastor-cli create-pool testpool --pg_size 2 --pg_count 256
|
||||||
"scheme":"replicated","pg_size":2,"pg_minsize":1,"pg_count":256,"failure_domain":"host"}}'
|
|
||||||
```
|
```
|
||||||
|
|
||||||
Для пулов с кодами коррекции ошибок конфигурация должна выглядеть примерно так:
|
Для пулов с кодами коррекции ошибок конфигурация должна выглядеть примерно так:
|
||||||
|
|
||||||
```
|
```
|
||||||
etcdctl --endpoints=... put /vitastor/config/pools '{"2":{"name":"ecpool",
|
vitastor-cli create-pool testpool --ec 2+2 --pg_count 256
|
||||||
"scheme":"ec","pg_size":4,"parity_chunks":2,"pg_minsize":2,"pg_count":256,"failure_domain":"host"}}'
|
|
||||||
```
|
```
|
||||||
|
|
||||||
|
Добавьте также опцию `--immediate_commit none`, если вы добавляли `--disable_data_fsync off`
|
||||||
|
на этапе инициализации OSD, либо если `vitastor-disk` ругался на невозможность отключения
|
||||||
|
кэша дисков.
|
||||||
|
|
||||||
После этого один из мониторов должен сконфигурировать PG, а OSD должны запустить их.
|
После этого один из мониторов должен сконфигурировать PG, а OSD должны запустить их.
|
||||||
|
|
||||||
Если вы используете HDD-диски, то добавьте в конфигурацию пулов опцию `"block_size": 1048576`.
|
Если вы используете HDD-диски, то добавьте в конфигурацию пулов опцию `"block_size": 1048576`.
|
||||||
|
@ -118,3 +116,10 @@ vitastor-cli create -s 10G testimg
|
||||||
- [Proxmox](../installation/proxmox.ru.md)
|
- [Proxmox](../installation/proxmox.ru.md)
|
||||||
- [OpenStack](../installation/openstack.ru.md)
|
- [OpenStack](../installation/openstack.ru.md)
|
||||||
- [Kubernetes CSI](../installation/kubernetes.ru.md)
|
- [Kubernetes CSI](../installation/kubernetes.ru.md)
|
||||||
|
|
||||||
|
## Создайте VitastorFS
|
||||||
|
|
||||||
|
Если вы хотите использовать не только блочные образы виртуальных машин или контейнеров,
|
||||||
|
а также кластерную файловую систему, то:
|
||||||
|
|
||||||
|
- [Следуйте инструкциям](../usage/nfs.ru.md#vitastorfs)
|
||||||
|
|
|
@ -0,0 +1,154 @@
|
||||||
|
[Documentation](../../README.md#documentation) → Performance → Newer benchmark of Vitastor 1.3.1
|
||||||
|
|
||||||
|
-----
|
||||||
|
|
||||||
|
[Читать на русском](bench2.ru.md)
|
||||||
|
|
||||||
|
# Newer benchmark of Vitastor 1.3.1
|
||||||
|
|
||||||
|
- [Test environment](#test-environment)
|
||||||
|
- [Notes](#notes)
|
||||||
|
- [Raw drive performance](#raw-drive-performance)
|
||||||
|
- [2 replicas](#2-replicas)
|
||||||
|
- [3 replicas](#3-replicas)
|
||||||
|
- [EC 2+1](#ec-2-1)
|
||||||
|
|
||||||
|
## Test environment
|
||||||
|
|
||||||
|
Hardware configuration: 3 nodes, each with:
|
||||||
|
- 8x NVMe Samsung PM9A3 1.92 TB
|
||||||
|
- 2x Xeon Gold 6342 (24 cores @ 2.8 GHz)
|
||||||
|
- 256 GB RAM
|
||||||
|
- Dual-port 25 GbE Mellanox ConnectX-4 LX network card with RoCEv2
|
||||||
|
- Connected to 2 Mellanox SN2010 switches with MLAG
|
||||||
|
|
||||||
|
## Notes
|
||||||
|
|
||||||
|
Vitastor version was 1.3.1.
|
||||||
|
|
||||||
|
Tests were ran from the storage nodes - 4 fio clients per each of 3 nodes.
|
||||||
|
|
||||||
|
The same large 3 TB image was tested from all hosts because Vitastor has no
|
||||||
|
performance penalties related to running multiple clients over a single inode.
|
||||||
|
|
||||||
|
CPU power saving was disabled. 4 OSDs were created per each NVMe.
|
||||||
|
Checksums were not enabled. Tests with checksums will be conducted later,
|
||||||
|
along with the newer version of Vitastor, and results will be updated.
|
||||||
|
|
||||||
|
CPU configuration was not optimal because of NUMA. It's better to avoid 2-socket
|
||||||
|
platforms. It was especially noticeable in RDMA tests - in the form of ksoftirqd
|
||||||
|
processes (usually 1 per server) eating 100 % of one CPU core and actual bandwidth
|
||||||
|
of one network port reduced to 3-5 Gbit/s instead of 25 Gbit/s - probably because
|
||||||
|
of RFS (Receive Flow Steering) misses. Many network configurations were tried during
|
||||||
|
tests, but nothing helped to solve this problem, so final tests were conducted with
|
||||||
|
the default settings.
|
||||||
|
|
||||||
|
# Raw drive performance
|
||||||
|
|
||||||
|
- Linear write ~1000-2000 MB/s, depending on current state of the drive's garbage collector
|
||||||
|
- Linear read ~3300 MB/s
|
||||||
|
- T1Q1 random write ~60000 iops (latency ~0.015ms)
|
||||||
|
- T1Q1 random read ~14700 iops (latency ~0.066ms)
|
||||||
|
- T1Q16 random write ~180000 iops
|
||||||
|
- T1Q16 random read ~120000 iops
|
||||||
|
- T1Q32 random write ~180000 iops
|
||||||
|
- T1Q32 random read ~195000 iops
|
||||||
|
- T1Q128 random write ~180000 iops
|
||||||
|
- T1Q128 random read ~195000 iops
|
||||||
|
- T4Q128 random write ~525000 iops
|
||||||
|
- T4Q128 random read ~750000 iops
|
||||||
|
|
||||||
|
These numbers make obvious that results could be much better if a faster network
|
||||||
|
was available, because NVMe drives obviously weren't a bottleneck. For example,
|
||||||
|
theoretical maximum linear read performance for 24 drives could be 79.2 GByte/s,
|
||||||
|
which is 633 Gbit/s. Real Vitastor read speed (both linear and random) was around
|
||||||
|
16 Gbyte/s, which is 130 Gbit/s. It's important to note that it was still much
|
||||||
|
larger than the network bandwidth of one server (50 Gbit/s). This is also correct
|
||||||
|
because tests were conducted from all 3 nodes.
|
||||||
|
|
||||||
|
## 2 replicas
|
||||||
|
|
||||||
|
| | TCP | RDMA |
|
||||||
|
|------------------------------|--------------|--------------|
|
||||||
|
| Linear read (4M T6 Q16) | 13.13 GB/s | 16.25 GB/s |
|
||||||
|
| Linear write (4M T6 Q16) | 8.16 GB/s | 7.88 GB/s |
|
||||||
|
| Read 4k T1 Q1 | 8745 iops | 10252 iops |
|
||||||
|
| Write 4k T1 Q1 | 8097 iops | 11488 iops |
|
||||||
|
| Read 4k T12 Q128 | 1305936 iops | 4265861 iops |
|
||||||
|
| Write 4k T12 Q128 | 660490 iops | 1384033 iops |
|
||||||
|
|
||||||
|
CPU consumption OSD per 1 disk:
|
||||||
|
|
||||||
|
| | TCP | RDMA |
|
||||||
|
|------------------------------|---------|---------|
|
||||||
|
| Linear read (4M T6 Q16) | 29.7 % | 29.8 % |
|
||||||
|
| Linear write (4M T6 Q16) | 84.4 % | 33.2 % |
|
||||||
|
| Read 4k T12 Q128 | 98.4 % | 119.1 % |
|
||||||
|
| Write 4k T12 Q128 | 173.4 % | 175.9 % |
|
||||||
|
|
||||||
|
CPU consumption per 1 client (fio):
|
||||||
|
|
||||||
|
| | TCP | RDMA |
|
||||||
|
|------------------------------|--------|--------|
|
||||||
|
| Linear read (4M T6 Q16) | 100 % | 85.2 % |
|
||||||
|
| Linear write (4M T6 Q16) | 55.8 % | 48.8 % |
|
||||||
|
| Read 4k T12 Q128 | 99.9 % | 96 % |
|
||||||
|
| Write 4k T12 Q128 | 71.6 % | 48.5 % |
|
||||||
|
|
||||||
|
## 3 replicas
|
||||||
|
|
||||||
|
| | TCP | RDMA |
|
||||||
|
|------------------------------|--------------|--------------|
|
||||||
|
| Linear read (4M T6 Q16) | 13.98 GB/s | 16.54 GB/s |
|
||||||
|
| Linear write (4M T6 Q16) | 5.38 GB/s | 5.7 GB/s |
|
||||||
|
| Read 4k T1 Q1 | 8969 iops | 9980 iops |
|
||||||
|
| Write 4k T1 Q1 | 8126 iops | 11672 iops |
|
||||||
|
| Read 4k T12 Q128 | 1358818 iops | 4279088 iops |
|
||||||
|
| Write 4k T12 Q128 | 433890 iops | 993506 iops |
|
||||||
|
|
||||||
|
CPU consumption OSD per 1 disk:
|
||||||
|
|
||||||
|
| | TCP | RDMA |
|
||||||
|
|------------------------------|--------|---------|
|
||||||
|
| Linear read (4M T6 Q16) | 24.9 % | 25.4 % |
|
||||||
|
| Linear write (4M T6 Q16) | 99.3 % | 38.4 % |
|
||||||
|
| Read 4k T12 Q128 | 95.3 % | 111.7 % |
|
||||||
|
| Write 4k T12 Q128 | 173 % | 194 % |
|
||||||
|
|
||||||
|
CPU consumption per 1 client (fio):
|
||||||
|
|
||||||
|
| | TCP | RDMA |
|
||||||
|
|------------------------------|--------|--------|
|
||||||
|
| Linear read (4M T6 Q16) | 99.9 % | 85.8 % |
|
||||||
|
| Linear write (4M T6 Q16) | 38.9 % | 38.1 % |
|
||||||
|
| Read 4k T12 Q128 | 100 % | 96.1 % |
|
||||||
|
| Write 4k T12 Q128 | 51.6 % | 41.9 % |
|
||||||
|
|
||||||
|
## EC 2+1
|
||||||
|
|
||||||
|
| | TCP | RDMA |
|
||||||
|
|------------------------------|--------------|--------------|
|
||||||
|
| Linear read (4M T6 Q16) | 10.07 GB/s | 11.43 GB/s |
|
||||||
|
| Linear write (4M T6 Q16) | 7.74 GB/s | 8.32 GB/s |
|
||||||
|
| Read 4k T1 Q1 | 7408 iops | 8891 iops |
|
||||||
|
| Write 4k T1 Q1 | 3525 iops | 4903 iops |
|
||||||
|
| Read 4k T12 Q128 | 1216496 iops | 2552765 iops |
|
||||||
|
| Write 4k T12 Q128 | 278110 iops | 821261 iops |
|
||||||
|
|
||||||
|
CPU consumption OSD per 1 disk:
|
||||||
|
|
||||||
|
| | TCP | RDMA |
|
||||||
|
|------------------------------|---------|---------|
|
||||||
|
| Linear read (4M T6 Q16) | 68.6 % | 33.6 % |
|
||||||
|
| Linear write (4M T6 Q16) | 108.3 % | 50.2 % |
|
||||||
|
| Read 4k T12 Q128 | 138.1 % | 97.9 % |
|
||||||
|
| Write 4k T12 Q128 | 168.7 % | 188.5 % |
|
||||||
|
|
||||||
|
CPU consumption per 1 client (fio):
|
||||||
|
|
||||||
|
| | TCP | RDMA |
|
||||||
|
|------------------------------|--------|--------|
|
||||||
|
| Linear read (4M T6 Q16) | 88.2 % | 52.4 % |
|
||||||
|
| Linear write (4M T6 Q16) | 51.8 % | 46.8 % |
|
||||||
|
| Read 4k T12 Q128 | 99.7 % | 61.3 % |
|
||||||
|
| Write 4k T12 Q128 | 35.1 % | 31.3 % |
|
|
@ -0,0 +1,157 @@
|
||||||
|
[Документация](../../README-ru.md#документация) → Производительность → Более новый тест Vitastor 1.3.1
|
||||||
|
|
||||||
|
-----
|
||||||
|
|
||||||
|
[Read in English](bench2.en.md)
|
||||||
|
|
||||||
|
# Более новый тест Vitastor 1.3.1
|
||||||
|
|
||||||
|
- [Описание стенда](#описание-стенда)
|
||||||
|
- [Примечания](#примечания)
|
||||||
|
- [Производительность голых дисков](#производительность-голых-дисков)
|
||||||
|
- [2 реплики](#2-реплики)
|
||||||
|
- [3 реплики](#3-реплики)
|
||||||
|
- [EC 2+1](#ec-2-1)
|
||||||
|
|
||||||
|
## Описание стенда
|
||||||
|
|
||||||
|
Железо: 3 сервера, в каждом:
|
||||||
|
- 8x NVMe Samsung PM9A3 1.92 TB
|
||||||
|
- 2x Xeon Gold 6342 (24 ядра @ 2.8 GHz)
|
||||||
|
- 256 GB RAM
|
||||||
|
- Двухпортовая 25 GbE сетевая карта Mellanox ConnectX-4 LX с поддержкой RoCEv2
|
||||||
|
- Подключение к 2 коммутаторам Mellanox SN2010 в MLAG
|
||||||
|
|
||||||
|
## Примечания
|
||||||
|
|
||||||
|
Версия Vitastor 1.3.1.
|
||||||
|
|
||||||
|
Тесты проводились с самих серверов хранения - по 4 клиента fio с каждого из 3 серверов.
|
||||||
|
|
||||||
|
Тестировался один большой образ размером 3 ТБ со всех хостов - создавать отдельные образы
|
||||||
|
для тестов в Vitastor необязательно, т.к. в Vitastor нет замедления при записи в один
|
||||||
|
узел несколькими клиентами.
|
||||||
|
|
||||||
|
Экономия энергии CPU отключена. На каждый NVMe создавалось 4 OSD.
|
||||||
|
Контрольные суммы не включались. Тесты с контрольными суммами будут проведены
|
||||||
|
позднее. Тогда же будет протестирована более новая версия Vitastor, и результаты
|
||||||
|
будут обновлены.
|
||||||
|
|
||||||
|
Конфигурация CPU стенда неоптимальна из-за NUMA - двухпроцессорных серверов лучше
|
||||||
|
избегать. Особенно это проявлялось во время тестов с RDMA - выражалось это в потреблении
|
||||||
|
100% одного ядра CPU одним процессом ksoftirqd и работой одного из двух сетевых портов
|
||||||
|
на скорости 3-5 ГБит/с вместо 25 ГБит/с - предположительно, из-за "непопаданий" RFS
|
||||||
|
(Receive Flow Steering) на нужные ядра. Решить эту проблему во время проведения тестов
|
||||||
|
не получилось. Было перепробовано множество различных настроек, но в итоге тесты проведены
|
||||||
|
с настройками по умолчанию, т.к. улучшения добиться не удалось.
|
||||||
|
|
||||||
|
# Производительность голых дисков
|
||||||
|
|
||||||
|
- Линейная запись ~1000-2000 МБ/с, в зависимости от состояния сборщика мусора диска
|
||||||
|
- Линейное чтение ~3300 МБ/с
|
||||||
|
- T1Q1 запись ~60000 iops (задержка ~0.015ms)
|
||||||
|
- T1Q1 чтение ~14700 iops (задержка ~0.066ms)
|
||||||
|
- T1Q16 запись ~180000 iops
|
||||||
|
- T1Q16 чтение ~120000 iops
|
||||||
|
- T1Q32 запись ~180000 iops
|
||||||
|
- T1Q32 чтение ~195000 iops
|
||||||
|
- T1Q128 запись ~180000 iops
|
||||||
|
- T1Q128 чтение ~195000 iops
|
||||||
|
- T4Q128 запись ~525000 iops
|
||||||
|
- T4Q128 чтение ~750000 iops
|
||||||
|
|
||||||
|
Из данных цифр очевидно, что при наличии более быстрой сети результаты были бы
|
||||||
|
значительно лучше, так как в диски тест, очевидно, не упирался. Например, теоретический предел по
|
||||||
|
линейному чтению для 24 таких дисков был бы около 79.2 ГБайт/с, то есть,
|
||||||
|
633 гигабита в секунду. Реальная скорость чтения (и случайного, и линейного)
|
||||||
|
Vitastor составила примерно 16 ГБайт/с, то есть 130 гигабит в секунду. При этом
|
||||||
|
следует заметить, что этот результат всё равно значительно лучше пропускной способности
|
||||||
|
сети отдельно взятого узла - что тоже вполне логично, так как тест выполнялся со
|
||||||
|
всех трёх узлов.
|
||||||
|
|
||||||
|
## 2 реплики
|
||||||
|
|
||||||
|
| | TCP | RDMA |
|
||||||
|
|------------------------------|--------------|--------------|
|
||||||
|
| Линейное чтение (4M T6 Q16) | 13.13 ГБ/с | 16.25 ГБ/с |
|
||||||
|
| Линейная запись (4M T6 Q16) | 8.16 ГБ/с | 7.88 ГБ/с |
|
||||||
|
| Чтение 4k T1 Q1 | 8745 iops | 10252 iops |
|
||||||
|
| Запись 4k T1 Q1 | 8097 iops | 11488 iops |
|
||||||
|
| Чтение 4k T12 Q128 | 1305936 iops | 4265861 iops |
|
||||||
|
| Запись 4k T12 Q128 | 660490 iops | 1384033 iops |
|
||||||
|
|
||||||
|
Потребление CPU OSD на 1 диск:
|
||||||
|
|
||||||
|
| | TCP | RDMA |
|
||||||
|
|------------------------------|---------|---------|
|
||||||
|
| Линейное чтение (4M T6 Q16) | 29.7 % | 29.8 % |
|
||||||
|
| Линейная запись (4M T6 Q16) | 84.4 % | 33.2 % |
|
||||||
|
| Чтение 4k T12 Q128 | 98.4 % | 119.1 % |
|
||||||
|
| Запись 4k T12 Q128 | 173.4 % | 175.9 % |
|
||||||
|
|
||||||
|
Потребление CPU на 1 клиента (fio):
|
||||||
|
|
||||||
|
| | TCP | RDMA |
|
||||||
|
|------------------------------|--------|--------|
|
||||||
|
| Линейное чтение (4M T6 Q16) | 100 % | 85.2 % |
|
||||||
|
| Линейная запись (4M T6 Q16) | 55.8 % | 48.8 % |
|
||||||
|
| Чтение 4k T12 Q128 | 99.9 % | 96 % |
|
||||||
|
| Запись 4k T12 Q128 | 71.6 % | 48.5 % |
|
||||||
|
|
||||||
|
## 3 реплики
|
||||||
|
|
||||||
|
| | TCP | RDMA |
|
||||||
|
|------------------------------|--------------|--------------|
|
||||||
|
| Линейное чтение (4M T6 Q16) | 13.98 ГБ/с | 16.54 ГБ/с |
|
||||||
|
| Линейная запись (4M T6 Q16) | 5.38 ГБ/с | 5.7 ГБ/с |
|
||||||
|
| Чтение 4k T1 Q1 | 8969 iops | 9980 iops |
|
||||||
|
| Запись 4k T1 Q1 | 8126 iops | 11672 iops |
|
||||||
|
| Чтение 4k T12 Q128 | 1358818 iops | 4279088 iops |
|
||||||
|
| Запись 4k T12 Q128 | 433890 iops | 993506 iops |
|
||||||
|
|
||||||
|
Потребление CPU OSD на 1 диск:
|
||||||
|
|
||||||
|
| | TCP | RDMA |
|
||||||
|
|------------------------------|--------|---------|
|
||||||
|
| Линейное чтение (4M T6 Q16) | 24.9 % | 25.4 % |
|
||||||
|
| Линейная запись (4M T6 Q16) | 99.3 % | 38.4 % |
|
||||||
|
| Чтение 4k T12 Q128 | 95.3 % | 111.7 % |
|
||||||
|
| Запись 4k T12 Q128 | 173 % | 194 % |
|
||||||
|
|
||||||
|
Потребление CPU на 1 клиента (fio):
|
||||||
|
|
||||||
|
| | TCP | RDMA |
|
||||||
|
|------------------------------|--------|--------|
|
||||||
|
| Линейное чтение (4M T6 Q16) | 99.9 % | 85.8 % |
|
||||||
|
| Линейная запись (4M T6 Q16) | 38.9 % | 38.1 % |
|
||||||
|
| Чтение 4k T12 Q128 | 100 % | 96.1 % |
|
||||||
|
| Запись 4k T12 Q128 | 51.6 % | 41.9 % |
|
||||||
|
|
||||||
|
## EC 2+1
|
||||||
|
|
||||||
|
| | TCP | RDMA |
|
||||||
|
|------------------------------|--------------|--------------|
|
||||||
|
| Линейное чтение (4M T6 Q16) | 10.07 ГБ/с | 11.43 ГБ/с |
|
||||||
|
| Линейная запись (4M T6 Q16) | 7.74 ГБ/с | 8.32 ГБ/с |
|
||||||
|
| Чтение 4k T1 Q1 | 7408 iops | 8891 iops |
|
||||||
|
| Запись 4k T1 Q1 | 3525 iops | 4903 iops |
|
||||||
|
| Чтение 4k T12 Q128 | 1216496 iops | 2552765 iops |
|
||||||
|
| Запись 4k T12 Q128 | 278110 iops | 821261 iops |
|
||||||
|
|
||||||
|
Потребление CPU OSD на 1 диск:
|
||||||
|
|
||||||
|
| | TCP | RDMA |
|
||||||
|
|------------------------------|---------|---------|
|
||||||
|
| Линейное чтение (4M T6 Q16) | 68.6 % | 33.6 % |
|
||||||
|
| Линейная запись (4M T6 Q16) | 108.3 % | 50.2 % |
|
||||||
|
| Чтение 4k T12 Q128 | 138.1 % | 97.9 % |
|
||||||
|
| Запись 4k T12 Q128 | 168.7 % | 188.5 % |
|
||||||
|
|
||||||
|
Потребление CPU на 1 клиента (fio):
|
||||||
|
|
||||||
|
| | TCP | RDMA |
|
||||||
|
|------------------------------|--------|--------|
|
||||||
|
| Линейное чтение (4M T6 Q16) | 88.2 % | 52.4 % |
|
||||||
|
| Линейная запись (4M T6 Q16) | 51.8 % | 46.8 % |
|
||||||
|
| Чтение 4k T12 Q128 | 99.7 % | 61.3 % |
|
||||||
|
| Запись 4k T12 Q128 | 35.1 % | 31.3 % |
|
|
@ -11,19 +11,26 @@ Replicated setups:
|
||||||
- Single-threaded write+fsync latency:
|
- Single-threaded write+fsync latency:
|
||||||
- With immediate commit: 2 network roundtrips + 1 disk write.
|
- With immediate commit: 2 network roundtrips + 1 disk write.
|
||||||
- With lazy commit: 4 network roundtrips + 1 disk write + 1 disk flush.
|
- With lazy commit: 4 network roundtrips + 1 disk write + 1 disk flush.
|
||||||
- Saturated parallel read iops: min(network bandwidth, sum(disk read iops)).
|
- Linear read: `min(total network bandwidth, sum(disk read MB/s))`.
|
||||||
- Saturated parallel write iops: min(network bandwidth, sum(disk write iops / number of replicas / write amplification)).
|
- Linear write: `min(total network bandwidth, sum(disk write MB/s / number of replicas))`.
|
||||||
|
- Saturated parallel read iops: `min(total network bandwidth, sum(disk read iops))`.
|
||||||
|
- Saturated parallel write iops: `min(total network bandwidth / number of replicas, sum(disk write iops / number of replicas / (write amplification = 4)))`.
|
||||||
|
|
||||||
EC/XOR setups:
|
EC/XOR setups (EC N+K):
|
||||||
- Single-threaded (T1Q1) read latency: 1.5 network roundtrips + 1 disk read.
|
- Single-threaded (T1Q1) read latency: 1.5 network roundtrips + 1 disk read.
|
||||||
- Single-threaded write+fsync latency:
|
- Single-threaded write+fsync latency:
|
||||||
- With immediate commit: 3.5 network roundtrips + 1 disk read + 2 disk writes.
|
- With immediate commit: 3.5 network roundtrips + 1 disk read + 2 disk writes.
|
||||||
- With lazy commit: 5.5 network roundtrips + 1 disk read + 2 disk writes + 2 disk fsyncs.
|
- With lazy commit: 5.5 network roundtrips + 1 disk read + 2 disk writes + 2 disk fsyncs.
|
||||||
- 0.5 in actually (k-1)/k which means that an additional roundtrip doesn't happen when
|
- 0.5 in actually `(N-1)/N` which means that an additional roundtrip doesn't happen when
|
||||||
the read sub-operation can be served locally.
|
the read sub-operation can be served locally.
|
||||||
- Saturated parallel read iops: min(network bandwidth, sum(disk read iops)).
|
- Linear read: `min(total network bandwidth, sum(disk read MB/s))`.
|
||||||
- Saturated parallel write iops: min(network bandwidth, sum(disk write iops * number of data drives / (number of data + parity drives) / write amplification)).
|
- Linear write: `min(total network bandwidth, sum(disk write MB/s * N/(N+K)))`.
|
||||||
In fact, you should put disk write iops under the condition of ~10% reads / ~90% writes in this formula.
|
- Saturated parallel read iops: `min(total network bandwidth, sum(disk read iops))`.
|
||||||
|
- Saturated parallel write iops: roughly `total iops / (N+K) / WA`. More exactly,
|
||||||
|
`min(total network bandwidth * N/(N+K), sum(disk randrw iops / (N*4 + K*5 + 1)))` with
|
||||||
|
random read/write mix corresponding to `(N-1)/(N*4 + K*5 + 1)*100 % reads`.
|
||||||
|
- For example, with EC 2+1 it is: `(7% randrw iops) / 14`.
|
||||||
|
- With EC 6+3 it is: `(12.5% randrw iops) / 40`.
|
||||||
|
|
||||||
Write amplification for 4 KB blocks is usually 3-5 in Vitastor:
|
Write amplification for 4 KB blocks is usually 3-5 in Vitastor:
|
||||||
1. Journal block write
|
1. Journal block write
|
||||||
|
|
|
@ -11,20 +11,27 @@
|
||||||
- Запись+fsync в 1 поток:
|
- Запись+fsync в 1 поток:
|
||||||
- С мгновенным сбросом: 2 RTT + 1 запись.
|
- С мгновенным сбросом: 2 RTT + 1 запись.
|
||||||
- С отложенным ("ленивым") сбросом: 4 RTT + 1 запись + 1 fsync.
|
- С отложенным ("ленивым") сбросом: 4 RTT + 1 запись + 1 fsync.
|
||||||
- Параллельное чтение: сумма IOPS всех дисков либо производительность сети, если в сеть упрётся раньше.
|
- Линейное чтение: сумма МБ/с чтения всех дисков, либо общая производительность сети (сумма пропускной способности сети всех нод), если в сеть упрётся раньше.
|
||||||
- Параллельная запись: сумма IOPS всех дисков / число реплик / WA либо производительность сети, если в сеть упрётся раньше.
|
- Линейная запись: сумма МБ/с записи всех дисков / число реплик, либо производительность сети / число реплик, если в сеть упрётся раньше.
|
||||||
|
- Параллельное случайное мелкое чтение: сумма IOPS чтения всех дисков, либо производительность сети, если в сеть упрётся раньше.
|
||||||
|
- Параллельная случайная мелкая запись: сумма IOPS записи всех дисков / число реплик / WA, либо производительность сети / число реплик, если в сеть упрётся раньше.
|
||||||
|
|
||||||
При использовании кодов коррекции ошибок (EC):
|
При использовании кодов коррекции ошибок (EC N+K):
|
||||||
- Задержка чтения в 1 поток (T1Q1): 1.5 RTT + 1 чтение.
|
- Задержка чтения в 1 поток (T1Q1): 1.5 RTT + 1 чтение.
|
||||||
- Запись+fsync в 1 поток:
|
- Запись+fsync в 1 поток:
|
||||||
- С мгновенным сбросом: 3.5 RTT + 1 чтение + 2 записи.
|
- С мгновенным сбросом: 3.5 RTT + 1 чтение + 2 записи.
|
||||||
- С отложенным ("ленивым") сбросом: 5.5 RTT + 1 чтение + 2 записи + 2 fsync.
|
- С отложенным ("ленивым") сбросом: 5.5 RTT + 1 чтение + 2 записи + 2 fsync.
|
||||||
- Под 0.5 на самом деле подразумевается (k-1)/k, где k - число дисков данных,
|
- Под 0.5 на самом деле подразумевается (N-1)/N, где N - число дисков данных,
|
||||||
что означает, что дополнительное обращение по сети не нужно, когда операция
|
что означает, что дополнительное обращение по сети не нужно, когда операция
|
||||||
чтения обслуживается локально.
|
чтения обслуживается локально.
|
||||||
- Параллельное чтение: сумма IOPS всех дисков либо производительность сети, если в сеть упрётся раньше.
|
- Линейное чтение: сумма МБ/с чтения всех дисков, либо общая производительность сети, если в сеть упрётся раньше.
|
||||||
- Параллельная запись: сумма IOPS всех дисков / общее число дисков данных и чётности / WA либо производительность сети, если в сеть упрётся раньше.
|
- Линейная запись: сумма МБ/с записи всех дисков * N/(N+K), либо производительность сети * N / (N+K), если в сеть упрётся раньше.
|
||||||
Примечание: IOPS дисков в данном случае надо брать в смешанном режиме чтения/записи в пропорции, аналогичной формулам выше.
|
- Параллельное случайное мелкое чтение: сумма IOPS чтения всех дисков либо производительность сети, если в сеть упрётся раньше.
|
||||||
|
- Параллельная случайная мелкая запись: грубо `(сумма IOPS / (N+K) / WA)`. Если точнее, то:
|
||||||
|
сумма смешанного IOPS всех дисков при `(N-1)/(N*4 + K*5 + 1)*100 %` чтения, делённая на `(N*4 + K*5 + 1)`.
|
||||||
|
Либо, производительность сети * N/(N+K), если в сеть упрётся раньше.
|
||||||
|
- Например, при EC 2+1 это: `(сумма IOPS при 7% чтения) / 14`.
|
||||||
|
- При EC 6+3 это: `(сумма IOPS при 12.5% чтения) / 40`.
|
||||||
|
|
||||||
WA (мультипликатор записи) для 4 КБ блоков в Vitastor обычно составляет 3-5:
|
WA (мультипликатор записи) для 4 КБ блоков в Vitastor обычно составляет 3-5:
|
||||||
1. Запись метаданных в журнал
|
1. Запись метаданных в журнал
|
||||||
|
|
|
@ -0,0 +1,246 @@
|
||||||
|
[Documentation](../../README.md#documentation) → Usage → Administration
|
||||||
|
|
||||||
|
-----
|
||||||
|
|
||||||
|
[Читать на русском](admin.ru.md)
|
||||||
|
|
||||||
|
# Administration
|
||||||
|
|
||||||
|
- [Pool states](#pool-states)
|
||||||
|
- [PG states](#pg-states)
|
||||||
|
- [Base PG states](#base-pg-states)
|
||||||
|
- [Additional PG states](#additional-pg-states)
|
||||||
|
- [Removing a healthy disk](#removing-a-healthy-disk)
|
||||||
|
- [Removing a failed disk](#removing-a-failed-disk)
|
||||||
|
- [Adding a disk](#adding-a-disk)
|
||||||
|
- [Restoring from lost pool configuration](#restoring-from-lost-pool-configuration)
|
||||||
|
- [Upgrading Vitastor](#upgrading-vitastor)
|
||||||
|
- [OSD memory usage](#osd-memory-usage)
|
||||||
|
|
||||||
|
## Pool states
|
||||||
|
|
||||||
|
Pool is active — that is, fully available for client input/output — when all its PGs are
|
||||||
|
'active' (maybe with some additional state flags).
|
||||||
|
|
||||||
|
If at least 1 PG is inactive, pool is also inactive and all clients suspend their I/O and
|
||||||
|
wait until you fix the cluster. :-)
|
||||||
|
|
||||||
|
## PG states
|
||||||
|
|
||||||
|
PG states may be seen in [vitastor-cli status](cli.en.md#status) output.
|
||||||
|
|
||||||
|
PG state consists of exactly 1 base state and an arbitrary number of additional states.
|
||||||
|
|
||||||
|
### Base PG states
|
||||||
|
|
||||||
|
PG state always includes exactly 1 of the following base states:
|
||||||
|
- **active** — PG is active and handles user I/O.
|
||||||
|
- **incomplete** — Not enough OSDs are available to activate this PG. That is, more disks
|
||||||
|
are lost than it's allowed by the pool's redundancy scheme. For example, if the pool has
|
||||||
|
pg_size=3 and pg_minsize=1, part of the data may be written only to 1 OSD. If that exact
|
||||||
|
OSD is lost, PG will become **incomplete**.
|
||||||
|
- **offline** — PG isn't activated by any OSD at all. Either primary OSD isn't set for
|
||||||
|
this PG at all (if the pool is just created), or an unavailable OSD is set as primary,
|
||||||
|
or the primary OSD refuses to start this PG (for example, because of wrong block_size),
|
||||||
|
or the PG is stopped by the monitor using `pause: true` flag in `/vitastor/pg/config` in etcd.
|
||||||
|
- **starting** — primary OSD has acquired PG lock in etcd, PG is starting.
|
||||||
|
- **peering** — primary OSD requests PG object listings from secondary OSDs and calculates
|
||||||
|
the PG state.
|
||||||
|
- **repeering** — PG is waiting for current I/O operations to complete and will
|
||||||
|
then transition to **peering**.
|
||||||
|
- **stopping** — PG is waiting for current I/O operations to complete and will
|
||||||
|
then transition to **offline** or be activated by another OSD.
|
||||||
|
|
||||||
|
All states except **active** mean that PG is inactive and client I/O is suspended.
|
||||||
|
|
||||||
|
**peering** state is normally visible only for a short period of time during OSD restarts
|
||||||
|
and during switching primary OSD of PGs.
|
||||||
|
|
||||||
|
**starting**, **repeering**, **stopping** states normally almost aren't visible at all.
|
||||||
|
If you notice them for any noticeable time — chances are some operations on some OSDs hung.
|
||||||
|
Search for "slow op" in OSD logs to find them — operations hung for more than
|
||||||
|
[slow_log_interval](../config/osd.en.md#slow_log_interval) are logged as "slow ops".
|
||||||
|
|
||||||
|
State transition diagram:
|
||||||
|
|
||||||
|
![PG state transitions](pg_states.svg "PG state transitions")
|
||||||
|
|
||||||
|
### Additional PG states
|
||||||
|
|
||||||
|
If a PG is active it can also have any number of the following additional states:
|
||||||
|
|
||||||
|
- **degraded** — PG is running on reduced number of drives (OSDs), redundancy of all
|
||||||
|
objects in this PG is reduced.
|
||||||
|
- **has_incomplete** — some objects in this PG are incomplete (unrecoverable), that is,
|
||||||
|
they have too many lost EC parts (more than pool's [parity_chunks](../config/pool.en.md#parity_chunks)).
|
||||||
|
- **has_degraded** — some objects in this PG have reduced redundancy
|
||||||
|
compared to the rest of the PG (so PG can be degraded+has_degraded at the same time).
|
||||||
|
These objects should be healed automatically by recovery process, unless
|
||||||
|
it's disabled by [no_recovery](../config/osd.en.md#no_recovery).
|
||||||
|
- **has_misplaced** — some objects in this PG are stored on an OSD set different from
|
||||||
|
the target set of the PG. These objects should be moved automatically, unless
|
||||||
|
rebalance is disabled by [no_rebalance](../config/osd.en.md#no_rebalance). Objects
|
||||||
|
that are degraded and misplaced at the same time are treated as just degraded.
|
||||||
|
- **has_unclean** — one more state normally noticeable only for very short time during
|
||||||
|
PG activation. It's used only with EC pools and means that some objects of this PG
|
||||||
|
have started but not finished modifications. All such objects are either quickly
|
||||||
|
committed or rolled back by the primary OSD when starting the PG, that is why the
|
||||||
|
state shouldn't be noticeable. If you notice it, it probably means that commit or
|
||||||
|
rollback operations are hung.
|
||||||
|
- **has_invalid** — PG contains objects with incorrect part ID. Never occurs normally.
|
||||||
|
It can only occur if you delete a non-empty EC pool and then recreate it as a replica
|
||||||
|
pool or with smaller data part count.
|
||||||
|
- **has_corrupted** — PG has corrupted objects, discovered by checking checksums during
|
||||||
|
read or during scrub. When possible, such objects should be recovered automatically.
|
||||||
|
If objects remain corrupted, use [vitastor-cli describe](cli.en.md#describe) to find
|
||||||
|
out details and/or look into the log of the primary OSD of the PG.
|
||||||
|
- **has_inconsistent** — PG has objects with non-matching parts or copies on different OSDs,
|
||||||
|
and it's impossible to determine which copy is correct automatically. It may happen
|
||||||
|
if you use a pool with 2 replica and you don't enable checksums, and if data on one
|
||||||
|
of replicas becomes corrupted. You should also use vitastor-cli [describe](cli.en.md#describe)
|
||||||
|
and [fix](cli.en.md#fix) commands to remove the incorrect version in this case.
|
||||||
|
- **left_on_dead** — part of the data of this PG is left on unavailable OSD that isn't
|
||||||
|
fully removed from the cluster. You should either start the corresponding OSD back and
|
||||||
|
let it remove the unneeded data or remove it from cluster using vitastor-cli
|
||||||
|
[rm-osd](cli.en.md#rm-osd) if you know that it's gone forever (for example, if the disk died).
|
||||||
|
- **scrubbing** — data [scrub](../config/osd.en.md#auto_scrub) is running for this PG.
|
||||||
|
|
||||||
|
## Removing a healthy disk
|
||||||
|
|
||||||
|
Before removing a healthy disk from the cluster set its OSD weight(s) to 0 to
|
||||||
|
move data away. To do that, run `vitastor-cli modify-osd --reweight 0 <НОМЕР_OSD>`.
|
||||||
|
|
||||||
|
Then wait until rebalance finishes and remove OSD by running `vitastor-disk purge /dev/vitastor/osdN-data`.
|
||||||
|
|
||||||
|
Zero weight can also be put manually into etcd key `/vitastor/config/osd/<НОМЕР_OSD>`, for example:
|
||||||
|
|
||||||
|
```
|
||||||
|
etcdctl --endpoints=http://1.1.1.1:2379/v3 put /vitastor/config/osd/1 '{"reweight":0}'
|
||||||
|
```
|
||||||
|
|
||||||
|
## Removing a failed disk
|
||||||
|
|
||||||
|
If a disk is already dead, its OSD(s) are likely already stopped.
|
||||||
|
|
||||||
|
In this case just remove OSD(s) from the cluster by running `vitastor-cli rm-osd OSD_NUMBER`.
|
||||||
|
|
||||||
|
## Adding a disk
|
||||||
|
|
||||||
|
If you're adding a server, first install Vitastor packages and copy the
|
||||||
|
`/etc/vitastor/vitastor.conf` configuration file to it.
|
||||||
|
|
||||||
|
After that you can just run `vitastor-disk prepare /dev/nvmeXXX`, of course with
|
||||||
|
the same parameters which you used for other OSDs in your cluster before.
|
||||||
|
|
||||||
|
## Restoring from lost pool configuration
|
||||||
|
|
||||||
|
If you remove or corrupt `/vitastor/config/pools` key in etcd all pools will
|
||||||
|
be deleted. Don't worry, the data won't be lost, but you'll need to perform
|
||||||
|
a specific recovery procedure.
|
||||||
|
|
||||||
|
First you need to restore previous configuration of the pool with the same ID
|
||||||
|
and EC/replica parameters and wait until pool PGs appear in `vitastor-cli status`.
|
||||||
|
|
||||||
|
Then add all OSDs into the history records of all PGs. You can do it by running
|
||||||
|
the following script (just don't forget to use your own PG_COUNT and POOL_ID):
|
||||||
|
|
||||||
|
```
|
||||||
|
PG_COUNT=32
|
||||||
|
POOL_ID=1
|
||||||
|
ALL_OSDS=$(etcdctl --endpoints=your_etcd_address:2379 get --keys-only --prefix /vitastor/osd/stats/ | \
|
||||||
|
perl -e '$/ = undef; $a = <>; $a =~ s/\s*$//; $a =~ s!/vitastor/osd/stats/!!g; $a =~ s/\s+/,/g; print $a')
|
||||||
|
for i in $(seq 1 $PG_COUNT); do
|
||||||
|
etcdctl --endpoints=your_etcd_address:2379 put /vitastor/pg/history/$POOL_ID/$i '{"all_peers":['$ALL_OSDS']}'
|
||||||
|
done
|
||||||
|
```
|
||||||
|
|
||||||
|
After that all PGs should peer and find all previous data.
|
||||||
|
|
||||||
|
## Upgrading Vitastor
|
||||||
|
|
||||||
|
Every upcoming Vitastor version is usually compatible with previous both forward
|
||||||
|
and backward regarding the network protocol and etcd data structures.
|
||||||
|
|
||||||
|
So, by default, if this page doesn't contain explicit different instructions, you
|
||||||
|
can upgrade your Vitastor cluster by simply upgrading packages and restarting all
|
||||||
|
OSDs and monitors in any order.
|
||||||
|
|
||||||
|
Upgrading is performed without stopping clients (VMs/containers), you just need to
|
||||||
|
upgrade and restart servers one by one. However, ideally you should restart VMs too
|
||||||
|
to make them use the new version of the client library.
|
||||||
|
|
||||||
|
### 1.1.x to 1.2.0
|
||||||
|
|
||||||
|
Upgrading version <= 1.1.x to version >= 1.2.0, if you use EC n+k with k>=2, is recommended
|
||||||
|
to be performed with full downtime: first you should stop all clients, then all OSDs,
|
||||||
|
then upgrade and start everything back — because versions before 1.2.0 have several
|
||||||
|
bugs leading to invalid data being read in EC n+k, k>=2 configurations in degraded pools.
|
||||||
|
|
||||||
|
### 0.8.7 to 0.9.0
|
||||||
|
|
||||||
|
Versions <= 0.8.7 are incompatible with versions >= 0.9.0, so you should first
|
||||||
|
upgrade from <= 0.8.7 to 0.8.8 or 0.8.9, and only then to >= 0.9.x. If you upgrade
|
||||||
|
without this intermediate step, client I/O will hang until the end of upgrade process.
|
||||||
|
|
||||||
|
### 0.5.x to 0.6.x
|
||||||
|
|
||||||
|
Upgrading from <= 0.5.x to >= 0.6.x is not supported.
|
||||||
|
|
||||||
|
## Downgrade
|
||||||
|
|
||||||
|
Downgrade are also allowed freely, except the following specific instructions:
|
||||||
|
|
||||||
|
### 1.8.0 to 1.7.1
|
||||||
|
|
||||||
|
Before downgrading from version >= 1.8.0 to version <= 1.7.1
|
||||||
|
you have to copy /vitastor/pg/config etcd key to /vitastor/config/pgs:
|
||||||
|
|
||||||
|
```
|
||||||
|
etcdctl --endpoints=http://... get --print-value-only /vitastor/pg/config | \
|
||||||
|
etcdctl --endpoints=http://... put /vitastor/config/pgs
|
||||||
|
```
|
||||||
|
|
||||||
|
Then you can just install older packages and restart all services.
|
||||||
|
|
||||||
|
If you performed downgrade without first copying that key, run "add all OSDs into the
|
||||||
|
history records of all PGs" from [Restoring from lost pool configuration](#restoring-from-lost-pool-configuration).
|
||||||
|
|
||||||
|
### 1.0.0 to 0.9.x
|
||||||
|
|
||||||
|
Version 1.0.0 has a new disk format, so OSDs initialized on 1.0.0 or later can't
|
||||||
|
be rolled back to 0.9.x or previous versions.
|
||||||
|
|
||||||
|
### 0.8.0 to 0.7.x
|
||||||
|
|
||||||
|
Versions before 0.8.0 don't have vitastor-disk, so OSDs, initialized by it, won't
|
||||||
|
start with older versions (0.4.x - 0.7.x). :-)
|
||||||
|
|
||||||
|
## OSD memory usage
|
||||||
|
|
||||||
|
OSD uses RAM mainly for:
|
||||||
|
|
||||||
|
- Metadata index: `data_size`/[`block_size`](../config/layout-cluster.en.md#block_size) * `approximately 1.1` * `32` bytes.
|
||||||
|
Consumed always.
|
||||||
|
- Copy of the on-disk metadata area: `data_size`/[`block_size`](../config/layout-cluster.en.md#block_size) * `28` bytes.
|
||||||
|
Consumed if [inmemory_metadata](../config/osd.en.md#inmemory_metadata) isn't disabled.
|
||||||
|
- Bitmaps: `data_size`/[`bitmap_granularity`](../config/layout-cluster.en.md#bitmap_granularity)/`8` * `2` bytes.
|
||||||
|
Consumed always.
|
||||||
|
- Journal index: between 0 and, approximately, journal size. Consumed always.
|
||||||
|
- Copy of the on-disk journal area: exactly journal size. Consumed if
|
||||||
|
[inmemory_journal](../config/osd.en.md#inmemory_journal) isn't disabled.
|
||||||
|
- Checksums: `data_size`/[`csum_block_size`](../config/osd.en.md#csum_block_size) * 4 bytes.
|
||||||
|
Consumed if checksums are enabled and [inmemory_metadata](../config/osd.en.md#inmemory_metadata) isn't disabled.
|
||||||
|
|
||||||
|
bitmap_granularity is almost always 4 KB.
|
||||||
|
|
||||||
|
So with default SSD settings (block_size=128k, journal_size=32M, csum_block_size=4k) memory usage is:
|
||||||
|
|
||||||
|
- Metadata and bitmaps: ~600 MB per 1 TB of data.
|
||||||
|
- Journal: up to 64 MB per 1 OSD.
|
||||||
|
- Checksums: 1 GB per 1 TB of data.
|
||||||
|
|
||||||
|
With default HDD settings (block_size=1M, journal_size=128M, csum_block_size=32k):
|
||||||
|
|
||||||
|
- Metadata and bitmaps: ~128 MB per 1 TB of data.
|
||||||
|
- Journal: up to 256 MB per 1 OSD.
|
||||||
|
- Checksums: 128 MB per 1 TB of data.
|
|
@ -0,0 +1,243 @@
|
||||||
|
[Документация](../../README-ru.md#документация) → Использование → Администрирование
|
||||||
|
|
||||||
|
-----
|
||||||
|
|
||||||
|
[Read in English](admin.en.md)
|
||||||
|
|
||||||
|
# Администрирование
|
||||||
|
|
||||||
|
- [Состояния пулов](#состояния-пулов)
|
||||||
|
- [Состояния PG](#состояния-pg)
|
||||||
|
- [Базовые состояния PG](#базовые-состояния-pg)
|
||||||
|
- [Дополнительные состояния PG](#дополнительные-состояния-pg)
|
||||||
|
- [Удаление исправного диска](#удаление-исправного-диска)
|
||||||
|
- [Удаление неисправного диска](#удаление-неисправного-диска)
|
||||||
|
- [Добавление диска](#добавление-диска)
|
||||||
|
- [Восстановление потерянной конфигурации пулов](#восстановление-потерянной-конфигурации-пулов)
|
||||||
|
- [Обновление Vitastor](#обновление-vitastor)
|
||||||
|
- [Потребление памяти OSD](#потребление-памяти-osd)
|
||||||
|
|
||||||
|
## Состояния пулов
|
||||||
|
|
||||||
|
Пул активен — то есть, полностью доступен для клиентского ввода-вывода — когда все его PG
|
||||||
|
активны, то есть, имеют статус active, возможно, с любым набором дополнительных флагов.
|
||||||
|
|
||||||
|
Если хотя бы 1 PG неактивна, пул неактивен и все клиенты зависают и ждут, пока вы почините
|
||||||
|
кластер. :-)
|
||||||
|
|
||||||
|
## Состояния PG
|
||||||
|
|
||||||
|
Вы можете видеть состояния PG в выводе команды [vitastor-cli status](cli.ru.md#status).
|
||||||
|
|
||||||
|
Состояние PG состоит из ровно 1 базового флага состояния, плюс любого числа дополнительных.
|
||||||
|
|
||||||
|
### Базовые состояния PG
|
||||||
|
|
||||||
|
Состояние PG включает в себя ровно 1 флаг из следующих:
|
||||||
|
- **active** — PG активна и обрабатывает запросы ввода-вывода от пользователей.
|
||||||
|
- **incomplete** — Недостаточно живых OSD, чтобы включить эту PG.
|
||||||
|
То есть, дисков потеряно больше, чем разрешено схемой отказоустойчивости пула и pg_minsize.
|
||||||
|
Например, если у пула pg_size=3 и pg_minsize=1, то часть данных может записаться всего на 1 OSD.
|
||||||
|
Если потом конкретно этот OSD упадёт, PG окажется **incomplete**.
|
||||||
|
- **offline** — PG вообще не активирована ни одним OSD. Либо первичный OSD не назначен вообще
|
||||||
|
(если пул только создан), либо в качестве первичного назначен недоступный OSD, либо
|
||||||
|
назначенный OSD отказывается запускать эту PG (например, из-за несовпадения block_size),
|
||||||
|
либо PG остановлена монитором через флаг `pause: true` в `/vitastor/pg/config` в etcd.
|
||||||
|
- **starting** — первичный OSD захватил блокировку PG в etcd, PG запускается.
|
||||||
|
- **peering** — первичный OSD опрашивает вторичные OSD на предмет списков объектов данной PG и рассчитывает её состояние.
|
||||||
|
- **repeering** — PG ожидает завершения текущих операций ввода-вывода, после чего перейдёт в состояние **peering**.
|
||||||
|
- **stopping** — PG ожидает завершения текущих операций ввода-вывода, после чего перейдёт в состояние **offline** или поднимется на другом OSD.
|
||||||
|
|
||||||
|
Все состояния, кроме **active**, означают, что PG неактивна и ввод-вывод приостановлен.
|
||||||
|
|
||||||
|
Состояние **peering** в норме заметно только при перезапуске OSD или переключении первичных
|
||||||
|
OSD, на протяжении небольшого периода времени.
|
||||||
|
|
||||||
|
Состояния **starting**, **repeering**, **stopping** в норме практически не заметны вообще,
|
||||||
|
PG должны очень быстро переходить из них в другие. Если эти состояния заметны
|
||||||
|
хоть сколько-то значительное время — вероятно, какие-то операции на каких-то OSD зависли.
|
||||||
|
Чтобы найти их, ищите "slow op" в журналах OSD — операции, зависшие дольше,
|
||||||
|
чем на [slow_log_interval](../config/osd.ru.md#slow_log_interval), записываются в
|
||||||
|
журналы OSD как "slow op".
|
||||||
|
|
||||||
|
Диаграмма переходов:
|
||||||
|
|
||||||
|
![Диаграмма переходов](pg_states.svg "Диаграмма переходов")
|
||||||
|
|
||||||
|
### Дополнительные состояния PG
|
||||||
|
|
||||||
|
Если PG активна, она также может иметь любое число дополнительных флагов состояний:
|
||||||
|
|
||||||
|
- **degraded** — PG поднята на неполном числе дисков (OSD), избыточность хранения всех объектов снижена.
|
||||||
|
- **has_incomplete** — часть объектов в PG неполные (невосстановимые), то есть, у них потеряно
|
||||||
|
слишком много EC-частей (больше, чем [parity_chunks](../config/pool.ru.md#parity_chunks) пула).
|
||||||
|
- **has_degraded** — часть объектов в PG деградированы, избыточность их хранения снижена по сравнению
|
||||||
|
с остальным содержимым данной PG (то есть, PG может одновременно быть degraded+has_degraded).
|
||||||
|
Данные объекты должны восстановиться автоматически, если только восстановление не отключено
|
||||||
|
через [no_recovery](../config/osd.ru.md#no_recovery).
|
||||||
|
- **has_misplaced** — часть объектов в PG сейчас расположена не на целевом наборе OSD этой PG.
|
||||||
|
Данные объекты должны переместиться автоматически, если только перебалансировка не отключена
|
||||||
|
через [no_rebalance](../config/osd.ru.md#no_rebalance). Объекты, являющиеся одновременно
|
||||||
|
degraded и misplaced, считаются просто degraded.
|
||||||
|
- **has_unclean** — ещё одно состояние, в норме заметное только очень короткое время при поднятии PG.
|
||||||
|
Применяется только к EC и означает, что на каких-то OSD этой PG есть EC-части объектов, для которых
|
||||||
|
был начат, но не завершён процесс записи. Все такие объекты первичный OSD либо завершает, либо
|
||||||
|
откатывает при поднятии PG первым делом, поэтому состояние и не должно быть заметно. Опять-таки,
|
||||||
|
если оно заметно — значит, скорее всего, операции отката или завершения записи на каких-то OSD зависли.
|
||||||
|
- **has_invalid** — в PG найдены объекты с некорректными ID части. В норме не проявляется вообще
|
||||||
|
никогда, проявляется только если, не удалив данные, создать на месте EC-пула либо реплика-пул,
|
||||||
|
либо EC-пул с меньшим числом частей данных.
|
||||||
|
- **has_corrupted** — в PG есть повреждённые объекты, обнаруженные с помощью контрольных сумм или
|
||||||
|
скраба (сверки копий). Если объекты можно восстановить, они восстановятся автоматически. Если
|
||||||
|
не восстанавливаются, используйте команду [vitastor-cli describe](cli.ru.md#describe) для
|
||||||
|
выяснения деталей и/или смотрите в журнал первичного OSD данной PG.
|
||||||
|
- **has_inconsistent** — в PG есть объекты, у которых не совпадают копии/части данных на разных OSD,
|
||||||
|
и при этом автоматически определить, какая копия верная, а какая нет, невозможно. Такое может
|
||||||
|
произойти, если вы используете 2 реплики, не включали контрольные суммы, и на одной из реплик
|
||||||
|
данные повредились. В этом случае тоже надо использовать команды vitastor-cli [describe](cli.ru.md#describe)
|
||||||
|
и [fix](cli.ru.md#fix) для удаления некорректной версии.
|
||||||
|
- **left_on_dead** — часть данных PG осталась на отключённом, но не удалённом из кластера окончательно,
|
||||||
|
OSD. Вам нужно либо вернуть соответствующий OSD в строй и дать ему очистить лишние данные, либо
|
||||||
|
удалить его из кластера окончательно с помощью vitastor-cli [rm-osd](cli.ru.md#rm-osd), если
|
||||||
|
известно, что он уже не вернётся (например, если умер диск).
|
||||||
|
- **scrubbing** — идёт фоновая проверка данных PG ([скраб](../config/osd.ru.md#auto_scrub)).
|
||||||
|
|
||||||
|
## Удаление исправного диска
|
||||||
|
|
||||||
|
Перед удалением исправного диска из кластера установите его OSD вес в 0, чтобы убрать с него данные.
|
||||||
|
Для этого выполните команду `vitastor-cli modify-osd --reweight 0 <НОМЕР_OSD>`.
|
||||||
|
|
||||||
|
Дождитесь завершения перебалансировки данных, после чего удалите OSD командой `vitastor-disk purge /dev/vitastor/osdN-data`.
|
||||||
|
|
||||||
|
Также вес 0 можно прописать вручную прямо в etcd в ключ `/vitastor/config/osd/<НОМЕР_OSD>`, например:
|
||||||
|
|
||||||
|
```
|
||||||
|
etcdctl --endpoints=http://1.1.1.1:2379/v3 put /vitastor/config/osd/1 '{"reweight":0}'
|
||||||
|
```
|
||||||
|
|
||||||
|
## Удаление неисправного диска
|
||||||
|
|
||||||
|
Если диск уже умер, его OSD, скорее всего, уже будет/будут остановлен(ы).
|
||||||
|
|
||||||
|
В этом случае просто удалите OSD из etcd командой `vitastor-cli rm-osd НОМЕР_OSD`.
|
||||||
|
|
||||||
|
## Добавление диска
|
||||||
|
|
||||||
|
Если сервер новый, установите на него пакеты Vitastor и скопируйте файл конфигурации
|
||||||
|
`/etc/vitastor/vitastor.conf`.
|
||||||
|
|
||||||
|
После этого достаточно выполнить команду `vitastor-disk prepare /dev/nvmeXXX`, разумеется,
|
||||||
|
с параметрами, аналогичными другим OSD в вашем кластере.
|
||||||
|
|
||||||
|
## Восстановление потерянной конфигурации пулов
|
||||||
|
|
||||||
|
Если удалить или повредить ключ `/vitastor/config/pools` в etcd, все пулы будут удалены.
|
||||||
|
Не волнуйтесь, данные потеряны не будут, но вам нужно будет провести специальную
|
||||||
|
процедуру восстановления.
|
||||||
|
|
||||||
|
Сначала нужно будет восстановить конфигурацию пулов, создав пул с таким же ID и
|
||||||
|
с такими же параметрами EC/реплик, и подождать, пока PG пула появятся в `vitastor-cli status`.
|
||||||
|
|
||||||
|
Далее нужно будет добавить все OSD в исторические записи всех PG. Примерно так
|
||||||
|
(только подставьте свои PG_COUNT и POOL_ID):
|
||||||
|
|
||||||
|
```
|
||||||
|
PG_COUNT=32
|
||||||
|
POOL_ID=1
|
||||||
|
ALL_OSDS=$(etcdctl --endpoints=your_etcd_address:2379 get --keys-only --prefix /vitastor/osd/stats/ | \
|
||||||
|
perl -e '$/ = undef; $a = <>; $a =~ s/\s*$//; $a =~ s!/vitastor/osd/stats/!!g; $a =~ s/\s+/,/g; print $a')
|
||||||
|
for i in $(seq 1 $PG_COUNT); do
|
||||||
|
etcdctl --endpoints=your_etcd_address:2379 put /vitastor/pg/history/$POOL_ID/$i '{"all_peers":['$ALL_OSDS']}'
|
||||||
|
done
|
||||||
|
```
|
||||||
|
|
||||||
|
После этого все PG должны пройти peering и найти все предыдущие данные.
|
||||||
|
|
||||||
|
## Обновление Vitastor
|
||||||
|
|
||||||
|
Обычно каждая следующая версия Vitastor совместима с предыдущими и "вперёд", и "назад"
|
||||||
|
с точки зрения сетевого протокола и структур данных в etcd.
|
||||||
|
|
||||||
|
Так что по умолчанию, если на данной странице не указано обратное, считается, что для
|
||||||
|
обновления достаточно обновить пакеты и перезапустить все OSD и мониторы Vitastor в
|
||||||
|
произвольном порядке.
|
||||||
|
|
||||||
|
Обновление производится без остановки клиентов (виртуальных машин/контейнеров), для этого
|
||||||
|
достаточно обновлять серверы по одному. Однако, конечно, чтобы запущенные виртуальные машины
|
||||||
|
начали использовать новую версию клиентской библиотеки, их тоже нужно перезапустить.
|
||||||
|
|
||||||
|
### 1.1.x -> 1.2.0
|
||||||
|
|
||||||
|
Обновляться с версий <= 1.1.x до версий >= 1.2.0, если вы используете EC n+k и k>=2,
|
||||||
|
рекомендуется с временной остановкой кластера — сначала нужно остановить всех клиентов,
|
||||||
|
потом все OSD, потом обновить и запустить всё обратно — из-за нескольких багов, которые
|
||||||
|
могли приводить к некорректному чтению данных в деградированных EC-пулах.
|
||||||
|
|
||||||
|
### 0.8.7 -> 0.9.0
|
||||||
|
|
||||||
|
Версии <= 0.8.7 несовместимы с версиями >= 0.9.0, поэтому при обновлении с <= 0.8.7
|
||||||
|
нужно сначала обновиться до 0.8.8 или 0.8.9, а уже потом до любых версий >= 0.9.x.
|
||||||
|
Иначе клиентский ввод-вывод зависнет до завершения обновления.
|
||||||
|
|
||||||
|
### 0.5.x -> 0.6.x
|
||||||
|
|
||||||
|
Обновление с версий 0.5.x и более ранних до 0.6.x и более поздних не поддерживается.
|
||||||
|
|
||||||
|
## Откат версии
|
||||||
|
|
||||||
|
Откат (понижение версии) тоже свободно разрешён, кроме указанных ниже случаев:
|
||||||
|
|
||||||
|
### 1.8.0 -> 1.7.1
|
||||||
|
|
||||||
|
Перед понижением версии с >= 1.8.0 до <= 1.7.1 вы должны скопировать ключ
|
||||||
|
etcd `/vitastor/pg/config` в `/vitastor/config/pgs`:
|
||||||
|
|
||||||
|
```
|
||||||
|
etcdctl --endpoints=http://... get --print-value-only /vitastor/pg/config | \
|
||||||
|
etcdctl --endpoints=http://... put /vitastor/config/pgs
|
||||||
|
```
|
||||||
|
|
||||||
|
После этого можно просто установить более старые пакеты и перезапустить все сервисы.
|
||||||
|
|
||||||
|
Если вы откатили версию, не скопировав предварительно этот ключ - выполните "добавление всех
|
||||||
|
OSD в исторические записи всех PG" из раздела [Восстановление потерянной конфигурации пулов](#восстановление-потерянной-конфигурации-пулов).
|
||||||
|
|
||||||
|
### 1.0.0 -> 0.9.x
|
||||||
|
|
||||||
|
В версии 1.0.0 поменялся дисковый формат, поэтому OSD, созданные на версии >= 1.0.0,
|
||||||
|
нельзя откатить до версии 0.9.x и более ранних.
|
||||||
|
|
||||||
|
### 0.8.0 -> 0.7.x
|
||||||
|
|
||||||
|
В версиях ранее 0.8.0 нет vitastor-disk, значит, созданные им OSD не запустятся на
|
||||||
|
более ранних версиях (0.4.x - 0.7.x). :-)
|
||||||
|
|
||||||
|
## Потребление памяти OSD
|
||||||
|
|
||||||
|
Основное потребление памяти складывается из:
|
||||||
|
|
||||||
|
- Индекс метаданных: `размер_данных`/[`block_size`](../config/layout-cluster.ru.md#block_size) * `примерно 1.1` * `32` байт.
|
||||||
|
Потребляется всегда.
|
||||||
|
- Копия дисковой области метаданных: `размер_данных`/[`block_size`](../config/layout-cluster.ru.md#block_size) * `28` байт.
|
||||||
|
Потребляется, если не отключена настройка [inmemory_metadata](../config/osd.ru.md#inmemory_metadata).
|
||||||
|
- Битмапы: `размер_данных`/[`bitmap_granularity`](../config/layout-cluster.ru.md#bitmap_granularity)/`8` * `2` байт.
|
||||||
|
Потребляется всегда.
|
||||||
|
- Индекс журнала: от 0 до, приблизительно, размера журнала. Потребляется всегда.
|
||||||
|
- Копия дисковой области журнала: в точности размер журнала. Потребляется,
|
||||||
|
если не отключена настройка [inmemory_journal](../config/osd.ru.md#inmemory_journal).
|
||||||
|
- Контрольные суммы: `размер_данных`/[`csum_block_size`](../config/osd.ru.md#csum_block_size) * `4` байт.
|
||||||
|
Потребляется, если включены контрольные суммы и не отключена настройка [inmemory_metadata](../config/osd.ru.md#inmemory_metadata).
|
||||||
|
|
||||||
|
bitmap_granularity, как правило, никогда не меняется и равен 4 килобайтам.
|
||||||
|
|
||||||
|
Таким образом, при SSD-настройках по умолчанию (block_size=128k, journal_size=32M, csum_block_size=4k) потребляется:
|
||||||
|
|
||||||
|
- Метаданные и битмапы: ~600 МБ на 1 ТБ данных
|
||||||
|
- Журнал: до 64 МБ на 1 OSD
|
||||||
|
- Контрольные суммы: 1 ГБ на 1 ТБ данных
|
||||||
|
|
||||||
|
При HDD-настройках по умолчанию (block_size=1M, journal_size=128M, csum_block_size=32k):
|
||||||
|
|
||||||
|
- Метаданные и битмапы: ~128 МБ на 1 ТБ данных
|
||||||
|
- Журнал: до 256 МБ на 1 OSD
|
||||||
|
- Контрольные суммы: 128 МБ на 1 ТБ данных
|
|
@ -16,6 +16,7 @@ It supports the following commands:
|
||||||
- [create](#create)
|
- [create](#create)
|
||||||
- [snap-create](#create)
|
- [snap-create](#create)
|
||||||
- [modify](#modify)
|
- [modify](#modify)
|
||||||
|
- [dd](#dd)
|
||||||
- [rm](#rm)
|
- [rm](#rm)
|
||||||
- [flatten](#flatten)
|
- [flatten](#flatten)
|
||||||
- [rm-data](#rm-data)
|
- [rm-data](#rm-data)
|
||||||
|
@ -24,11 +25,20 @@ It supports the following commands:
|
||||||
- [fix](#fix)
|
- [fix](#fix)
|
||||||
- [alloc-osd](#alloc-osd)
|
- [alloc-osd](#alloc-osd)
|
||||||
- [rm-osd](#rm-osd)
|
- [rm-osd](#rm-osd)
|
||||||
|
- [osd-tree](#osd-tree)
|
||||||
|
- [ls-osd](#ls-osd)
|
||||||
|
- [modify-osd](#modify-osd)
|
||||||
|
- [pg-list](#pg-list)
|
||||||
|
- [create-pool](#create-pool)
|
||||||
|
- [modify-pool](#modify-pool)
|
||||||
|
- [ls-pools](#ls-pools)
|
||||||
|
- [rm-pool](#rm-pool)
|
||||||
|
|
||||||
Global options:
|
Global options:
|
||||||
|
|
||||||
```
|
```
|
||||||
--etcd_address ADDR Etcd connection address
|
--config_file FILE Path to Vitastor configuration file
|
||||||
|
--etcd_address URL Etcd connection address
|
||||||
--iodepth N Send N operations in parallel to each OSD when possible (default 32)
|
--iodepth N Send N operations in parallel to each OSD when possible (default 32)
|
||||||
--parallel_osds M Work with M osds in parallel when possible (default 4)
|
--parallel_osds M Work with M osds in parallel when possible (default 4)
|
||||||
--progress 1|0 Report progress (default 1)
|
--progress 1|0 Report progress (default 1)
|
||||||
|
@ -130,25 +140,69 @@ See also about [how to export snapshots](qemu.en.md#exporting-snapshots).
|
||||||
|
|
||||||
## modify
|
## modify
|
||||||
|
|
||||||
`vitastor-cli modify <name> [--rename <new-name>] [--resize <size>] [--readonly | --readwrite] [-f|--force]`
|
`vitastor-cli modify <name> [--rename <new-name>] [--resize <size>] [--readonly | --readwrite] [-f|--force] [--down-ok]`
|
||||||
|
|
||||||
Rename, resize image or change its readonly status. Images with children can't be made read-write.
|
Rename, resize image or change its readonly status. Images with children can't be made read-write.
|
||||||
If the new size is smaller than the old size, extra data will be purged.
|
If the new size is smaller than the old size, extra data will be purged.
|
||||||
You should resize file system in the image, if present, before shrinking it.
|
You should resize file system in the image, if present, before shrinking it.
|
||||||
|
|
||||||
|
* `-f|--force` - Proceed with shrinking or setting readwrite flag even if the image has children.
|
||||||
|
* `--down-ok` - Proceed with shrinking even if some data will be left on unavailable OSDs.
|
||||||
|
|
||||||
|
## dd
|
||||||
|
|
||||||
```
|
```
|
||||||
-f|--force Proceed with shrinking or setting readwrite flag even if the image has children.
|
vitastor-cli dd [iimg=<image> | if=<file>] [oimg=<image> | of=<file>] [bs=1M] \
|
||||||
|
[count=N] [seek/oseek=N] [skip/iseek=M] [iodepth=N] [status=progress] \
|
||||||
|
[conv=nocreat,noerror,nofsync,trunc,nosparse] [iflag=direct] [oflag=direct,append]
|
||||||
```
|
```
|
||||||
|
|
||||||
|
Copy data between Vitastor images, files and pipes.
|
||||||
|
|
||||||
|
Options can be specified in classic dd style (`key=value`) or like usual (`--key value`).
|
||||||
|
|
||||||
|
| <!-- --> | <!-- --> |
|
||||||
|
|-----------------|-------------------------------------------------------------------------|
|
||||||
|
| `iimg=<image>` | Copy from Vitastor image `<image>` |
|
||||||
|
| `if=<file>` | Copy from file `<file>` |
|
||||||
|
| `oimg=<image>` | Copy to Vitastor image `<image>` |
|
||||||
|
| `of=<file>` | Copy to file `<file>` |
|
||||||
|
| `bs=1M` | Set copy block size |
|
||||||
|
| `count=N` | Copy only N input blocks. If N ends in B it counts bytes, not blocks |
|
||||||
|
| `seek/oseek=N` | Skip N output blocks. If N ends in B it counts bytes, not blocks |
|
||||||
|
| `skip/iseek=N` | Skip N input blocks. If N ends in B it counts bytes, not blocks |
|
||||||
|
| `iodepth=N` | Send N reads or writes in parallel (default 4) |
|
||||||
|
| `status=LEVEL` | The LEVEL of information to print to stderr: none/noxfer/progress |
|
||||||
|
| `size=N` | Specify size for the created output file/image (defaults to input size) |
|
||||||
|
| `iflag=direct` | For input files only: use direct I/O |
|
||||||
|
| `oflag=direct` | For output files only: use direct I/O |
|
||||||
|
| `oflag=append` | For files only: append to output file |
|
||||||
|
| `conv=nocreat` | Do not create output file/image |
|
||||||
|
| `conv=trunc` | Truncate output file/image |
|
||||||
|
| `conv=noerror` | Continue copying after errors |
|
||||||
|
| `conv=nofsync` | Do not call fsync before finishing (default behaviour is fsync) |
|
||||||
|
| `conv=nosparse` | Write all output blocks including all-zero blocks |
|
||||||
|
|
||||||
## rm
|
## rm
|
||||||
|
|
||||||
`vitastor-cli rm <from> [<to>] [--writers-stopped]`
|
`vitastor-cli rm <from> [<to>] [--writers-stopped] [--down-ok]`
|
||||||
|
|
||||||
Remove `<from>` or all layers between `<from>` and `<to>` (`<to>` must be a child of `<from>`),
|
`vitastor-cli rm (--exact|--matching) <glob> ...`
|
||||||
rebasing all their children accordingly. --writers-stopped allows merging to be a bit
|
|
||||||
more effective in case of a single 'slim' read-write child and 'fat' removed parent:
|
Remove layer(s) and rebase all their children accordingly.
|
||||||
the child is merged into parent and parent is renamed to child in that case.
|
|
||||||
In other cases parent layers are always merged into children.
|
In the first form, remove `<from>` or layers between `<from>` and its child `<to>`.
|
||||||
|
|
||||||
|
In the second form, remove all images with exact or pattern-matched names.
|
||||||
|
|
||||||
|
Options:
|
||||||
|
|
||||||
|
* `--writers-stopped` allows optimised removal in case of a single 'slim' read-write
|
||||||
|
child and 'fat' removed parent: the child is merged into parent and parent is renamed
|
||||||
|
to child in that case. In other cases parent layers are always merged into children.
|
||||||
|
* `--exact` - remove multiple images with names matching given glob patterns.
|
||||||
|
* `--matching` - remove multiple images with given names
|
||||||
|
* `--down-ok` - continue deletion/merging even if some data will be left on unavailable OSDs.
|
||||||
|
|
||||||
## flatten
|
## flatten
|
||||||
|
|
||||||
|
@ -166,6 +220,7 @@ Remove inode data without changing metadata.
|
||||||
--wait-list Retrieve full objects listings before starting to remove objects.
|
--wait-list Retrieve full objects listings before starting to remove objects.
|
||||||
Requires more memory, but allows to show correct removal progress.
|
Requires more memory, but allows to show correct removal progress.
|
||||||
--min-offset Purge only data starting with specified offset.
|
--min-offset Purge only data starting with specified offset.
|
||||||
|
--max-offset Purge only data before specified offset.
|
||||||
```
|
```
|
||||||
|
|
||||||
## merge-data
|
## merge-data
|
||||||
|
@ -178,11 +233,9 @@ Merge layer data without changing metadata. Merge `<from>`..`<to>` to `<target>`
|
||||||
|
|
||||||
## describe
|
## describe
|
||||||
|
|
||||||
`vitastor-cli describe [--osds <osds>] [--object-state <states>] [--pool <pool>]
|
`vitastor-cli describe [OPTIONS]`
|
||||||
[--inode <ino>] [--min-inode <ino>] [--max-inode <ino>]
|
|
||||||
[--min-offset <offset>] [--max-offset <offset>]`
|
|
||||||
|
|
||||||
Describe unclean object locations in the cluster.
|
Describe unclean object locations in the cluster. Options:
|
||||||
|
|
||||||
```
|
```
|
||||||
--osds <osds>
|
--osds <osds>
|
||||||
|
@ -192,6 +245,8 @@ Describe unclean object locations in the cluster.
|
||||||
degraded, misplaced, incomplete, corrupted, inconsistent.
|
degraded, misplaced, incomplete, corrupted, inconsistent.
|
||||||
--pool <pool name or number>
|
--pool <pool name or number>
|
||||||
Only list objects in the given pool.
|
Only list objects in the given pool.
|
||||||
|
--pg <pg number>
|
||||||
|
Only list objects in the given PG of the pool.
|
||||||
--inode, --min-inode, --max-inode
|
--inode, --min-inode, --max-inode
|
||||||
Restrict listing to specific inode numbers.
|
Restrict listing to specific inode numbers.
|
||||||
--min-offset, --max-offset
|
--min-offset, --max-offset
|
||||||
|
@ -237,3 +292,169 @@ Refuses to remove OSDs with data without `--force` and `--allow-data-loss`.
|
||||||
|
|
||||||
With `--dry-run` only checks if deletion is possible without data loss and
|
With `--dry-run` only checks if deletion is possible without data loss and
|
||||||
redundancy degradation.
|
redundancy degradation.
|
||||||
|
|
||||||
|
## osd-tree
|
||||||
|
|
||||||
|
`vitastor-cli osd-tree [-l|--long]`
|
||||||
|
|
||||||
|
Show current OSD tree, optionally with I/O statistics if -l is specified.
|
||||||
|
|
||||||
|
Example output:
|
||||||
|
|
||||||
|
```
|
||||||
|
TYPE NAME UP SIZE USED% TAGS WEIGHT BLOCK BITMAP IMM NOOUT
|
||||||
|
host kaveri
|
||||||
|
disk nvme0n1p1
|
||||||
|
osd 3 down 100G 0 % abc,kaveri 1 128k 4k none -
|
||||||
|
osd 4 down 100G 0 % 1 128k 4k none -
|
||||||
|
disk nvme1n1p1
|
||||||
|
osd 5 down 100G 0 % abc,kaveri 1 128k 4k none -
|
||||||
|
osd 6 down 100G 0 % 1 128k 4k none -
|
||||||
|
host stump
|
||||||
|
osd 1 up 100G 37.29 % osdone 1 128k 4k all -
|
||||||
|
osd 2 up 100G 26.8 % abc 1 128k 4k all -
|
||||||
|
osd 7 up 100G 21.84 % 1 128k 4k all -
|
||||||
|
osd 8 up 100G 21.63 % 1 128k 4k all -
|
||||||
|
osd 9 up 100G 20.69 % 1 128k 4k all -
|
||||||
|
osd 10 up 100G 21.61 % 1 128k 4k all -
|
||||||
|
osd 11 up 100G 21.53 % 1 128k 4k all -
|
||||||
|
osd 12 up 100G 22.4 % 1 128k 4k all -
|
||||||
|
```
|
||||||
|
|
||||||
|
## ls-osd
|
||||||
|
|
||||||
|
`vitastor-cli osds|ls-osd|osd-ls [-l|--long]`
|
||||||
|
|
||||||
|
Show current OSDs as list, optionally with I/O statistics if -l is specified.
|
||||||
|
|
||||||
|
Example output:
|
||||||
|
|
||||||
|
```
|
||||||
|
OSD PARENT UP SIZE USED% TAGS WEIGHT BLOCK BITMAP IMM NOOUT
|
||||||
|
3 kaveri/nvme0n1p1 down 100G 0 % globl,kaveri 1 128k 4k none -
|
||||||
|
4 kaveri/nvme0n1p1 down 100G 0 % 1 128k 4k none -
|
||||||
|
5 kaveri/nvme1n1p1 down 100G 0 % globl,kaveri 1 128k 4k none -
|
||||||
|
6 kaveri/nvme1n1p1 down 100G 0 % 1 128k 4k none -
|
||||||
|
1 stump up 100G 37.29 % osdone 1 128k 4k all -
|
||||||
|
2 stump up 100G 26.8 % globl 1 128k 4k all -
|
||||||
|
7 stump up 100G 21.84 % 1 128k 4k all -
|
||||||
|
8 stump up 100G 21.63 % 1 128k 4k all -
|
||||||
|
9 stump up 100G 20.69 % 1 128k 4k all -
|
||||||
|
10 stump up 100G 21.61 % 1 128k 4k all -
|
||||||
|
11 stump up 100G 21.53 % 1 128k 4k all -
|
||||||
|
12 stump up 100G 22.4 % 1 128k 4k all -
|
||||||
|
```
|
||||||
|
|
||||||
|
## modify-osd
|
||||||
|
|
||||||
|
`vitastor-cli modify-osd [--tags tag1,tag2,...] [--reweight <number>] [--noout true/false] <osd_number>`
|
||||||
|
|
||||||
|
Set OSD reweight, tags or noout flag. See detail description in [OSD config documentation](../config/pool.en.md#osd-settings).
|
||||||
|
|
||||||
|
## pg-list
|
||||||
|
|
||||||
|
`vitastor-cli pg-list|pg-ls|list-pg|ls-pg|ls-pgs [OPTIONS] [state1+state2] [^state3] [...]`
|
||||||
|
|
||||||
|
List PGs with any of listed state filters (^ or ! in the beginning is negation). Options:
|
||||||
|
|
||||||
|
```
|
||||||
|
--pool <pool name or number> Only list PGs of the given pool.
|
||||||
|
--min <min pg number> Only list PGs with number >= min.
|
||||||
|
--max <max pg number> Only list PGs with number <= max.
|
||||||
|
```
|
||||||
|
|
||||||
|
Examples:
|
||||||
|
|
||||||
|
`vitastor-cli pg-list active+degraded`
|
||||||
|
|
||||||
|
`vitastor-cli pg-list ^active`
|
||||||
|
|
||||||
|
## create-pool
|
||||||
|
|
||||||
|
`vitastor-cli create-pool|pool-create <name> (-s <pg_size>|--ec <N>+<K>) -n <pg_count> [OPTIONS]`
|
||||||
|
|
||||||
|
Create a pool. Required parameters:
|
||||||
|
|
||||||
|
| <!-- --> | <!-- --> |
|
||||||
|
|--------------------------|---------------------------------------------------------------------------------------|
|
||||||
|
| `-s R` or `--pg_size R` | Number of replicas for replicated pools |
|
||||||
|
| `--ec N+K` | Number of data (N) and parity (K) chunks for erasure-coded pools |
|
||||||
|
| `-n N` or `--pg_count N` | PG count for the new pool (start with 10*<OSD count>/pg_size rounded to a power of 2) |
|
||||||
|
|
||||||
|
Optional parameters:
|
||||||
|
|
||||||
|
| <!-- --> | <!-- --> |
|
||||||
|
|--------------------------------|----------------------------------------------------------------------------|
|
||||||
|
| `--pg_minsize <number>` | R or N+K minus number of failures to tolerate without downtime ([details](../config/pool.en.md#pg_minsize)) |
|
||||||
|
| `--failure_domain host` | Failure domain: host, osd or a level from placement_levels. Default: host |
|
||||||
|
| `--root_node <node>` | Put pool only on child OSDs of this placement tree node |
|
||||||
|
| `--osd_tags <tag>[,<tag>]...` | Put pool only on OSDs tagged with all specified tags |
|
||||||
|
| `--block_size 128k` | Put pool only on OSDs with this data block size |
|
||||||
|
| `--bitmap_granularity 4k` | Put pool only on OSDs with this logical sector size |
|
||||||
|
| `--immediate_commit none` | Put pool only on OSDs with this or larger immediate_commit (none < small < all) |
|
||||||
|
| `--level_placement <rules>` | Use additional failure domain rules (example: "dc=112233") |
|
||||||
|
| `--raw_placement <rules>` | Specify raw PG generation rules ([details](../config/pool.en.md#raw_placement)) |
|
||||||
|
| `--primary_affinity_tags tags` | Prefer to put primary copies on OSDs with all specified tags |
|
||||||
|
| `--scrub_interval <time>` | Enable regular scrubbing for this pool. Format: number + unit s/m/h/d/M/y |
|
||||||
|
| `--used_for_fs <name>` | Mark pool as used for VitastorFS with metadata in image <name> |
|
||||||
|
| `--pg_stripe_size <number>` | Increase object grouping stripe |
|
||||||
|
| `--max_osd_combinations 10000` | Maximum number of random combinations for LP solver input |
|
||||||
|
| `--wait` | Wait for the new pool to come online |
|
||||||
|
| `-f` or `--force` | Do not check that cluster has enough OSDs to create the pool |
|
||||||
|
|
||||||
|
See also [Pool configuration](../config/pool.en.md) for detailed parameter descriptions.
|
||||||
|
|
||||||
|
Examples:
|
||||||
|
|
||||||
|
`vitastor-cli create-pool test_x4 -s 4 -n 32`
|
||||||
|
|
||||||
|
`vitastor-cli create-pool test_ec42 --ec 4+2 -n 32`
|
||||||
|
|
||||||
|
## modify-pool
|
||||||
|
|
||||||
|
`vitastor-cli modify-pool|pool-modify <id|name> [--name <new_name>] [PARAMETERS...]`
|
||||||
|
|
||||||
|
Modify an existing pool. Modifiable parameters:
|
||||||
|
|
||||||
|
```
|
||||||
|
[-s|--pg_size <number>] [--pg_minsize <number>] [-n|--pg_count <count>]
|
||||||
|
[--failure_domain <level>] [--root_node <node>] [--osd_tags <tags>] [--no_inode_stats 0|1]
|
||||||
|
[--max_osd_combinations <number>] [--primary_affinity_tags <tags>] [--scrub_interval <time>]
|
||||||
|
```
|
||||||
|
|
||||||
|
Non-modifiable parameters (changing them WILL lead to data loss):
|
||||||
|
|
||||||
|
```
|
||||||
|
[--block_size <size>] [--bitmap_granularity <size>]
|
||||||
|
[--immediate_commit <all|small|none>] [--pg_stripe_size <size>]
|
||||||
|
```
|
||||||
|
|
||||||
|
These, however, can still be modified with -f|--force.
|
||||||
|
|
||||||
|
See [create-pool](#create-pool) for parameter descriptions.
|
||||||
|
|
||||||
|
Examples:
|
||||||
|
|
||||||
|
`vitastor-cli modify-pool pool_A --name pool_B`
|
||||||
|
|
||||||
|
`vitastor-cli modify-pool 2 --pg_size 4 -n 128`
|
||||||
|
|
||||||
|
## rm-pool
|
||||||
|
|
||||||
|
`vitastor-cli rm-pool|pool-rm [--force] <id|name>`
|
||||||
|
|
||||||
|
Remove a pool. Refuses to remove pools with images without `--force`.
|
||||||
|
|
||||||
|
## ls-pools
|
||||||
|
|
||||||
|
`vitastor-cli ls-pools|pool-ls|ls-pool|pools [-l] [--detail] [--sort FIELD] [-r] [-n N] [--stats] [<glob> ...]`
|
||||||
|
|
||||||
|
List pools (only matching <glob> patterns if passed).
|
||||||
|
|
||||||
|
| <!-- --> | <!-- --> |
|
||||||
|
|----------------------|-------------------------------------------------------|
|
||||||
|
| `-l` or `--long` | Also report I/O statistics |
|
||||||
|
| `--detail` | Use list format (not table), show all details |
|
||||||
|
| `--sort FIELD` | Sort by specified field (see fields in --json output) |
|
||||||
|
| `-r` or `--reverse` | Sort in descending order |
|
||||||
|
| `-n` or `--count N` | Only list first N items |
|
||||||
|
|
|
@ -17,17 +17,27 @@ vitastor-cli - интерфейс командной строки для адм
|
||||||
- [create](#create)
|
- [create](#create)
|
||||||
- [snap-create](#create)
|
- [snap-create](#create)
|
||||||
- [modify](#modify)
|
- [modify](#modify)
|
||||||
|
- [dd](#dd)
|
||||||
- [rm](#rm)
|
- [rm](#rm)
|
||||||
- [flatten](#flatten)
|
- [flatten](#flatten)
|
||||||
- [rm-data](#rm-data)
|
- [rm-data](#rm-data)
|
||||||
- [merge-data](#merge-data)
|
- [merge-data](#merge-data)
|
||||||
- [alloc-osd](#alloc-osd)
|
- [alloc-osd](#alloc-osd)
|
||||||
- [rm-osd](#rm-osd)
|
- [rm-osd](#rm-osd)
|
||||||
|
- [osd-tree](#osd-tree)
|
||||||
|
- [ls-osd](#ls-osd)
|
||||||
|
- [modify-osd](#modify-osd)
|
||||||
|
- [pg-list](#pg-list)
|
||||||
|
- [create-pool](#create-pool)
|
||||||
|
- [modify-pool](#modify-pool)
|
||||||
|
- [ls-pools](#ls-pools)
|
||||||
|
- [rm-pool](#rm-pool)
|
||||||
|
|
||||||
Глобальные опции:
|
Глобальные опции:
|
||||||
|
|
||||||
```
|
```
|
||||||
--etcd_address ADDR Адрес соединения с etcd
|
--config_file FILE Путь к файлу конфигурации Vitastor
|
||||||
|
--etcd_address URL Адрес соединения с etcd
|
||||||
--iodepth N Отправлять параллельно N операций на каждый OSD (по умолчанию 32)
|
--iodepth N Отправлять параллельно N операций на каждый OSD (по умолчанию 32)
|
||||||
--parallel_osds M Работать параллельно с M OSD (по умолчанию 4)
|
--parallel_osds M Работать параллельно с M OSD (по умолчанию 4)
|
||||||
--progress 1|0 Печатать прогресс выполнения (по умолчанию 1)
|
--progress 1|0 Печатать прогресс выполнения (по умолчанию 1)
|
||||||
|
@ -84,8 +94,8 @@ kaveri 2/1 32 0 B 10 G 0 B 100% 0%
|
||||||
|
|
||||||
`vitastor-cli ls [-l] [-p POOL] [--sort FIELD] [-r] [-n N] [<glob> ...]`
|
`vitastor-cli ls [-l] [-p POOL] [--sort FIELD] [-r] [-n N] [<glob> ...]`
|
||||||
|
|
||||||
Показать список образов, если переданы шаблоны `<glob>`, то только с именами,
|
Показать список образов, если передан(ы) шаблон(ы) `<glob>`, то только с именами,
|
||||||
соответствующими этим шаблонам (стандартные ФС-шаблоны с * и ?).
|
соответствующими одному из шаблонов (стандартные ФС-шаблоны с * и ?).
|
||||||
|
|
||||||
Опции:
|
Опции:
|
||||||
|
|
||||||
|
@ -131,7 +141,7 @@ vitastor-cli snap-create [-p|--pool <id|name>] <image>@<snapshot>
|
||||||
|
|
||||||
## modify
|
## modify
|
||||||
|
|
||||||
`vitastor-cli modify <name> [--rename <new-name>] [--resize <size>] [--readonly | --readwrite] [-f|--force]`
|
`vitastor-cli modify <name> [--rename <new-name>] [--resize <size>] [--readonly | --readwrite] [-f|--force] [--down-ok]`
|
||||||
|
|
||||||
Изменить размер, имя образа или флаг "только для чтения". Снимать флаг "только для чтения"
|
Изменить размер, имя образа или флаг "только для чтения". Снимать флаг "только для чтения"
|
||||||
и уменьшать размер образов, у которых есть дочерние клоны, без `--force` нельзя.
|
и уменьшать размер образов, у которых есть дочерние клоны, без `--force` нельзя.
|
||||||
|
@ -139,23 +149,64 @@ vitastor-cli snap-create [-p|--pool <id|name>] <image>@<snapshot>
|
||||||
Если новый размер меньше старого, "лишние" данные будут удалены, поэтому перед уменьшением
|
Если новый размер меньше старого, "лишние" данные будут удалены, поэтому перед уменьшением
|
||||||
образа сначала уменьшите файловую систему в нём.
|
образа сначала уменьшите файловую систему в нём.
|
||||||
|
|
||||||
|
* `-f|--force` - Разрешить уменьшение или перевод в чтение-запись образа, у которого есть клоны.
|
||||||
|
* `--down-ok` - Разрешить уменьшение, даже если часть данных останется неудалённой на недоступных OSD.
|
||||||
|
|
||||||
|
## dd
|
||||||
|
|
||||||
```
|
```
|
||||||
-f|--force Разрешить уменьшение или перевод в чтение-запись образа, у которого есть клоны.
|
vitastor-cli dd [iimg=<image> | if=<file>] [oimg=<image> | of=<file>] [bs=1M] \
|
||||||
|
[count=N] [seek/oseek=N] [skip/iseek=M] [iodepth=N] [status=progress] \
|
||||||
|
[conv=nocreat,noerror,nofsync,trunc,nosparse] [iflag=direct] [oflag=direct,append]
|
||||||
```
|
```
|
||||||
|
|
||||||
|
Копировать данные между образами Vitastor, файлами и каналами.
|
||||||
|
|
||||||
|
Опции можно передавать в классическом стиле dd (`key=value`) или как обычно (`--key value`).
|
||||||
|
|
||||||
|
| <!-- --> | <!-- --> |
|
||||||
|
|-----------------|-------------------------------------------------------------------------|
|
||||||
|
| `iimg=<image>` | Копировать из образа Vitastor `<image>` |
|
||||||
|
| `if=<file>` | Копировать из файла `<file>` |
|
||||||
|
| `oimg=<image>` | Копировать в образ Vitastor `<image>` |
|
||||||
|
| `of=<file>` | Копировать в файл `<file>` |
|
||||||
|
| `bs=1M` | Задать размер блока копирования |
|
||||||
|
| `count=N` | Копировать не более N блоков. Если N заканчивается на B - то N байт. |
|
||||||
|
| `seek/oseek=N` | Пропустить N выходных блоков. Если N заканчивается на B - то N байт. |
|
||||||
|
| `skip/iseek=N` | Пропустить N входных блоков. Если N заканчивается на B - то N байт. |
|
||||||
|
| `iodepth=N` | Отправлять N чтений/записей параллельно (по умолчанию 4). |
|
||||||
|
| `status=LEVEL` | Уровень вывода в консоль: none/noxfer/progress |
|
||||||
|
| `size=N` | Задать размер выходного файла/образа (по умолчанию равен размеру входа).|
|
||||||
|
| `iflag=direct` | Только для входного файла: использовать прямой ввод-вывод |
|
||||||
|
| `oflag=direct` | Только для выходного файла: использовать прямой ввод-вывод |
|
||||||
|
| `oflag=append` | Только для файлов: дописывать в конец выходного файла |
|
||||||
|
| `conv=nocreat` | Не создавать выходной файл/образ |
|
||||||
|
| `conv=trunc` | Обрезать выходной файл/образ до размера входа |
|
||||||
|
| `conv=noerror` | Продолжать копирование после ошибок |
|
||||||
|
| `conv=nofsync` | Не вызывать fsync перед завершением |
|
||||||
|
| `conv=nosparse` | Записывать все выходные блоки, включая пустые |
|
||||||
|
|
||||||
## rm
|
## rm
|
||||||
|
|
||||||
`vitastor-cli rm <from> [<to>] [--writers-stopped]`
|
`vitastor-cli rm <from> [<to>] [--writers-stopped] [--down-ok]`
|
||||||
|
|
||||||
Удалить образ `<from>` или все слои от `<from>` до `<to>` (`<to>` должен быть дочерним
|
`vitastor-cli rm (--exact|--matching) <glob> ...`
|
||||||
образом `<from>`), одновременно меняя родительские образы их клонов (если таковые есть).
|
|
||||||
|
|
||||||
`--writers-stopped` позволяет чуть более эффективно удалять образы в частом случае, когда
|
Удалить образ(ы), корректно перебазируя их дочерние образы.
|
||||||
у удаляемой цепочки есть только один дочерний образ, содержащий небольшой объём данных.
|
|
||||||
В этом случае дочерний образ вливается в родительский и удаляется, а родительский
|
|
||||||
переименовывается в дочерний.
|
|
||||||
|
|
||||||
В других случаях родительские слои вливаются в дочерние.
|
В первой форме удаляет один образ `<from>` или все слои между `<from>` и его дочерним `<to>`.
|
||||||
|
|
||||||
|
Во второй форме, удаляет все образы с точными именами или именами, подходящими под шаблон(ы).
|
||||||
|
|
||||||
|
Опции:
|
||||||
|
|
||||||
|
* `--writers-stopped` позволяет чуть более эффективно удалять образы в частом случае, когда
|
||||||
|
у удаляемой цепочки есть только один дочерний образ, содержащий небольшой объём данных.
|
||||||
|
В этом случае дочерний образ вливается в родительский и удаляется, а родительский
|
||||||
|
переименовывается в дочерний.
|
||||||
|
* `--exact` - удалить все образы с именами, подходящими под переданные glob-шаблоны.
|
||||||
|
* `--matching` - удалить все образы с точно заданными именами.
|
||||||
|
* `--down-ok` - продолжать удаление/слияние, даже если часть данных останется неудалённой на недоступных OSD.
|
||||||
|
|
||||||
## flatten
|
## flatten
|
||||||
|
|
||||||
|
@ -174,6 +225,7 @@ vitastor-cli snap-create [-p|--pool <id|name>] <image>@<snapshot>
|
||||||
--wait-list Сначала запросить полный листинг объектов, а потом начать удалять.
|
--wait-list Сначала запросить полный листинг объектов, а потом начать удалять.
|
||||||
Требует больше памяти, но позволяет правильно печатать прогресс удаления.
|
Требует больше памяти, но позволяет правильно печатать прогресс удаления.
|
||||||
--min-offset Удалять только данные, начиная с заданного смещения.
|
--min-offset Удалять только данные, начиная с заданного смещения.
|
||||||
|
--max-offset Удалять только данные до (исключительно) заданного смещения.
|
||||||
```
|
```
|
||||||
|
|
||||||
## merge-data
|
## merge-data
|
||||||
|
@ -186,12 +238,10 @@ vitastor-cli snap-create [-p|--pool <id|name>] <image>@<snapshot>
|
||||||
|
|
||||||
## describe
|
## describe
|
||||||
|
|
||||||
`vitastor-cli describe [--osds <osds>] [--object-state <состояния>] [--pool <пул>]
|
`vitastor-cli describe [ОПЦИИ]`
|
||||||
[--inode <номер>] [--min-inode <номер>] [--max-inode <номер>]
|
|
||||||
[--min-offset <смещение>] [--max-offset <смещение>]`
|
|
||||||
|
|
||||||
Описать состояние "грязных" объектов в кластере, то есть таких объектов, копии
|
Описать состояние "грязных" объектов в кластере, то есть таких объектов, копии
|
||||||
или части которых хранятся на наборе OSD, не равном целевому.
|
или части которых хранятся на наборе OSD, не равном целевому. Опции:
|
||||||
|
|
||||||
```
|
```
|
||||||
--osds <osds>
|
--osds <osds>
|
||||||
|
@ -206,6 +256,8 @@ vitastor-cli snap-create [-p|--pool <id|name>] <image>@<snapshot>
|
||||||
- inconsistent - неконсистентный, с неоднозначным расхождением копий/частей
|
- inconsistent - неконсистентный, с неоднозначным расхождением копий/частей
|
||||||
--pool <имя или ID пула>
|
--pool <имя или ID пула>
|
||||||
Перечислять только объекты из заданного пула.
|
Перечислять только объекты из заданного пула.
|
||||||
|
--pg <номер PG>
|
||||||
|
Перечислять только объекты из заданной PG пула.
|
||||||
--inode, --min-inode, --max-inode
|
--inode, --min-inode, --max-inode
|
||||||
Перечислять только объекты из указанных номеров инодов (образов).
|
Перечислять только объекты из указанных номеров инодов (образов).
|
||||||
--min-offset, --max-offset
|
--min-offset, --max-offset
|
||||||
|
@ -254,3 +306,170 @@ vitastor-cli snap-create [-p|--pool <id|name>] <image>@<snapshot>
|
||||||
|
|
||||||
С опцией `--dry-run` только проверяет, возможно ли удаление без потери данных и деградации
|
С опцией `--dry-run` только проверяет, возможно ли удаление без потери данных и деградации
|
||||||
избыточности.
|
избыточности.
|
||||||
|
|
||||||
|
## osd-tree
|
||||||
|
|
||||||
|
`vitastor-cli osd-tree [-l|--long]`
|
||||||
|
|
||||||
|
Показать дерево OSD, со статистикой ввода-вывода, если установлено -l.
|
||||||
|
|
||||||
|
Пример вывода:
|
||||||
|
|
||||||
|
```
|
||||||
|
TYPE NAME UP SIZE USED% TAGS WEIGHT BLOCK BITMAP IMM NOOUT
|
||||||
|
host kaveri
|
||||||
|
disk nvme0n1p1
|
||||||
|
osd 3 down 100G 0 % globl,kaveri 1 128k 4k none -
|
||||||
|
osd 4 down 100G 0 % 1 128k 4k none -
|
||||||
|
disk nvme1n1p1
|
||||||
|
osd 5 down 100G 0 % globl,kaveri 1 128k 4k none -
|
||||||
|
osd 6 down 100G 0 % 1 128k 4k none -
|
||||||
|
host stump
|
||||||
|
osd 1 up 100G 37.29 % osdone 1 128k 4k all -
|
||||||
|
osd 2 up 100G 26.8 % globl 1 128k 4k all -
|
||||||
|
osd 7 up 100G 21.84 % 1 128k 4k all -
|
||||||
|
osd 8 up 100G 21.63 % 1 128k 4k all -
|
||||||
|
osd 9 up 100G 20.69 % 1 128k 4k all -
|
||||||
|
osd 10 up 100G 21.61 % 1 128k 4k all -
|
||||||
|
osd 11 up 100G 21.53 % 1 128k 4k all -
|
||||||
|
osd 12 up 100G 22.4 % 1 128k 4k all -
|
||||||
|
```
|
||||||
|
|
||||||
|
## ls-osd
|
||||||
|
|
||||||
|
`vitastor-cli osds|ls-osd|osd-ls [-l|--long]`
|
||||||
|
|
||||||
|
Показать список OSD, со статистикой ввода-вывода, если установлено -l.
|
||||||
|
|
||||||
|
Пример вывода:
|
||||||
|
|
||||||
|
```
|
||||||
|
OSD PARENT UP SIZE USED% TAGS WEIGHT BLOCK BITMAP IMM NOOUT
|
||||||
|
3 kaveri/nvme0n1p1 down 100G 0 % globl,kaveri 1 128k 4k none -
|
||||||
|
4 kaveri/nvme0n1p1 down 100G 0 % 1 128k 4k none -
|
||||||
|
5 kaveri/nvme1n1p1 down 100G 0 % globl,kaveri 1 128k 4k none -
|
||||||
|
6 kaveri/nvme1n1p1 down 100G 0 % 1 128k 4k none -
|
||||||
|
1 stump up 100G 37.29 % osdone 1 128k 4k all -
|
||||||
|
2 stump up 100G 26.8 % globl 1 128k 4k all -
|
||||||
|
7 stump up 100G 21.84 % 1 128k 4k all -
|
||||||
|
8 stump up 100G 21.63 % 1 128k 4k all -
|
||||||
|
9 stump up 100G 20.69 % 1 128k 4k all -
|
||||||
|
10 stump up 100G 21.61 % 1 128k 4k all -
|
||||||
|
11 stump up 100G 21.53 % 1 128k 4k all -
|
||||||
|
12 stump up 100G 22.4 % 1 128k 4k all -
|
||||||
|
```
|
||||||
|
|
||||||
|
## modify-osd
|
||||||
|
|
||||||
|
`vitastor-cli modify-osd [--tags tag1,tag2,...] [--reweight <number>] [--noout true/false] <osd_number>`
|
||||||
|
|
||||||
|
Установить вес OSD, теги или флаг noout. Смотрите подробное описание в [документации настроек OSD](../config/pool.ru.md#настройки-osd).
|
||||||
|
|
||||||
|
## pg-list
|
||||||
|
|
||||||
|
`vitastor-cli pg-list|pg-ls|list-pg|ls-pg|ls-pgs [OPTIONS] [state1+state2] [^state3] [...]`
|
||||||
|
|
||||||
|
Вывести список PG с состояними, удовлетворяющими любому из переданных фильтров (^ или !
|
||||||
|
в начале фильтра означает отрицание). Опции:
|
||||||
|
|
||||||
|
```
|
||||||
|
--pool <pool name or number> Only list PGs of the given pool.
|
||||||
|
--min <min pg number> Only list PGs with number >= min.
|
||||||
|
--max <max pg number> Only list PGs with number <= max.
|
||||||
|
```
|
||||||
|
|
||||||
|
Примеры:
|
||||||
|
|
||||||
|
`vitastor-cli pg-list active+degraded`
|
||||||
|
|
||||||
|
`vitastor-cli pg-list ^active`
|
||||||
|
|
||||||
|
## create-pool
|
||||||
|
|
||||||
|
`vitastor-cli create-pool|pool-create <name> (-s <pg_size>|--ec <N>+<K>) -n <pg_count> [OPTIONS]`
|
||||||
|
|
||||||
|
Создать пул. Обязательные параметры:
|
||||||
|
|
||||||
|
| <!-- --> | <!-- --> |
|
||||||
|
|---------------------------|---------------------------------------------------------------------------------------------|
|
||||||
|
| `-s R` или `--pg_size R` | Число копий данных для реплицированных пулов |
|
||||||
|
| `--ec N+K` | Число частей данных (N) и чётности (K) для пулов с кодами коррекции ошибок |
|
||||||
|
| `-n N` или `--pg_count N` | Число PG для нового пула (начните с 10*<число OSD>/pg_size, округлённого до степени двойки) |
|
||||||
|
|
||||||
|
Необязательные параметры:
|
||||||
|
|
||||||
|
| <!-- --> | <!-- --> |
|
||||||
|
|--------------------------------|----------------------------------------------------------------------------|
|
||||||
|
| `--pg_minsize <number>` | (R или N+K) минус число разрешённых отказов без остановки пула ([подробнее](../config/pool.ru.md#pg_minsize)) |
|
||||||
|
| `--failure_domain host` | Домен отказа: host, osd или другой из placement_levels. По умолчанию: host |
|
||||||
|
| `--root_node <node>` | Использовать для пула только дочерние OSD этого узла дерева размещения |
|
||||||
|
| `--osd_tags <tag>[,<tag>]...` | ...только OSD со всеми заданными тегами |
|
||||||
|
| `--block_size 128k` | ...только OSD с данным размером блока |
|
||||||
|
| `--bitmap_granularity 4k` | ...только OSD с данным размером логического сектора |
|
||||||
|
| `--immediate_commit none` | ...только OSD с этим или большим immediate_commit (none < small < all) |
|
||||||
|
| `--level_placement <rules>` | Задать правила дополнительных доменов отказа (пример: "dc=112233") |
|
||||||
|
| `--raw_placement <rules>` | Задать низкоуровневые правила генерации PG ([детали](../config/pool.ru.md#raw_placement)) |
|
||||||
|
| `--primary_affinity_tags tags` | Предпочитать OSD со всеми данными тегами для роли первичных |
|
||||||
|
| `--scrub_interval <time>` | Включить скрабы с заданным интервалом времени (число + единица s/m/h/d/M/y) |
|
||||||
|
| `--pg_stripe_size <number>` | Увеличить блок группировки объектов по PG |
|
||||||
|
| `--max_osd_combinations 10000` | Максимальное число случайных комбинаций OSD для ЛП-солвера |
|
||||||
|
| `--wait` | Подождать, пока новый пул будет активирован |
|
||||||
|
| `-f` или `--force` | Не проверять, что в кластере достаточно доменов отказа для создания пула |
|
||||||
|
|
||||||
|
Подробно о параметрах см. [Конфигурация пулов](../config/pool.ru.md).
|
||||||
|
|
||||||
|
Примеры:
|
||||||
|
|
||||||
|
`vitastor-cli create-pool test_x4 -s 4 -n 32`
|
||||||
|
|
||||||
|
`vitastor-cli create-pool test_ec42 --ec 4+2 -n 32`
|
||||||
|
|
||||||
|
## modify-pool
|
||||||
|
|
||||||
|
`vitastor-cli modify-pool|pool-modify <id|name> [--name <new_name>] [PARAMETERS...]`
|
||||||
|
|
||||||
|
Изменить настройки существующего пула. Изменяемые параметры:
|
||||||
|
|
||||||
|
```
|
||||||
|
[-s|--pg_size <number>] [--pg_minsize <number>] [-n|--pg_count <count>]
|
||||||
|
[--failure_domain <level>] [--root_node <node>] [--osd_tags <tags>]
|
||||||
|
[--max_osd_combinations <number>] [--primary_affinity_tags <tags>] [--scrub_interval <time>]
|
||||||
|
```
|
||||||
|
|
||||||
|
Неизменяемые параметры (их изменение ПРИВЕДЁТ к потере данных):
|
||||||
|
|
||||||
|
```
|
||||||
|
[--block_size <size>] [--bitmap_granularity <size>]
|
||||||
|
[--immediate_commit <all|small|none>] [--pg_stripe_size <size>]
|
||||||
|
```
|
||||||
|
|
||||||
|
Эти параметры можно изменить, только если явно передать опцию -f или --force.
|
||||||
|
|
||||||
|
Описания параметров смотрите в [create-pool](#create-pool).
|
||||||
|
|
||||||
|
Примеры:
|
||||||
|
|
||||||
|
`vitastor-cli modify-pool pool_A --name pool_B`
|
||||||
|
|
||||||
|
`vitastor-cli modify-pool 2 --pg_size 4 -n 128`
|
||||||
|
|
||||||
|
## rm-pool
|
||||||
|
|
||||||
|
`vitastor-cli rm-pool|pool-rm [--force] <id|name>`
|
||||||
|
|
||||||
|
Удалить пул. Отказывается удалять пул, в котором ещё есть образы, без `--force`.
|
||||||
|
|
||||||
|
## ls-pools
|
||||||
|
|
||||||
|
`vitastor-cli ls-pools|pool-ls|ls-pool|pools [-l] [--detail] [--sort FIELD] [-r] [-n N] [--stats] [<glob> ...]`
|
||||||
|
|
||||||
|
Показать список пулов. Если передан(ы) шаблон(ы) `<glob>`, то только с именами,
|
||||||
|
соответствующими одному из шаблонов (стандартные ФС-шаблоны с * и ?).
|
||||||
|
|
||||||
|
| <!-- --> | <!-- --> |
|
||||||
|
|-----------------------|------------------------------------------------------------|
|
||||||
|
| `-l` или `--long` | Вывести также статистику ввода-вывода |
|
||||||
|
| `--detail` | Максимально подробный вывод в виде списка (а не таблицы) |
|
||||||
|
| `--sort FIELD` | Сортировать по заданному полю (поля см. в выводе с --json) |
|
||||||
|
| `-r` или `--reverse` | Сортировать в обратном порядке |
|
||||||
|
| `-n` или `--count N` | Выводить только первые N записей |
|
||||||
|
|
|
@ -17,6 +17,7 @@ It supports the following commands:
|
||||||
- [purge](#purge)
|
- [purge](#purge)
|
||||||
- [read-sb](#read-sb)
|
- [read-sb](#read-sb)
|
||||||
- [write-sb](#write-sb)
|
- [write-sb](#write-sb)
|
||||||
|
- [update-sb](#update-sb)
|
||||||
- [udev](#udev)
|
- [udev](#udev)
|
||||||
- [exec-osd](#exec-osd)
|
- [exec-osd](#exec-osd)
|
||||||
- [pre-exec](#pre-exec)
|
- [pre-exec](#pre-exec)
|
||||||
|
@ -87,7 +88,7 @@ Options (both modes):
|
||||||
--block_size 1M/128k Set blockstore object size
|
--block_size 1M/128k Set blockstore object size
|
||||||
--bitmap_granularity 4k Set bitmap granularity
|
--bitmap_granularity 4k Set bitmap granularity
|
||||||
--data_csum_type none Set data checksum type (crc32c or none)
|
--data_csum_type none Set data checksum type (crc32c or none)
|
||||||
--csum_block_size 4k Set data checksum block size
|
--csum_block_size 4k/32k Set data checksum block size (SSD/HDD default)
|
||||||
--data_device_block 4k Override data device block size
|
--data_device_block 4k Override data device block size
|
||||||
--meta_device_block 4k Override metadata device block size
|
--meta_device_block 4k Override metadata device block size
|
||||||
--journal_device_block 4k Override journal device block size
|
--journal_device_block 4k Override journal device block size
|
||||||
|
@ -182,6 +183,14 @@ Try to read Vitastor OSD superblock from `<device>` and print it in JSON format.
|
||||||
|
|
||||||
Read JSON from STDIN and write it into Vitastor OSD superblock on `<device>`.
|
Read JSON from STDIN and write it into Vitastor OSD superblock on `<device>`.
|
||||||
|
|
||||||
|
## update-sb
|
||||||
|
|
||||||
|
`vitastor-disk update-sb <device> [--force] [--<parameter> <value>] [...]`
|
||||||
|
|
||||||
|
Read Vitastor OSD superblock from <device>, update parameters in it and write it back.
|
||||||
|
|
||||||
|
`--force` allows to ignore validation errors.
|
||||||
|
|
||||||
## udev
|
## udev
|
||||||
|
|
||||||
`vitastor-disk udev <device>`
|
`vitastor-disk udev <device>`
|
||||||
|
@ -252,7 +261,7 @@ Options (see also [Cluster-Wide Disk Layout Parameters](../config/layout-cluster
|
||||||
```
|
```
|
||||||
--object_size 128k Set blockstore block size
|
--object_size 128k Set blockstore block size
|
||||||
--bitmap_granularity 4k Set bitmap granularity
|
--bitmap_granularity 4k Set bitmap granularity
|
||||||
--journal_size 16M Set journal size
|
--journal_size 32M Set journal size
|
||||||
--data_csum_type none Set data checksum type (crc32c or none)
|
--data_csum_type none Set data checksum type (crc32c or none)
|
||||||
--csum_block_size 4k Set data checksum block size
|
--csum_block_size 4k Set data checksum block size
|
||||||
--device_block_size 4k Set device block size
|
--device_block_size 4k Set device block size
|
||||||
|
|
|
@ -17,6 +17,7 @@ vitastor-disk - инструмент командной строки для уп
|
||||||
- [purge](#purge)
|
- [purge](#purge)
|
||||||
- [read-sb](#read-sb)
|
- [read-sb](#read-sb)
|
||||||
- [write-sb](#write-sb)
|
- [write-sb](#write-sb)
|
||||||
|
- [update-sb](#update-sb)
|
||||||
- [udev](#udev)
|
- [udev](#udev)
|
||||||
- [exec-osd](#exec-osd)
|
- [exec-osd](#exec-osd)
|
||||||
- [pre-exec](#pre-exec)
|
- [pre-exec](#pre-exec)
|
||||||
|
@ -88,7 +89,7 @@ vitastor-disk - инструмент командной строки для уп
|
||||||
--block_size 1M/128k Задать размер объекта хранилища
|
--block_size 1M/128k Задать размер объекта хранилища
|
||||||
--bitmap_granularity 4k Задать гранулярность битовых карт
|
--bitmap_granularity 4k Задать гранулярность битовых карт
|
||||||
--data_csum_type none Задать тип контрольных сумм (crc32c или none)
|
--data_csum_type none Задать тип контрольных сумм (crc32c или none)
|
||||||
--csum_block_size 4k Задать размер блока расчёта контрольных сумм
|
--csum_block_size 4k/32k Задать размер блока расчёта контрольных сумм (дефолт SSD/HDD)
|
||||||
--data_device_block 4k Задать размер блока устройства данных
|
--data_device_block 4k Задать размер блока устройства данных
|
||||||
--meta_device_block 4k Задать размер блока метаданных
|
--meta_device_block 4k Задать размер блока метаданных
|
||||||
--journal_device_block 4k Задать размер блока журнала
|
--journal_device_block 4k Задать размер блока журнала
|
||||||
|
@ -187,6 +188,15 @@ throttle_target_mbs, throttle_target_parallelism, throttle_threshold_us.
|
||||||
|
|
||||||
Прочитать JSON со стандартного ввода и записать его в суперблок OSD на диск `<device>`.
|
Прочитать JSON со стандартного ввода и записать его в суперблок OSD на диск `<device>`.
|
||||||
|
|
||||||
|
## update-sb
|
||||||
|
|
||||||
|
`vitastor-disk update-sb <device> [--force] [--<параметр> <значение>] [...]`
|
||||||
|
|
||||||
|
Прочитать суперблок OSD с диска `<device>`, изменить в нём заданные параметры и записать обратно.
|
||||||
|
|
||||||
|
Опция `--force` позволяет читать суперблок, даже если он считается некорректным
|
||||||
|
из-за ошибок валидации.
|
||||||
|
|
||||||
## udev
|
## udev
|
||||||
|
|
||||||
`vitastor-disk udev <device>`
|
`vitastor-disk udev <device>`
|
||||||
|
@ -257,7 +267,7 @@ OSD отключены fsync-и.
|
||||||
```
|
```
|
||||||
--object_size 128k Размер блока хранилища
|
--object_size 128k Размер блока хранилища
|
||||||
--bitmap_granularity 4k Гранулярность битовых карт
|
--bitmap_granularity 4k Гранулярность битовых карт
|
||||||
--journal_size 16M Размер журнала
|
--journal_size 32M Размер журнала
|
||||||
--data_csum_type none Задать тип контрольных сумм (crc32c или none)
|
--data_csum_type none Задать тип контрольных сумм (crc32c или none)
|
||||||
--csum_block_size 4k Задать размер блока расчёта контрольных сумм
|
--csum_block_size 4k Задать размер блока расчёта контрольных сумм
|
||||||
--device_block_size 4k Размер блока устройства
|
--device_block_size 4k Размер блока устройства
|
||||||
|
|
|
@ -14,10 +14,13 @@ Vitastor has a fio driver which can be installed from the package vitastor-fio.
|
||||||
Use the following command as an example to run tests with fio against a Vitastor cluster:
|
Use the following command as an example to run tests with fio against a Vitastor cluster:
|
||||||
|
|
||||||
```
|
```
|
||||||
fio -thread -ioengine=libfio_vitastor.so -name=test -bs=4M -direct=1 -iodepth=16 -rw=write -etcd=10.115.0.10:2379/v3 -image=testimg
|
fio -thread -ioengine=libfio_vitastor.so -name=test -bs=4M -direct=1 -iodepth=16 -rw=write -image=testimg
|
||||||
```
|
```
|
||||||
|
|
||||||
If you don't want to access your image by name, you can specify pool number, inode number and size
|
If you don't want to access your image by name, you can specify pool number, inode number and size
|
||||||
(`-pool=1 -inode=1 -size=400G`) instead of the image name (`-image=testimg`).
|
(`-pool=1 -inode=1 -size=400G`) instead of the image name (`-image=testimg`).
|
||||||
|
|
||||||
See exact fio commands to use for benchmarking [here](../performance/understanding.en.md#команды-fio).
|
You can also specify etcd address(es) explicitly by adding `-etcd=10.115.0.10:2379/v3`, or you
|
||||||
|
can override configuration file path by adding `-conf=/etc/vitastor/vitastor.conf`.
|
||||||
|
|
||||||
|
See exact fio commands to use for benchmarking [here](../performance/understanding.en.md#fio-commands).
|
||||||
|
|
|
@ -14,10 +14,13 @@
|
||||||
Используйте следующую команду как пример для запуска тестов кластера Vitastor через fio:
|
Используйте следующую команду как пример для запуска тестов кластера Vitastor через fio:
|
||||||
|
|
||||||
```
|
```
|
||||||
fio -thread -ioengine=libfio_vitastor.so -name=test -bs=4M -direct=1 -iodepth=16 -rw=write -etcd=10.115.0.10:2379/v3 -image=testimg
|
fio -thread -ioengine=libfio_vitastor.so -name=test -bs=4M -direct=1 -iodepth=16 -rw=write -image=testimg
|
||||||
```
|
```
|
||||||
|
|
||||||
Вместо обращения к образу по имени (`-image=testimg`) можно указать номер пула, номер инода и размер:
|
Вместо обращения к образу по имени (`-image=testimg`) можно указать номер пула, номер инода и размер:
|
||||||
`-pool=1 -inode=1 -size=400G`.
|
`-pool=1 -inode=1 -size=400G`.
|
||||||
|
|
||||||
|
Вы также можете задать адрес(а) подключения к etcd явно, добавив `-etcd=10.115.0.10:2379/v3`,
|
||||||
|
или переопределить путь к файлу конфигурации, добавив `-conf=/etc/vitastor/vitastor.conf`.
|
||||||
|
|
||||||
Конкретные команды fio для тестирования производительности можно посмотреть [здесь](../performance/understanding.ru.md#команды-fio).
|
Конкретные команды fio для тестирования производительности можно посмотреть [здесь](../performance/understanding.ru.md#команды-fio).
|
||||||
|
|
|
@ -11,40 +11,52 @@ NBD stands for "Network Block Device", but in fact it also functions as "BUSE"
|
||||||
NBD slighly lowers the performance due to additional overhead, but performance still
|
NBD slighly lowers the performance due to additional overhead, but performance still
|
||||||
remains decent (see an example [here](../performance/comparison1.en.md#vitastor-0-4-0-nbd)).
|
remains decent (see an example [here](../performance/comparison1.en.md#vitastor-0-4-0-nbd)).
|
||||||
|
|
||||||
Vitastor Kubernetes CSI driver is based on NBD.
|
See also [VDUSE](qemu.en.md#vduse) as a better alternative to NBD.
|
||||||
|
|
||||||
See also [VDUSE](qemu.en.md#vduse).
|
Vitastor Kubernetes CSI driver uses NBD when VDUSE is unavailable.
|
||||||
|
|
||||||
## Map image
|
Supports the following commands:
|
||||||
|
|
||||||
|
- [map](#map)
|
||||||
|
- [unmap](#unmap)
|
||||||
|
- [ls](#ls)
|
||||||
|
- [netlink-map](#netlink-map)
|
||||||
|
- [netlink-unmap](#netlink-unmap)
|
||||||
|
- [netlink-revive](#netlink-revive)
|
||||||
|
|
||||||
|
## map
|
||||||
|
|
||||||
To create a local block device for a Vitastor image run:
|
To create a local block device for a Vitastor image run:
|
||||||
|
|
||||||
```
|
```
|
||||||
vitastor-nbd map --etcd_address 10.115.0.10:2379/v3 --image testimg
|
vitastor-nbd map [/dev/nbdN] --image testimg
|
||||||
```
|
```
|
||||||
|
|
||||||
It will output a block device name like /dev/nbd0 which you can then use as a normal disk.
|
It will output a block device name like /dev/nbd0 which you can then use as a normal disk.
|
||||||
|
|
||||||
You can also use `--pool <POOL> --inode <INODE> --size <SIZE>` instead of `--image <IMAGE>` if you want.
|
You can also use `--pool <POOL> --inode <INODE> --size <SIZE>` instead of `--image <IMAGE>` if you want.
|
||||||
|
|
||||||
Additional options for map command:
|
vitastor-nbd supports all usual Vitastor configuration options like `--config_file <path_to_config>` plus NBD-specific:
|
||||||
|
|
||||||
* `--nbd_timeout 30` \
|
* `--nbd_timeout 0` \
|
||||||
Timeout for I/O operations in seconds after exceeding which the kernel stops
|
Timeout for I/O operations in seconds after exceeding which the kernel stops the device.
|
||||||
the device. You can set it to 0 to disable the timeout, but beware that you
|
Before Linux 5.19, if nbd_timeout is 0, a dead NBD device can't be removed from
|
||||||
won't be able to stop the device at all if vitastor-nbd process dies.
|
the system at all without rebooting.
|
||||||
* `--nbd_max_devices 64 --nbd_max_part 3` \
|
* `--nbd_max_devices 64 --nbd_max_part 3` \
|
||||||
Options for the `nbd` kernel module when modprobing it (`nbds_max` and `max_part`).
|
Options for the `nbd` kernel module when modprobing it (`nbds_max` and `max_part`).
|
||||||
note that maximum allowed (nbds_max)*(1+max_part) is 256.
|
|
||||||
* `--logfile /path/to/log/file.txt` \
|
* `--logfile /path/to/log/file.txt` \
|
||||||
Write log messages to the specified file instead of dropping them (in background mode)
|
Write log messages to the specified file instead of dropping them (in background mode)
|
||||||
or printing them to the standard output (in foreground mode).
|
or printing them to the standard output (in foreground mode).
|
||||||
* `--dev_num N` \
|
* `--dev_num N` \
|
||||||
Use the specified device /dev/nbdN instead of automatic selection.
|
Use the specified device /dev/nbdN instead of automatic selection (alternative syntax
|
||||||
|
to /dev/nbdN positional parameter).
|
||||||
* `--foreground 1` \
|
* `--foreground 1` \
|
||||||
Stay in foreground, do not daemonize.
|
Stay in foreground, do not daemonize.
|
||||||
|
|
||||||
## Unmap image
|
Note that `nbd_timeout`, `nbd_max_devices` and `nbd_max_part` options may also be specified
|
||||||
|
in `/etc/vitastor/vitastor.conf` or in other configuration file specified with `--config_file`.
|
||||||
|
|
||||||
|
## unmap
|
||||||
|
|
||||||
To unmap the device run:
|
To unmap the device run:
|
||||||
|
|
||||||
|
@ -52,12 +64,14 @@ To unmap the device run:
|
||||||
vitastor-nbd unmap /dev/nbd0
|
vitastor-nbd unmap /dev/nbd0
|
||||||
```
|
```
|
||||||
|
|
||||||
## List mapped images
|
## ls
|
||||||
|
|
||||||
```
|
```
|
||||||
vitastor-nbd ls [--json]
|
vitastor-nbd ls [--json]
|
||||||
```
|
```
|
||||||
|
|
||||||
|
List mapped images.
|
||||||
|
|
||||||
Example output (normal format):
|
Example output (normal format):
|
||||||
|
|
||||||
```
|
```
|
||||||
|
@ -75,3 +89,45 @@ Example output (JSON format):
|
||||||
```
|
```
|
||||||
{"/dev/nbd0": {"image": "bench", "pid": 584536}, "/dev/nbd1": {"image": "bench1", "pid": 584546}}
|
{"/dev/nbd0": {"image": "bench", "pid": 584536}, "/dev/nbd1": {"image": "bench1", "pid": 584546}}
|
||||||
```
|
```
|
||||||
|
|
||||||
|
## netlink-map
|
||||||
|
|
||||||
|
```
|
||||||
|
vitastor-nbd netlink-map [/dev/nbdN] (--image <image> | --pool <pool> --inode <inode> --size <size in bytes>)
|
||||||
|
```
|
||||||
|
|
||||||
|
On recent kernel versions it's also possinle to map NBD devices using netlink interface.
|
||||||
|
|
||||||
|
This is an experimental feature because it doesn't solve all issues of NBD. Differences from regular ioctl-based 'map':
|
||||||
|
|
||||||
|
1. netlink-map can create new `/dev/nbdN` devices (those not present in /dev/).
|
||||||
|
2. netlink-mapped devices can be unmapped only using `netlink-unmap` command.
|
||||||
|
3. netlink-mapped devices don't show up `ls` output (yet).
|
||||||
|
4. Dead netlink-mapped devices can be 'revived' using `netlink-revive`.
|
||||||
|
However, old I/O requests will hang forever if `nbd_timeout` is not specified.
|
||||||
|
5. netlink-map supports additional options:
|
||||||
|
|
||||||
|
* `--nbd_conn_timeout 0` \
|
||||||
|
Disconnect a dead device automatically after this number of seconds.
|
||||||
|
* `--nbd_destroy_on_disconnect 1` \
|
||||||
|
Delete the nbd device on disconnect.
|
||||||
|
* `--nbd_disconnect_on_close 1` \
|
||||||
|
Disconnect the nbd device on close by last opener.
|
||||||
|
* `--nbd_ro 1` \
|
||||||
|
Set device into read only mode.
|
||||||
|
|
||||||
|
## netlink-unmap
|
||||||
|
|
||||||
|
```
|
||||||
|
vitastor-nbd netlink-unmap /dev/nbdN
|
||||||
|
```
|
||||||
|
|
||||||
|
Unmap a device using netlink interface. Works with both netlink and ioctl mapped devices.
|
||||||
|
|
||||||
|
## netlink-revive
|
||||||
|
|
||||||
|
```
|
||||||
|
vitastor-nbd netlink-revive /dev/nbdX (--image <image> | --pool <pool> --inode <inode> --size <size in bytes>)
|
||||||
|
```
|
||||||
|
|
||||||
|
Restart a dead NBD netlink-mapped device without removing it. Supports the same options as `netlink-map`.
|
||||||
|
|
|
@ -14,16 +14,25 @@ NBD на данный момент необходимо, чтобы монтир
|
||||||
NBD немного снижает производительность из-за дополнительных копирований памяти,
|
NBD немного снижает производительность из-за дополнительных копирований памяти,
|
||||||
но она всё равно остаётся на неплохом уровне (см. для примера [тест](../performance/comparison1.ru.md#vitastor-0-4-0-nbd)).
|
но она всё равно остаётся на неплохом уровне (см. для примера [тест](../performance/comparison1.ru.md#vitastor-0-4-0-nbd)).
|
||||||
|
|
||||||
CSI-драйвер Kubernetes Vitastor основан на NBD.
|
Смотрите также [VDUSE](qemu.ru.md#vduse), как лучшую альтернативу NBD.
|
||||||
|
|
||||||
Смотрите также [VDUSE](qemu.ru.md#vduse).
|
CSI-драйвер Kubernetes Vitastor использует NBD, когда VDUSE недоступен.
|
||||||
|
|
||||||
## Подключить устройство
|
Поддерживаются следующие команды:
|
||||||
|
|
||||||
|
- [map](#map)
|
||||||
|
- [unmap](#unmap)
|
||||||
|
- [ls](#ls)
|
||||||
|
- [netlink-map](#netlink-map)
|
||||||
|
- [netlink-unmap](#netlink-unmap)
|
||||||
|
- [netlink-revive](#netlink-revive)
|
||||||
|
|
||||||
|
## map
|
||||||
|
|
||||||
Чтобы создать локальное блочное устройство для образа, выполните команду:
|
Чтобы создать локальное блочное устройство для образа, выполните команду:
|
||||||
|
|
||||||
```
|
```
|
||||||
vitastor-nbd map --etcd_address 10.115.0.10:2379/v3 --image testimg
|
vitastor-nbd map [/dev/nbdN] --image testimg
|
||||||
```
|
```
|
||||||
|
|
||||||
Команда напечатает название блочного устройства вида /dev/nbd0, которое потом можно
|
Команда напечатает название блочного устройства вида /dev/nbd0, которое потом можно
|
||||||
|
@ -32,18 +41,16 @@ vitastor-nbd map --etcd_address 10.115.0.10:2379/v3 --image testimg
|
||||||
Для обращения по номеру инода, аналогично другим командам, можно использовать опции
|
Для обращения по номеру инода, аналогично другим командам, можно использовать опции
|
||||||
`--pool <POOL> --inode <INODE> --size <SIZE>` вместо `--image testimg`.
|
`--pool <POOL> --inode <INODE> --size <SIZE>` вместо `--image testimg`.
|
||||||
|
|
||||||
Дополнительные опции для команды подключения NBD-устройства:
|
vitastor-nbd поддерживает все обычные опции Vitastor, например, `--config_file <path_to_config>`,
|
||||||
|
плюс специфичные для NBD:
|
||||||
|
|
||||||
* `--nbd_timeout 30` \
|
* `--nbd_timeout 0` \
|
||||||
Максимальное время выполнения любой операции чтения/записи в секундах, при
|
Максимальное время выполнения любой операции чтения/записи в секундах, при
|
||||||
превышении которого ядро остановит NBD-устройство. Вы можете установить опцию
|
превышении которого ядро остановит NBD-устройство. На ядрах Linux старее 5.19,
|
||||||
в 0, чтобы отключить ограничение времени, но имейте в виду, что в этом случае
|
если таймаут установлен в 0, NBD-устройство вообще невозможно отключить из системы
|
||||||
вы вообще не сможете отключить NBD-устройство при нештатном завершении процесса
|
при нештатном завершении процесса.
|
||||||
vitastor-nbd.
|
|
||||||
* `--nbd_max_devices 64 --nbd_max_part 3` \
|
* `--nbd_max_devices 64 --nbd_max_part 3` \
|
||||||
Опции, передаваемые модулю ядра nbd, если его загружает vitastor-nbd
|
Опции, передаваемые модулю ядра nbd, если его загружает vitastor-nbd (`nbds_max` и `max_part`).
|
||||||
(`nbds_max` и `max_part`). Имейте в виду, что (nbds_max)*(1+max_part)
|
|
||||||
обычно не должно превышать 256.
|
|
||||||
* `--logfile /path/to/log/file.txt` \
|
* `--logfile /path/to/log/file.txt` \
|
||||||
Писать сообщения о процессе работы в заданный файл, вместо пропуска их
|
Писать сообщения о процессе работы в заданный файл, вместо пропуска их
|
||||||
при фоновом режиме запуска или печати на стандартный вывод при запуске
|
при фоновом режиме запуска или печати на стандартный вывод при запуске
|
||||||
|
@ -53,7 +60,11 @@ vitastor-nbd map --etcd_address 10.115.0.10:2379/v3 --image testimg
|
||||||
* `--foreground 1` \
|
* `--foreground 1` \
|
||||||
Не уводить процесс в фоновый режим.
|
Не уводить процесс в фоновый режим.
|
||||||
|
|
||||||
## Отключить устройство
|
Обратите внимание, что опции `nbd_timeout`, `nbd_max_devices` и `nbd_max_part` можно
|
||||||
|
также задавать в `/etc/vitastor/vitastor.conf` или в другом файле конфигурации,
|
||||||
|
заданном опцией `--config_file`.
|
||||||
|
|
||||||
|
## unmap
|
||||||
|
|
||||||
Для отключения устройства выполните:
|
Для отключения устройства выполните:
|
||||||
|
|
||||||
|
@ -61,12 +72,14 @@ vitastor-nbd map --etcd_address 10.115.0.10:2379/v3 --image testimg
|
||||||
vitastor-nbd unmap /dev/nbd0
|
vitastor-nbd unmap /dev/nbd0
|
||||||
```
|
```
|
||||||
|
|
||||||
## Вывести подключённые устройства
|
## ls
|
||||||
|
|
||||||
```
|
```
|
||||||
vitastor-nbd ls [--json]
|
vitastor-nbd ls [--json]
|
||||||
```
|
```
|
||||||
|
|
||||||
|
Вывести подключённые устройства.
|
||||||
|
|
||||||
Пример вывода в обычном формате:
|
Пример вывода в обычном формате:
|
||||||
|
|
||||||
```
|
```
|
||||||
|
@ -84,3 +97,46 @@ pid: 584546
|
||||||
```
|
```
|
||||||
{"/dev/nbd0": {"image": "bench", "pid": 584536}, "/dev/nbd1": {"image": "bench1", "pid": 584546}}
|
{"/dev/nbd0": {"image": "bench", "pid": 584536}, "/dev/nbd1": {"image": "bench1", "pid": 584546}}
|
||||||
```
|
```
|
||||||
|
|
||||||
|
## netlink-map
|
||||||
|
|
||||||
|
```
|
||||||
|
vitastor-nbd netlink-map [/dev/nbdN] (--image <image> | --pool <POOL> --inode <INODE> --size <SIZE>)
|
||||||
|
```
|
||||||
|
|
||||||
|
На свежих версиях ядра Linux также возможно подключать NBD-устройства через интерфейс netlink.
|
||||||
|
|
||||||
|
Это экспериментальная функция, так как она не решает всех проблем NBD. Отличия от обычного 'map':
|
||||||
|
|
||||||
|
1. Можно создавать новые `/dev/nbdN` устройства (отсутствующие в /dev/).
|
||||||
|
2. Отключать netlink-устройства можно только командой `netlink-unmap`.
|
||||||
|
3. netlink-устройства не видно в выводе `ls` (пока что).
|
||||||
|
4. Мёртвые netlink-устройства можно "оживить" командой `netlink-revive`. Правда, предыдущие
|
||||||
|
запросы ввода-вывода всё равно зависнут навсегда, если `nbd_timeout` не задан.
|
||||||
|
5. Поддерживаются дополнительные опции:
|
||||||
|
|
||||||
|
* `--nbd_conn_timeout 0` \
|
||||||
|
Отключать мёртвое устройство автоматически через данное число секунд.
|
||||||
|
* `--nbd_destroy_on_disconnect 1` \
|
||||||
|
Удалять NBD-устройство при отключении.
|
||||||
|
* `--nbd_disconnect_on_close 1` \
|
||||||
|
Отключать NBD-устройство автоматически, когда его все закроют.
|
||||||
|
* `--nbd_ro 1` \
|
||||||
|
Установить для NBD-устройства режим "только для чтения".
|
||||||
|
|
||||||
|
## netlink-unmap
|
||||||
|
|
||||||
|
```
|
||||||
|
vitastor-nbd netlink-unmap /dev/nbdN
|
||||||
|
```
|
||||||
|
|
||||||
|
Отключить устройство через интерфейс netlink. Работает и с обычными, и с netlink-устройствами.
|
||||||
|
|
||||||
|
## netlink-revive
|
||||||
|
|
||||||
|
```
|
||||||
|
vitastor-nbd netlink-revive /dev/nbdX (--image <image> | --pool <pool> --inode <inode> --size <size in bytes>)
|
||||||
|
```
|
||||||
|
|
||||||
|
Оживить мёртвое NBD-устройство, ранее подключённое через netlink, без удаления. Поддерживает
|
||||||
|
те же опции, что и `netlink-map`.
|
||||||
|
|
|
@ -1,45 +1,182 @@
|
||||||
[Documentation](../../README.md#documentation) → Usage → NFS
|
[Documentation](../../README.md#documentation) → Usage → VitastorFS and pseudo-FS
|
||||||
|
|
||||||
-----
|
-----
|
||||||
|
|
||||||
[Читать на русском](nfs.ru.md)
|
[Читать на русском](nfs.ru.md)
|
||||||
|
|
||||||
# NFS
|
# VitastorFS and pseudo-FS
|
||||||
|
|
||||||
Vitastor has a simplified NFS 3.0 proxy for file-based image access emulation. It's not
|
Vitastor has two file system implementations. Both can be used via `vitastor-nfs`.
|
||||||
suitable as a full-featured file system, at least because all file/image metadata is stored
|
|
||||||
in etcd and kept in memory all the time - thus you can't put a lot of files in it.
|
|
||||||
|
|
||||||
However, NFS proxy is totally fine as a method to provide VM image access and allows to
|
Commands:
|
||||||
plug Vitastor into, for example, VMWare. It's important to note that for VMWare it's a much
|
- [mount](#mount)
|
||||||
better access method than iSCSI, because with iSCSI we'd have to put all VM images into one
|
- [start](#start)
|
||||||
Vitastor image exported as a LUN to VMWare and formatted with VMFS. VMWare doesn't use VMFS
|
- [upgrade](#upgrade)
|
||||||
over NFS.
|
- [defrag](#defrag)
|
||||||
|
|
||||||
NFS proxy is stateless if you use immediate_commit=all mode (for SSD with capacitors or
|
## Pseudo-FS
|
||||||
HDDs with disabled cache), so you can run multiple NFS proxies and use a network load
|
|
||||||
balancer or any failover method you want to in that case.
|
|
||||||
|
|
||||||
vitastor-nfs usage:
|
Simplified pseudo-FS proxy is used for file-based image access emulation. It's not
|
||||||
|
suitable as a full-featured file system: it lacks a lot of FS features, it stores
|
||||||
|
all file/image metadata in memory and in etcd. So it's fine for hundreds or thousands
|
||||||
|
of large files/images, but not for millions.
|
||||||
|
|
||||||
|
Pseudo-FS proxy is intended for environments where other block volume access methods
|
||||||
|
can't be used or impose additional restrictions - for example, VMWare. NFS is better
|
||||||
|
for VMWare than, for example, iSCSI, because with iSCSI, VMWare puts all VM images
|
||||||
|
into one large shared block image in its own VMFS file system, and with NFS, VMWare
|
||||||
|
doesn't use VMFS and puts each VM disk in a regular file which is equal to one
|
||||||
|
Vitastor block image, just as originally intended.
|
||||||
|
|
||||||
|
To use Vitastor pseudo-FS locally, run `vitastor-nfs mount --block /mnt/vita`.
|
||||||
|
|
||||||
|
Also you can start the network server:
|
||||||
|
|
||||||
```
|
```
|
||||||
vitastor-nfs [--etcd_address ADDR] [OTHER OPTIONS]
|
vitastor-nfs start --block --etcd_address 192.168.5.10:2379 --portmap 0 --port 2050 --pool testpool
|
||||||
|
|
||||||
--subdir <DIR> export images prefixed <DIR>/ (default empty - export all images)
|
|
||||||
--portmap 0 do not listen on port 111 (portmap/rpcbind, requires root)
|
|
||||||
--bind <IP> bind service to <IP> address (default 0.0.0.0)
|
|
||||||
--nfspath <PATH> set NFS export path to <PATH> (default is /)
|
|
||||||
--port <PORT> use port <PORT> for NFS services (default is 2049)
|
|
||||||
--pool <POOL> use <POOL> as default pool for new files (images)
|
|
||||||
--foreground 1 stay in foreground, do not daemonize
|
|
||||||
```
|
```
|
||||||
|
|
||||||
Example start and mount commands:
|
To mount the FS exported by this server, run:
|
||||||
|
|
||||||
```
|
```
|
||||||
vitastor-nfs --etcd_address 192.168.5.10:2379 --portmap 0 --port 2050 --pool testpool
|
mount server:/ /mnt/ -o port=2050,mountport=2050,nfsvers=3,soft,nolock,tcp
|
||||||
```
|
```
|
||||||
|
|
||||||
```
|
## VitastorFS
|
||||||
mount localhost:/ /mnt/ -o port=2050,mountport=2050,nfsvers=3,soft,nolock,tcp
|
|
||||||
```
|
VitastorFS is a full-featured clustered (Read-Write-Many) file system. It supports most POSIX
|
||||||
|
features like hierarchical organization, symbolic links, hard links, quick renames and so on.
|
||||||
|
|
||||||
|
VitastorFS metadata is stored in a Parallel Optimistic B-Tree key-value database,
|
||||||
|
implemented over a regular Vitastor block volume. Directory entries and inodes
|
||||||
|
are stored in a simple human-readable JSON format in the B-Tree. `vitastor-kv` tool
|
||||||
|
can be used to inspect the database.
|
||||||
|
|
||||||
|
To use VitastorFS:
|
||||||
|
|
||||||
|
1. Create a pool or choose an existing empty pool for FS data
|
||||||
|
2. Create an image for FS metadata, preferably in a faster (SSD or replica-HDD) pool,
|
||||||
|
but you can create it in the data pool too if you want (image size doesn't matter):
|
||||||
|
`vitastor-cli create -s 10G -p fastpool testfs`
|
||||||
|
3. Mark data pool as an FS pool: `vitastor-cli modify-pool --used-for-fs testfs data-pool`
|
||||||
|
4. Either mount the FS: `vitastor-nfs mount --fs testfs --pool data-pool /mnt/vita`
|
||||||
|
5. Or start the NFS server: `vitastor-nfs start --fs testfs --pool data-pool`
|
||||||
|
|
||||||
|
### Supported POSIX features
|
||||||
|
|
||||||
|
- Read-after-write semantics (read returns new data immediately after write)
|
||||||
|
- Linear and random read and write
|
||||||
|
- Writing outside current file size
|
||||||
|
- Hierarchical structure, immediate rename of files and directories
|
||||||
|
- File size change support (truncate)
|
||||||
|
- Permissions (chmod/chown)
|
||||||
|
- Flushing data to stable storage (if required) (fsync)
|
||||||
|
- Symbolic links
|
||||||
|
- Hard links
|
||||||
|
- Special files (devices, sockets, named pipes)
|
||||||
|
- File modification and attribute change time tracking (mtime and ctime)
|
||||||
|
- Modification time (mtime) and last access time (atime) change support (utimes)
|
||||||
|
- Correct handling of directory listing during file creation/deletion
|
||||||
|
|
||||||
|
### Limitations
|
||||||
|
|
||||||
|
POSIX features currently not implemented in VitastorFS:
|
||||||
|
- File locking is not supported
|
||||||
|
- Actually used space is not counted, so `du` always reports apparent file sizes
|
||||||
|
instead of actually allocated space
|
||||||
|
- Access times (`atime`) are not tracked (like `-o noatime`)
|
||||||
|
- Modification time (`mtime`) is updated lazily every second (like `-o lazytime`)
|
||||||
|
|
||||||
|
Other notable missing features which should be addressed in the future:
|
||||||
|
- Inode ID reuse. Currently inode IDs always grow, the limit is 2^48 inodes, so
|
||||||
|
in theory you may hit it if you create and delete a very large number of files
|
||||||
|
- Compaction of the key-value B-Tree. Current implementation never merges or deletes
|
||||||
|
B-Tree blocks, so B-Tree may become bloated over time. Currently you can
|
||||||
|
use `vitastor-kv dumpjson` & `loadjson` commands to recreate the index in such
|
||||||
|
situations.
|
||||||
|
- Filesystem check tool. VitastorFS doesn't have journal because it would impose a
|
||||||
|
severe performance hit, optimistic CAS-based transactions are used instead of it.
|
||||||
|
So, again, in theory an abnormal shutdown of the FS server may leave some garbage
|
||||||
|
in the DB. The FS is implemented is such way that this garbage doesn't affect its
|
||||||
|
function, but having a tool to clean it up still seems a right thing to do.
|
||||||
|
|
||||||
|
## Horizontal scaling
|
||||||
|
|
||||||
|
Linux NFS 3.0 client doesn't support built-in scaling or failover, i.e. you can't
|
||||||
|
specify multiple server addresses when mounting the FS.
|
||||||
|
|
||||||
|
However, you can use any regular TCP load balancing over multiple NFS servers.
|
||||||
|
It's absolutely safe with `immediate_commit=all` and `client_enable_writeback=false`
|
||||||
|
settings, because Vitastor NFS proxy doesn't keep uncommitted data in memory
|
||||||
|
with these settings. But it may even work without `immediate_commit=all` because
|
||||||
|
the Linux NFS client repeats all uncommitted writes if it loses the connection.
|
||||||
|
|
||||||
|
## Commands
|
||||||
|
|
||||||
|
### mount
|
||||||
|
|
||||||
|
`vitastor-nfs (--fs <NAME> | --block) [-o <OPT>] mount <MOUNTPOINT>`
|
||||||
|
|
||||||
|
Start local filesystem server and mount file system to <MOUNTPOINT>.
|
||||||
|
|
||||||
|
Use regular `umount <MOUNTPOINT>` to unmount the FS.
|
||||||
|
|
||||||
|
The server will be automatically stopped when the FS is unmounted.
|
||||||
|
|
||||||
|
- `-o|--options <OPT>` - Pass additional NFS mount options (ex.: -o async).
|
||||||
|
|
||||||
|
### start
|
||||||
|
|
||||||
|
`vitastor-nfs (--fs <NAME> | --block) start`
|
||||||
|
|
||||||
|
Start network NFS server. Options:
|
||||||
|
|
||||||
|
| <!-- --> | <!-- --> |
|
||||||
|
|-----------------|------------------------------------------------------------|
|
||||||
|
| `--bind <IP>` | bind service to \<IP> address (default 0.0.0.0) |
|
||||||
|
| `--port <PORT>` | use port \<PORT> for NFS services (default is 2049) |
|
||||||
|
| `--portmap 0` | do not listen on port 111 (portmap/rpcbind, requires root) |
|
||||||
|
|
||||||
|
### upgrade
|
||||||
|
|
||||||
|
`vitastor-nfs --fs <NAME> upgrade`
|
||||||
|
|
||||||
|
Upgrade FS metadata. Can be run online, but server(s) should be restarted after upgrade.
|
||||||
|
|
||||||
|
### defrag
|
||||||
|
|
||||||
|
`vitastor-nfs --fs <NAME> defrag [OPTIONS] [--dry-run]`
|
||||||
|
|
||||||
|
Defragment volumes used for small file storage having more than \<defrag_percent> %
|
||||||
|
of data removed. Can be run online.
|
||||||
|
|
||||||
|
In VitastorFS, small files are stored in large "volumes" / "shared inodes" one
|
||||||
|
after another. When you delete or extend such files, they are moved and garbage is left
|
||||||
|
behind. Defragmentation removes garbage and moves data still in use to new volumes.
|
||||||
|
|
||||||
|
Options:
|
||||||
|
|
||||||
|
| <!-- --> | <!-- --> |
|
||||||
|
|--------------------------|------------------------------------------------------------------------ |
|
||||||
|
| --volume_untouched 86400 | Defragment volumes last appended to at least this number of seconds ago |
|
||||||
|
| --defrag_percent 50 | Defragment volumes with at least this % of removed data |
|
||||||
|
| --defrag_block_count 16 | Read this number of pool blocks at once during defrag |
|
||||||
|
| --defrag_iodepth 16 | Move up to this number of files in parallel during defrag |
|
||||||
|
| --trace | Print verbose defragmentation status |
|
||||||
|
| --dry-run | Skip modifications, only print status |
|
||||||
|
| --recalc-stats | Recalculate all volume statistics |
|
||||||
|
| --include-empty | Include old and empty volumes; make sure to restart NFS servers before using it |
|
||||||
|
| --no-rm | Move, but do not delete data |
|
||||||
|
|
||||||
|
## Common options
|
||||||
|
|
||||||
|
| <!-- --> | <!-- --> |
|
||||||
|
|--------------------|----------------------------------------------------------|
|
||||||
|
| `--fs <NAME>` | use VitastorFS with metadata in image \<NAME> |
|
||||||
|
| `--block` | use pseudo-FS presenting images as files |
|
||||||
|
| `--pool <POOL>` | use \<POOL> as default pool for new files |
|
||||||
|
| `--subdir <DIR>` | export \<DIR> instead of root directory (pseudo-FS only) |
|
||||||
|
| `--nfspath <PATH>` | set NFS export path to \<PATH> (default is /) |
|
||||||
|
| `--pidfile <FILE>` | write process ID to the specified file |
|
||||||
|
| `--logfile <FILE>` | log to the specified file |
|
||||||
|
| `--foreground 1` | stay in foreground, do not daemonize |
|
||||||
|
|
|
@ -1,44 +1,190 @@
|
||||||
[Документация](../../README-ru.md#документация) → Использование → NFS
|
[Документация](../../README-ru.md#документация) → Использование → VitastorFS и псевдо-ФС
|
||||||
|
|
||||||
-----
|
-----
|
||||||
|
|
||||||
[Read in English](nfs.en.md)
|
[Read in English](nfs.en.md)
|
||||||
|
|
||||||
# NFS
|
# VitastorFS и псевдо-ФС
|
||||||
|
|
||||||
В Vitastor реализована упрощённая NFS 3.0 прокси для эмуляции файлового доступа к образам.
|
В Vitastor есть две реализации файловой системы. Обе используются через `vitastor-nfs`.
|
||||||
Это не полноценная файловая система, т.к. метаданные всех файлов (образов) сохраняются
|
|
||||||
в etcd и всё время хранятся в оперативной памяти - то есть, положить туда много файлов
|
|
||||||
не получится.
|
|
||||||
|
|
||||||
Однако в качестве способа доступа к образам виртуальных машин NFS прокси прекрасно подходит
|
Команды:
|
||||||
и позволяет подключить Vitastor, например, к VMWare.
|
- [mount](#mount)
|
||||||
|
- [start](#start)
|
||||||
|
- [upgrade](#upgrade)
|
||||||
|
- [defrag](#defrag)
|
||||||
|
|
||||||
При этом, если вы используете режим immediate_commit=all (для SSD с конденсаторами или HDD
|
## Псевдо-ФС
|
||||||
с отключённым кэшем), то NFS-сервер не имеет состояния и вы можете свободно поднять
|
|
||||||
его в нескольких экземплярах и использовать поверх них сетевой балансировщик нагрузки или
|
|
||||||
схему с отказоустойчивостью.
|
|
||||||
|
|
||||||
Использование vitastor-nfs:
|
Упрощённая реализация псевдо-ФС используется для эмуляции файлового доступа к блочным
|
||||||
|
образам Vitastor. Это не полноценная файловая система - в ней отсутствуют многие функции
|
||||||
|
POSIX ФС, а метаданные всех файлов (образов) сохраняются в etcd и всё время хранятся в
|
||||||
|
оперативной памяти - то есть, псевдо-ФС подходит для сотен или тысяч файлов, но не миллионов.
|
||||||
|
|
||||||
|
Псевдо-ФС предназначена для доступа к образам виртуальных машин в средах, где другие
|
||||||
|
способы невозможны или неудобны - например, в VMWare. Для VMWare это лучшая опция, чем
|
||||||
|
iSCSI, так как при использовании iSCSI VMWare размещает все виртуальные машины в одном
|
||||||
|
большом блочном образе внутри собственной ФС VMFS, а с NFS VMFS не используется и каждый
|
||||||
|
диск ВМ представляется в виде одного файла, то есть, соответствует одному блочному образу
|
||||||
|
Vitastor, как это и задумано изначально.
|
||||||
|
|
||||||
|
Чтобы подключить псевдо-ФС Vitastor, выполните команду `vitastor-nfs mount --block /mnt/vita`.
|
||||||
|
|
||||||
|
Либо же запустите сетевой вариант сервера:
|
||||||
|
|
||||||
```
|
```
|
||||||
vitastor-nfs [--etcd_address ADDR] [ДРУГИЕ ОПЦИИ]
|
vitastor-nfs start --block --etcd_address 192.168.5.10:2379 --portmap 0 --port 2050 --pool testpool
|
||||||
|
|
||||||
--subdir <DIR> экспортировать "поддиректорию" - образы с префиксом имени <DIR>/ (по умолчанию пусто - экспортировать все образы)
|
|
||||||
--portmap 0 отключить сервис portmap/rpcbind на порту 111 (по умолчанию включён и требует root привилегий)
|
|
||||||
--bind <IP> принимать соединения по адресу <IP> (по умолчанию 0.0.0.0 - на всех)
|
|
||||||
--nfspath <PATH> установить путь NFS-экспорта в <PATH> (по умолчанию /)
|
|
||||||
--port <PORT> использовать порт <PORT> для NFS-сервисов (по умолчанию 2049)
|
|
||||||
--pool <POOL> использовать пул <POOL> для новых образов (обязательно, если пул в кластере не один)
|
|
||||||
--foreground 1 не уходить в фон после запуска
|
|
||||||
```
|
```
|
||||||
|
|
||||||
Пример монтирования Vitastor через NFS:
|
Примонтировать ФС, запущенную с такими опциями, можно следующей командой:
|
||||||
|
|
||||||
```
|
```
|
||||||
vitastor-nfs --etcd_address 192.168.5.10:2379 --portmap 0 --port 2050 --pool testpool
|
mount server:/ /mnt/ -o port=2050,mountport=2050,nfsvers=3,soft,nolock,tcp
|
||||||
```
|
```
|
||||||
|
|
||||||
```
|
## VitastorFS
|
||||||
mount localhost:/ /mnt/ -o port=2050,mountport=2050,nfsvers=3,soft,nolock,tcp
|
|
||||||
```
|
VitastorFS - полноценная кластерная (Read-Write-Many) файловая система. Она поддерживает
|
||||||
|
большую часть функций POSIX - иерархическую организацию, символические ссылки, жёсткие
|
||||||
|
ссылки, быстрые переименования и так далее.
|
||||||
|
|
||||||
|
Метаданные VitastorFS хранятся в собственной реализации БД формата ключ-значения,
|
||||||
|
основанной на Параллельном Оптимистичном Б-дереве поверх обычного блочного образа Vitastor.
|
||||||
|
И записи каталогов, и иноды, как обычно в Vitastor, хранятся в простом человекочитаемом
|
||||||
|
JSON-формате :-). Для инспекции содержимого БД можно использовать инструмент `vitastor-kv`.
|
||||||
|
|
||||||
|
Чтобы использовать VitastorFS:
|
||||||
|
|
||||||
|
1. Создайте пул для данных ФС или выберите существующий пустой пул
|
||||||
|
2. Создайте блочный образ для метаданных ФС, желательно, в более быстром пуле (на SSD
|
||||||
|
или по крайней мере на HDD, но без EC), но можно и в том же пуле, что данные
|
||||||
|
(размер образа значения не имеет):
|
||||||
|
`vitastor-cli create -s 10G -p fastpool testfs`
|
||||||
|
3. Пометьте пул данных как ФС-пул: `vitastor-cli modify-pool --used-for-fs testfs data-pool`
|
||||||
|
4. Либо примонтируйте ФС: `vitastor-nfs mount --fs testfs --pool data-pool /mnt/vita`
|
||||||
|
5. Либо запустите сетевой NFS-сервер: `vitastor-nfs start --fs testfs --pool data-pool`
|
||||||
|
|
||||||
|
### Поддерживаемые функции POSIX
|
||||||
|
|
||||||
|
- Чтение актуальной версии данных сразу после записи
|
||||||
|
- Последовательное и произвольное чтение и запись
|
||||||
|
- Запись за пределами текущего размера файла
|
||||||
|
- Иерархическая организация, мгновенное переименование файлов и каталогов
|
||||||
|
- Изменение размера файла (truncate)
|
||||||
|
- Права на файлы (chmod/chown)
|
||||||
|
- Фиксация данных на диски (когда необходимо) (fsync)
|
||||||
|
- Символические ссылки
|
||||||
|
- Жёсткие ссылки
|
||||||
|
- Специальные файлы (устройства, сокеты, каналы)
|
||||||
|
- Отслеживание времён модификации (mtime), изменения атрибутов (ctime)
|
||||||
|
- Ручное изменение времён модификации (mtime), последнего доступа (atime)
|
||||||
|
- Корректная обработка изменений списка файлов во время листинга
|
||||||
|
|
||||||
|
### Ограничения
|
||||||
|
|
||||||
|
Отсутствующие на данный момент в VitastorFS функции POSIX:
|
||||||
|
- Блокировки файлов не поддерживаются
|
||||||
|
- Фактически занятое файлами место не подсчитывается и не возвращается вызовами
|
||||||
|
stat(2), так что `du` всегда показывает сумму размеров файлов, а не фактически занятое место
|
||||||
|
- Времена доступа (`atime`) не отслеживаются (как будто ФС смонтирована с `-o noatime`)
|
||||||
|
- Времена модификации (`mtime`) отслеживаются асинхронно (как будто ФС смонтирована с `-o lazytime`)
|
||||||
|
|
||||||
|
Другие недостающие функции, которые нужно добавить в будущем:
|
||||||
|
- Переиспользование номеров инодов. В текущей реализации номера инодов всё время
|
||||||
|
увеличиваются, так что в теории вы можете упереться в лимит, если насоздаёте
|
||||||
|
и наудаляете больше, чем 2^48 файлов.
|
||||||
|
- Очистка места в Б-дереве метаданных. Текущая реализация никогда не сливает и не
|
||||||
|
удаляет блоки Б-дерева, так что в теории дерево может разростись и стать неоптимальным.
|
||||||
|
Если вы столкнётесь с такой ситуацией сейчас, вы можете решить её с помощью
|
||||||
|
команд `vitastor-kv dumpjson` и `loadjson` (т.е. пересоздав и загрузив обратно все метаданные ФС).
|
||||||
|
- Инструмент проверки метаданных файловой системы. У VitastorFS нет журнала, так как
|
||||||
|
журнал бы сильно замедлил реализацию, вместо него используются оптимистичные
|
||||||
|
транзакции на основе CAS (сравнить-и-записать), и теоретически при нештатном
|
||||||
|
завершении сервера ФС в БД также могут оставаться неконсистентные "мусорные"
|
||||||
|
записи. ФС устроена так, что на работу они не влияют, но для порядка и их стоит
|
||||||
|
уметь подчищать.
|
||||||
|
|
||||||
|
## Горизонтальное масштабирование
|
||||||
|
|
||||||
|
Клиент Linux NFS 3.0 не поддерживает встроенное масштабирование или отказоустойчивость.
|
||||||
|
То есть, вы не можете задать несколько адресов серверов при монтировании ФС.
|
||||||
|
|
||||||
|
Однако вы можете использовать любые стандартные сетевые балансировщики нагрузки
|
||||||
|
или схемы с отказоустойчивостью. Это точно безопасно при настройках `immediate_commit=all` и
|
||||||
|
`client_enable_writeback=false`, так как с ними NFS-сервер Vitastor вообще не хранит
|
||||||
|
в памяти ещё не зафиксированные на дисках данные; и вполне вероятно безопасно
|
||||||
|
даже без `immediate_commit=all`, потому что NFS-клиент ядра Linux повторяет все
|
||||||
|
незафиксированные запросы при потере соединения.
|
||||||
|
|
||||||
|
## Команды
|
||||||
|
|
||||||
|
### mount
|
||||||
|
|
||||||
|
`vitastor-nfs (--fs <NAME> | --block) mount [-o <OPT>] <MOUNTPOINT>`
|
||||||
|
|
||||||
|
Запустить локальный сервер и примонтировать ФС в директорию <MOUNTPOINT>.
|
||||||
|
|
||||||
|
Чтобы отмонтировать ФС, используйте обычную команду `umount <MOUNTPOINT>`.
|
||||||
|
|
||||||
|
Сервер автоматически останавливается при отмонтировании ФС.
|
||||||
|
|
||||||
|
- `-o|--options <OPT>` - Передать дополнительные опции монтирования NFS (пример: -o async).
|
||||||
|
|
||||||
|
### start
|
||||||
|
|
||||||
|
`vitastor-nfs (--fs <NAME> | --block) start`
|
||||||
|
|
||||||
|
Запустить сетевой NFS-сервер. Опции:
|
||||||
|
|
||||||
|
| <!-- --> | <!-- --> |
|
||||||
|
|-----------------|-----------------------------------------------------------------------|
|
||||||
|
| `--bind <IP>` | принимать соединения по адресу \<IP> (по умолчанию 0.0.0.0 - на всех) |
|
||||||
|
| `--port <PORT>` | использовать порт \<PORT> для NFS-сервисов (по умолчанию 2049) |
|
||||||
|
| `--portmap 0` | отключить сервис portmap/rpcbind на порту 111 (по умолчанию включён и требует root привилегий) |
|
||||||
|
|
||||||
|
### upgrade
|
||||||
|
|
||||||
|
`vitastor-nfs --fs <NAME> upgrade`
|
||||||
|
|
||||||
|
Обновить метаданные ФС. Можно запускать онлайн (при запущенных серверах NFS), но после выполнения их всё
|
||||||
|
же желательно перезапустить.
|
||||||
|
|
||||||
|
### defrag
|
||||||
|
|
||||||
|
`vitastor-nfs --fs <NAME> defrag [OPTIONS] [--dry-run]`
|
||||||
|
|
||||||
|
Дефрагментировать тома, используемые для хранения мелких файлов, в которых более, чем
|
||||||
|
<defrag_percent> процентов данных удалено. Можно запускать онлайн.
|
||||||
|
|
||||||
|
На уровне реализации ФС файлы, меньшие, чем размер объекта пула (block_size умножить на число
|
||||||
|
частей данных, если пул EC), упаковываются друг за другом в большие "тома" / "общие иноды".
|
||||||
|
Когда такие файлы удаляются или увеличиваются, они перемещаются и оставляют за собой "мусор".
|
||||||
|
|
||||||
|
При дефрагментации мусор удаляется, а всё ещё используемые данные перемещаются в новые тома.
|
||||||
|
|
||||||
|
Опции:
|
||||||
|
|
||||||
|
| <!-- --> | <!-- --> |
|
||||||
|
|--------------------------|------------------------------------------------------------------------ |
|
||||||
|
| --volume_untouched 86400 | Дефрагментировать только тома, в которые уже не писали это число секунд |
|
||||||
|
| --defrag_percent 50 | Дефрагментировать только тома, в которых этот % данных удалён |
|
||||||
|
| --defrag_block_count 16 | Читать это количество блоков пула за один раз |
|
||||||
|
| --defrag_iodepth 16 | Перемещать одновременно до этого числа файлов |
|
||||||
|
| --trace | Печатать детальную статистику дефрагментации |
|
||||||
|
| --dry-run | Не производить никаких изменений, только описать выполняемые действия |
|
||||||
|
| --recalc-stats | Пересчитать и сохранить статистику всех томов |
|
||||||
|
| --include-empty | Дефрагментировать старые и пустые тома; обязательно перезапустите NFS-сервера после использования этой опции |
|
||||||
|
| --no-rm | Перемещать, но не удалять данные |
|
||||||
|
|
||||||
|
## Общие опции
|
||||||
|
|
||||||
|
| <!-- --> | <!-- --> |
|
||||||
|
|--------------------|---------------------------------------------------------|
|
||||||
|
| `--fs <NAME>` | использовать VitastorFS с метаданными в образе \<NAME> |
|
||||||
|
| `--block` | использовать псевдо-ФС для доступа к блочным образам |
|
||||||
|
| `--pool <POOL>` | использовать пул \<POOL> для новых файлов (обязательно, если пул в кластере не один) |
|
||||||
|
| `--subdir <DIR>` | экспортировать подкаталог \<DIR>, а не корень (только для псевдо-ФС) |
|
||||||
|
| `--nfspath <PATH>` | установить путь NFS-экспорта в \<PATH> (по умолчанию /) |
|
||||||
|
| `--pidfile <FILE>` | записать ID процесса в заданный файл |
|
||||||
|
| `--logfile <FILE>` | записывать логи в заданный файл |
|
||||||
|
| `--foreground 1` | не уходить в фон после запуска |
|
||||||
|
|
|
@ -0,0 +1,13 @@
|
||||||
|
digraph G {
|
||||||
|
rankdir=LR;
|
||||||
|
bgcolor=transparent;
|
||||||
|
edge [color="#00A000"];
|
||||||
|
node [shape=hexagon, fillcolor="#A0A000", fontcolor=white, fontname="sans-serif", fontsize=12, style=filled, penwidth=0];
|
||||||
|
offline -> starting -> peering -> offline;
|
||||||
|
stopping -> offline;
|
||||||
|
starting -> incomplete -> offline;
|
||||||
|
active -> repeering -> peering -> active -> stopping;
|
||||||
|
offline [fillcolor="#A00000"];
|
||||||
|
incomplete [fillcolor="#A00000"];
|
||||||
|
active [fillcolor="#00A000"];
|
||||||
|
}
|
|
@ -0,0 +1,114 @@
|
||||||
|
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
|
||||||
|
<!DOCTYPE svg PUBLIC "-//W3C//DTD SVG 1.1//EN"
|
||||||
|
"http://www.w3.org/Graphics/SVG/1.1/DTD/svg11.dtd">
|
||||||
|
<!-- Generated by graphviz version 2.43.0 (0)
|
||||||
|
-->
|
||||||
|
<!-- Title: G Pages: 1 -->
|
||||||
|
<svg width="603pt" height="123pt"
|
||||||
|
viewBox="0.00 0.00 602.66 122.55" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink">
|
||||||
|
<g id="graph0" class="graph" transform="scale(1 1) rotate(0) translate(4 118.55)">
|
||||||
|
<title>G</title>
|
||||||
|
<!-- offline -->
|
||||||
|
<g id="node1" class="node">
|
||||||
|
<title>offline</title>
|
||||||
|
<polygon fill="#a00000" stroke="black" stroke-width="0" points="75.52,-56 56.6,-74 18.75,-74 -0.17,-56 18.75,-38 56.6,-38 75.52,-56"/>
|
||||||
|
<text text-anchor="middle" x="37.67" y="-52.9" font-family="sans-serif" font-size="12.00" fill="white">offline</text>
|
||||||
|
</g>
|
||||||
|
<!-- starting -->
|
||||||
|
<g id="node2" class="node">
|
||||||
|
<title>starting</title>
|
||||||
|
<polygon fill="#a0a000" stroke="black" stroke-width="0" points="199.56,-79 177.49,-97 133.35,-97 111.28,-79 133.35,-61 177.49,-61 199.56,-79"/>
|
||||||
|
<text text-anchor="middle" x="155.42" y="-75.9" font-family="sans-serif" font-size="12.00" fill="white">starting</text>
|
||||||
|
</g>
|
||||||
|
<!-- offline->starting -->
|
||||||
|
<g id="edge1" class="edge">
|
||||||
|
<title>offline->starting</title>
|
||||||
|
<path fill="none" stroke="#00a000" d="M69.39,-62.1C81.66,-64.54 96.04,-67.4 109.45,-70.06"/>
|
||||||
|
<polygon fill="#00a000" stroke="#00a000" points="108.98,-73.54 119.47,-72.05 110.34,-66.67 108.98,-73.54"/>
|
||||||
|
</g>
|
||||||
|
<!-- peering -->
|
||||||
|
<g id="node3" class="node">
|
||||||
|
<title>peering</title>
|
||||||
|
<polygon fill="#a0a000" stroke="black" stroke-width="0" points="335.57,-95 313.96,-113 270.74,-113 249.13,-95 270.74,-77 313.96,-77 335.57,-95"/>
|
||||||
|
<text text-anchor="middle" x="292.35" y="-91.9" font-family="sans-serif" font-size="12.00" fill="white">peering</text>
|
||||||
|
</g>
|
||||||
|
<!-- starting->peering -->
|
||||||
|
<g id="edge2" class="edge">
|
||||||
|
<title>starting->peering</title>
|
||||||
|
<path fill="none" stroke="#00a000" d="M194.36,-83.5C209.71,-85.32 227.6,-87.44 243.8,-89.36"/>
|
||||||
|
<polygon fill="#00a000" stroke="#00a000" points="243.82,-92.89 254.16,-90.59 244.64,-85.94 243.82,-92.89"/>
|
||||||
|
</g>
|
||||||
|
<!-- incomplete -->
|
||||||
|
<g id="node5" class="node">
|
||||||
|
<title>incomplete</title>
|
||||||
|
<polygon fill="#a00000" stroke="black" stroke-width="0" points="349.09,-41 320.72,-59 263.99,-59 235.62,-41 263.99,-23 320.72,-23 349.09,-41"/>
|
||||||
|
<text text-anchor="middle" x="292.35" y="-37.9" font-family="sans-serif" font-size="12.00" fill="white">incomplete</text>
|
||||||
|
</g>
|
||||||
|
<!-- starting->incomplete -->
|
||||||
|
<g id="edge5" class="edge">
|
||||||
|
<title>starting->incomplete</title>
|
||||||
|
<path fill="none" stroke="#00a000" d="M188.74,-69.9C204.92,-65.34 224.85,-59.73 242.82,-54.67"/>
|
||||||
|
<polygon fill="#00a000" stroke="#00a000" points="243.9,-58 252.57,-51.92 242,-51.26 243.9,-58"/>
|
||||||
|
</g>
|
||||||
|
<!-- peering->offline -->
|
||||||
|
<g id="edge3" class="edge">
|
||||||
|
<title>peering->offline</title>
|
||||||
|
<path fill="none" stroke="#00a000" d="M259.32,-103.69C222.67,-112.11 161.28,-121.52 111.35,-106 94.55,-100.78 78.2,-90.18 65.27,-80.08"/>
|
||||||
|
<polygon fill="#00a000" stroke="#00a000" points="67.26,-77.19 57.3,-73.58 62.84,-82.61 67.26,-77.19"/>
|
||||||
|
</g>
|
||||||
|
<!-- active -->
|
||||||
|
<g id="node6" class="node">
|
||||||
|
<title>active</title>
|
||||||
|
<polygon fill="#00a000" stroke="black" stroke-width="0" points="456.34,-49 438.55,-67 402.97,-67 385.18,-49 402.97,-31 438.55,-31 456.34,-49"/>
|
||||||
|
<text text-anchor="middle" x="420.76" y="-45.9" font-family="sans-serif" font-size="12.00" fill="white">active</text>
|
||||||
|
</g>
|
||||||
|
<!-- peering->active -->
|
||||||
|
<g id="edge9" class="edge">
|
||||||
|
<title>peering->active</title>
|
||||||
|
<path fill="none" stroke="#00a000" d="M322.99,-84.22C341.47,-77.49 365.34,-68.8 384.75,-61.74"/>
|
||||||
|
<polygon fill="#00a000" stroke="#00a000" points="385.96,-65.03 394.16,-58.32 383.56,-58.45 385.96,-65.03"/>
|
||||||
|
</g>
|
||||||
|
<!-- stopping -->
|
||||||
|
<g id="node4" class="node">
|
||||||
|
<title>stopping</title>
|
||||||
|
<polygon fill="#a0a000" stroke="black" stroke-width="0" points="591.65,-18 567.57,-36 519.39,-36 495.31,-18 519.39,0 567.57,0 591.65,-18"/>
|
||||||
|
<text text-anchor="middle" x="543.48" y="-14.9" font-family="sans-serif" font-size="12.00" fill="white">stopping</text>
|
||||||
|
</g>
|
||||||
|
<!-- stopping->offline -->
|
||||||
|
<g id="edge4" class="edge">
|
||||||
|
<title>stopping->offline</title>
|
||||||
|
<path fill="none" stroke="#00a000" d="M500.13,-14.3C440.78,-9.83 329.58,-4.07 235.49,-14 179.71,-19.89 116.5,-34.9 77.11,-45.29"/>
|
||||||
|
<polygon fill="#00a000" stroke="#00a000" points="76.14,-41.92 67.38,-47.89 77.94,-48.69 76.14,-41.92"/>
|
||||||
|
</g>
|
||||||
|
<!-- incomplete->offline -->
|
||||||
|
<g id="edge6" class="edge">
|
||||||
|
<title>incomplete->offline</title>
|
||||||
|
<path fill="none" stroke="#00a000" d="M240.25,-44.03C194.33,-46.76 127.57,-50.72 83.64,-53.33"/>
|
||||||
|
<polygon fill="#00a000" stroke="#00a000" points="83.32,-49.84 73.54,-53.93 83.73,-56.83 83.32,-49.84"/>
|
||||||
|
</g>
|
||||||
|
<!-- active->stopping -->
|
||||||
|
<g id="edge10" class="edge">
|
||||||
|
<title>active->stopping</title>
|
||||||
|
<path fill="none" stroke="#00a000" d="M449.46,-41.89C463.64,-38.25 481.26,-33.72 497.34,-29.59"/>
|
||||||
|
<polygon fill="#00a000" stroke="#00a000" points="498.29,-32.96 507.11,-27.08 496.55,-26.18 498.29,-32.96"/>
|
||||||
|
</g>
|
||||||
|
<!-- repeering -->
|
||||||
|
<g id="node7" class="node">
|
||||||
|
<title>repeering</title>
|
||||||
|
<polygon fill="#a0a000" stroke="black" stroke-width="0" points="594.84,-83 569.16,-101 517.8,-101 492.12,-83 517.8,-65 569.16,-65 594.84,-83"/>
|
||||||
|
<text text-anchor="middle" x="543.48" y="-79.9" font-family="sans-serif" font-size="12.00" fill="white">repeering</text>
|
||||||
|
</g>
|
||||||
|
<!-- active->repeering -->
|
||||||
|
<g id="edge7" class="edge">
|
||||||
|
<title>active->repeering</title>
|
||||||
|
<path fill="none" stroke="#00a000" d="M448.85,-56.63C462.9,-60.59 480.44,-65.53 496.53,-70.06"/>
|
||||||
|
<polygon fill="#00a000" stroke="#00a000" points="495.74,-73.47 506.32,-72.82 497.64,-66.74 495.74,-73.47"/>
|
||||||
|
</g>
|
||||||
|
<!-- repeering->peering -->
|
||||||
|
<g id="edge8" class="edge">
|
||||||
|
<title>repeering->peering</title>
|
||||||
|
<path fill="none" stroke="#00a000" d="M495.33,-85.27C451.99,-87.36 387.93,-90.44 343.63,-92.58"/>
|
||||||
|
<polygon fill="#00a000" stroke="#00a000" points="343.2,-89.09 333.38,-93.07 343.54,-96.09 343.2,-89.09"/>
|
||||||
|
</g>
|
||||||
|
</g>
|
||||||
|
</svg>
|
After Width: | Height: | Size: 5.9 KiB |
|
@ -16,13 +16,16 @@ Old syntax (-drive):
|
||||||
|
|
||||||
```
|
```
|
||||||
qemu-system-x86_64 -enable-kvm -m 1024 \
|
qemu-system-x86_64 -enable-kvm -m 1024 \
|
||||||
-drive 'file=vitastor:etcd_host=192.168.7.2\:2379/v3:image=debian9',
|
-drive 'file=vitastor:image=debian9',
|
||||||
format=raw,if=none,id=drive-virtio-disk0,cache=none \
|
format=raw,if=none,id=drive-virtio-disk0,cache=none \
|
||||||
-device 'virtio-blk-pci,scsi=off,bus=pci.0,addr=0x5,drive=drive-virtio-disk0,
|
-device 'virtio-blk-pci,scsi=off,bus=pci.0,addr=0x5,drive=drive-virtio-disk0,
|
||||||
id=virtio-disk0,bootindex=1,write-cache=off' \
|
id=virtio-disk0,bootindex=1,write-cache=off' \
|
||||||
-vnc 0.0.0.0:0
|
-vnc 0.0.0.0:0
|
||||||
```
|
```
|
||||||
|
|
||||||
|
Etcd address may be specified explicitly by adding `:etcd_host=192.168.7.2\:2379/v3` to `file=`.
|
||||||
|
Configuration file path may be overriden by adding `:config_path=/etc/vitastor/vitastor.conf`.
|
||||||
|
|
||||||
New syntax (-blockdev):
|
New syntax (-blockdev):
|
||||||
|
|
||||||
```
|
```
|
||||||
|
@ -50,12 +53,12 @@ You can also specify inode ID, pool and size manually instead of `:image=<IMAGE>
|
||||||
|
|
||||||
## qemu-img
|
## qemu-img
|
||||||
|
|
||||||
For qemu-img, you should use `vitastor:etcd_host=<HOST>:image=<IMAGE>` as filename.
|
For qemu-img, you should use `vitastor:image=<IMAGE>[:etcd_host=<HOST>]` as filename.
|
||||||
|
|
||||||
For example, to upload a VM image into Vitastor, run:
|
For example, to upload a VM image into Vitastor, run:
|
||||||
|
|
||||||
```
|
```
|
||||||
qemu-img convert -f qcow2 debian10.qcow2 -p -O raw 'vitastor:etcd_host=192.168.7.2\:2379/v3:image=debian10'
|
qemu-img convert -f qcow2 debian10.qcow2 -p -O raw 'vitastor:image=debian10'
|
||||||
```
|
```
|
||||||
|
|
||||||
You can also specify `:pool=<POOL>:inode=<INODE>:size=<SIZE>` instead of `:image=<IMAGE>`
|
You can also specify `:pool=<POOL>:inode=<INODE>:size=<SIZE>` instead of `:image=<IMAGE>`
|
||||||
|
@ -72,10 +75,10 @@ the snapshot separately using the following commands (key points are using `skip
|
||||||
`-B backing_file` option):
|
`-B backing_file` option):
|
||||||
|
|
||||||
```
|
```
|
||||||
qemu-img convert -f raw 'vitastor:etcd_host=192.168.7.2\:2379/v3:image=testimg@0' \
|
qemu-img convert -f raw 'vitastor:image=testimg@0' \
|
||||||
-O qcow2 testimg_0.qcow2
|
-O qcow2 testimg_0.qcow2
|
||||||
|
|
||||||
qemu-img convert -f raw 'vitastor:etcd_host=192.168.7.2\:2379/v3:image=testimg:skip-parents=1' \
|
qemu-img convert -f raw 'vitastor:image=testimg:skip-parents=1' \
|
||||||
-O qcow2 -o 'cluster_size=4k' -B testimg_0.qcow2 testimg.qcow2
|
-O qcow2 -o 'cluster_size=4k' -B testimg_0.qcow2 testimg.qcow2
|
||||||
```
|
```
|
||||||
|
|
||||||
|
@ -127,19 +130,46 @@ Linux kernel, starting with version 5.15, supports a new interface for attaching
|
||||||
to the host - VDUSE (vDPA Device in Userspace). QEMU, starting with 7.2, has support for
|
to the host - VDUSE (vDPA Device in Userspace). QEMU, starting with 7.2, has support for
|
||||||
exporting QEMU block devices over this protocol using qemu-storage-daemon.
|
exporting QEMU block devices over this protocol using qemu-storage-daemon.
|
||||||
|
|
||||||
VDUSE has the same problem as other FUSE-like interfaces in Linux: if a userspace process hangs,
|
VDUSE is currently the best interface to attach Vitastor disks as kernel devices because:
|
||||||
for example, if it loses connectivity with Vitastor cluster - active processes doing I/O may
|
- It avoids data copies and thus achieves much better performance than [NBD](nbd.en.md)
|
||||||
hang in the D state (uninterruptible sleep) and you won't be able to kill them even with kill -9.
|
- It doesn't have NBD timeout problem - the device doesn't die if an operation executes for too long
|
||||||
In this case reboot will be the only way to remove VDUSE devices from system.
|
- It doesn't have hung device problem - if the userspace process dies it can be restarted (!)
|
||||||
|
and block device will continue operation
|
||||||
|
- It doesn't seem to have the device number limit
|
||||||
|
|
||||||
On the other hand, VDUSE is faster than [NBD](nbd.en.md), so you may prefer to use it if
|
Example performance comparison:
|
||||||
performance is important for you. Approximate performance numbers:
|
|
||||||
direct fio benchmark - 115000 iops, NBD - 60000 iops, VDUSE - 90000 iops.
|
| | direct fio | NBD | VDUSE |
|
||||||
|
|----------------------|-------------|-------------|-------------|
|
||||||
|
| linear write | 3.85 GB/s | 1.12 GB/s | 3.85 GB/s |
|
||||||
|
| 4k random write Q128 | 240000 iops | 120000 iops | 178000 iops |
|
||||||
|
| 4k random write Q1 | 9500 iops | 7620 iops | 7640 iops |
|
||||||
|
| linear read | 4.3 GB/s | 1.8 GB/s | 2.85 GB/s |
|
||||||
|
| 4k random read Q128 | 287000 iops | 140000 iops | 189000 iops |
|
||||||
|
| 4k random read Q1 | 9600 iops | 7640 iops | 7780 iops |
|
||||||
|
|
||||||
To try VDUSE you need at least Linux 5.15, built with VDUSE support
|
To try VDUSE you need at least Linux 5.15, built with VDUSE support
|
||||||
(CONFIG_VIRTIO_VDPA=m and CONFIG_VDPA_USER=m). Debian Linux kernels have these options
|
(CONFIG_VDPA=m, CONFIG_VDPA_USER=m, CONFIG_VIRTIO_VDPA=m).
|
||||||
disabled by now, so if you want to try it on Debian, use a kernel from Ubuntu
|
|
||||||
[kernel-ppa/mainline](https://kernel.ubuntu.com/~kernel-ppa/mainline/) or Proxmox.
|
Debian Linux kernels have these options disabled by now, so if you want to try it on Debian,
|
||||||
|
use a kernel from Ubuntu [kernel-ppa/mainline](https://kernel.ubuntu.com/~kernel-ppa/mainline/), Proxmox,
|
||||||
|
or build modules for Debian kernel manually:
|
||||||
|
|
||||||
|
```
|
||||||
|
mkdir build
|
||||||
|
cd build
|
||||||
|
apt-get install linux-headers-`uname -r`
|
||||||
|
apt-get build-dep linux-image-`uname -r`-unsigned
|
||||||
|
apt-get source linux-image-`uname -r`-unsigned
|
||||||
|
cd linux*/drivers/vdpa
|
||||||
|
make -C /lib/modules/`uname -r`/build M=$PWD CONFIG_VDPA=m CONFIG_VDPA_USER=m CONFIG_VIRTIO_VDPA=m -j8 modules modules_install
|
||||||
|
cat Module.symvers >> /lib/modules/`uname -r`/build/Module.symvers
|
||||||
|
cd ../virtio
|
||||||
|
make -C /lib/modules/`uname -r`/build M=$PWD CONFIG_VDPA=m CONFIG_VDPA_USER=m CONFIG_VIRTIO_VDPA=m -j8 modules modules_install
|
||||||
|
depmod -a
|
||||||
|
```
|
||||||
|
|
||||||
|
You also need `vdpa` tool from the `iproute2` package.
|
||||||
|
|
||||||
Commands to attach Vitastor image as a VDUSE device:
|
Commands to attach Vitastor image as a VDUSE device:
|
||||||
|
|
||||||
|
@ -152,7 +182,7 @@ qemu-storage-daemon --daemonize --blockdev '{"node-name":"test1","driver":"vitas
|
||||||
vdpa dev add name test1 mgmtdev vduse
|
vdpa dev add name test1 mgmtdev vduse
|
||||||
```
|
```
|
||||||
|
|
||||||
After running these commands /dev/vda device will appear in the system and you'll be able to
|
After running these commands, `/dev/vda` device will appear in the system and you'll be able to
|
||||||
use it as a normal disk.
|
use it as a normal disk.
|
||||||
|
|
||||||
To remove the device:
|
To remove the device:
|
||||||
|
|
|
@ -18,13 +18,16 @@
|
||||||
|
|
||||||
```
|
```
|
||||||
qemu-system-x86_64 -enable-kvm -m 1024 \
|
qemu-system-x86_64 -enable-kvm -m 1024 \
|
||||||
-drive 'file=vitastor:etcd_host=192.168.7.2\:2379/v3:image=debian9',
|
-drive 'file=vitastor:image=debian9',
|
||||||
format=raw,if=none,id=drive-virtio-disk0,cache=none \
|
format=raw,if=none,id=drive-virtio-disk0,cache=none \
|
||||||
-device 'virtio-blk-pci,scsi=off,bus=pci.0,addr=0x5,drive=drive-virtio-disk0,
|
-device 'virtio-blk-pci,scsi=off,bus=pci.0,addr=0x5,drive=drive-virtio-disk0,
|
||||||
id=virtio-disk0,bootindex=1,write-cache=off' \
|
id=virtio-disk0,bootindex=1,write-cache=off' \
|
||||||
-vnc 0.0.0.0:0
|
-vnc 0.0.0.0:0
|
||||||
```
|
```
|
||||||
|
|
||||||
|
Адрес подключения etcd можно задать явно, если добавить `:etcd_host=192.168.7.2\:2379/v3` к `file=`.
|
||||||
|
Путь к файлу конфигурации можно переопределить, добавив `:config_path=/etc/vitastor/vitastor.conf`.
|
||||||
|
|
||||||
Новый синтаксис (-blockdev):
|
Новый синтаксис (-blockdev):
|
||||||
|
|
||||||
```
|
```
|
||||||
|
@ -52,12 +55,12 @@ qemu-system-x86_64 -enable-kvm -m 1024 \
|
||||||
|
|
||||||
## qemu-img
|
## qemu-img
|
||||||
|
|
||||||
Для qemu-img используйте строку `vitastor:etcd_host=<HOST>:image=<IMAGE>` в качестве имени файла диска.
|
Для qemu-img используйте строку `vitastor:image=<IMAGE>[:etcd_host=<HOST>]` в качестве имени файла диска.
|
||||||
|
|
||||||
Например, чтобы загрузить образ диска в Vitastor:
|
Например, чтобы загрузить образ диска в Vitastor:
|
||||||
|
|
||||||
```
|
```
|
||||||
qemu-img convert -f qcow2 debian10.qcow2 -p -O raw 'vitastor:etcd_host=10.115.0.10\:2379/v3:image=testimg'
|
qemu-img convert -f qcow2 debian10.qcow2 -p -O raw 'vitastor:image=testimg'
|
||||||
```
|
```
|
||||||
|
|
||||||
Если вы не хотите обращаться к образу по имени, вместо `:image=<IMAGE>` можно указать номер пула, номер инода и размер:
|
Если вы не хотите обращаться к образу по имени, вместо `:image=<IMAGE>` можно указать номер пула, номер инода и размер:
|
||||||
|
@ -73,10 +76,10 @@ qemu-img convert -f qcow2 debian10.qcow2 -p -O raw 'vitastor:etcd_host=10.115.0.
|
||||||
с помощью следующих команд (ключевые моменты - использование `skip-parents=1` и опции `-B backing_file.qcow2`):
|
с помощью следующих команд (ключевые моменты - использование `skip-parents=1` и опции `-B backing_file.qcow2`):
|
||||||
|
|
||||||
```
|
```
|
||||||
qemu-img convert -f raw 'vitastor:etcd_host=192.168.7.2\:2379/v3:image=testimg@0' \
|
qemu-img convert -f raw 'vitastor:image=testimg@0' \
|
||||||
-O qcow2 testimg_0.qcow2
|
-O qcow2 testimg_0.qcow2
|
||||||
|
|
||||||
qemu-img convert -f raw 'vitastor:etcd_host=192.168.7.2\:2379/v3:image=testimg:skip-parents=1' \
|
qemu-img convert -f raw 'vitastor:image=testimg:skip-parents=1' \
|
||||||
-O qcow2 -o 'cluster_size=4k' -B testimg_0.qcow2 testimg.qcow2
|
-O qcow2 -o 'cluster_size=4k' -B testimg_0.qcow2 testimg.qcow2
|
||||||
```
|
```
|
||||||
|
|
||||||
|
@ -129,19 +132,47 @@ qemu-system-x86_64 -enable-kvm -m 2048 -M accel=kvm,memory-backend=mem \
|
||||||
к системе - VDUSE (vDPA Device in Userspace), а в QEMU, начиная с версии 7.2, есть поддержка
|
к системе - VDUSE (vDPA Device in Userspace), а в QEMU, начиная с версии 7.2, есть поддержка
|
||||||
экспорта блочных устройств QEMU по этому протоколу через qemu-storage-daemon.
|
экспорта блочных устройств QEMU по этому протоколу через qemu-storage-daemon.
|
||||||
|
|
||||||
VDUSE страдает общей проблемой FUSE-подобных интерфейсов в Linux: если пользовательский процесс
|
VDUSE - на данный момент лучший интерфейс для подключения дисков Vitastor в виде блочных
|
||||||
подвиснет, например, если будет потеряна связь с кластером Vitastor - читающие/пишущие в кластер
|
устройств на уровне ядра, ибо:
|
||||||
процессы могут "залипнуть" в состоянии D (непрерываемый сон) и их будет невозможно убить даже
|
- VDUSE не копирует данные и поэтому достигает значительно лучшей производительности, чем [NBD](nbd.ru.md)
|
||||||
через kill -9. В этом случае удалить из системы устройство можно только перезагрузившись.
|
- Также оно не имеет проблемы NBD-таймаута - устройство не умирает, если операция выполняется слишком долго
|
||||||
|
- Также оно не имеет проблемы подвисающих устройств - если процесс-обработчик умирает, его можно
|
||||||
|
перезапустить (!) и блочное устройство продолжит работать
|
||||||
|
- По-видимому, у него нет предела числа подключаемых в систему устройств
|
||||||
|
|
||||||
С другой стороны, VDUSE быстрее по сравнению с [NBD](nbd.ru.md), поэтому его может
|
Пример сравнения производительности:
|
||||||
быть предпочтительно использовать там, где производительность важнее. Порядок показателей:
|
|
||||||
прямое тестирование через fio - 115000 iops, NBD - 60000 iops, VDUSE - 90000 iops.
|
|
||||||
|
|
||||||
Чтобы использовать VDUSE, вам нужно ядро Linux версии хотя бы 5.15, собранное с поддержкой
|
| | Прямой fio | NBD | VDUSE |
|
||||||
VDUSE (CONFIG_VIRTIO_VDPA=m и CONFIG_VDPA_USER=m). В ядрах в Debian Linux поддержка пока
|
|--------------------------|-------------|-------------|-------------|
|
||||||
отключена - если хотите попробовать эту функцию на Debian, поставьте ядро из Ubuntu
|
| линейная запись | 3.85 GB/s | 1.12 GB/s | 3.85 GB/s |
|
||||||
[kernel-ppa/mainline](https://kernel.ubuntu.com/~kernel-ppa/mainline/) или из Proxmox.
|
| 4k случайная запись Q128 | 240000 iops | 120000 iops | 178000 iops |
|
||||||
|
| 4k случайная запись Q1 | 9500 iops | 7620 iops | 7640 iops |
|
||||||
|
| линейное чтение | 4.3 GB/s | 1.8 GB/s | 2.85 GB/s |
|
||||||
|
| 4k случайное чтение Q128 | 287000 iops | 140000 iops | 189000 iops |
|
||||||
|
| 4k случайное чтение Q1 | 9600 iops | 7640 iops | 7780 iops |
|
||||||
|
|
||||||
|
Чтобы попробовать VDUSE, вам нужно ядро Linux как минимум версии 5.15, собранное с поддержкой
|
||||||
|
VDUSE (CONFIG_VDPA=m, CONFIG_VDPA_USER=m, CONFIG_VIRTIO_VDPA=m).
|
||||||
|
|
||||||
|
В ядрах в Debian Linux поддержка пока отключена по умолчанию, так что чтобы попробовать VDUSE
|
||||||
|
на Debian, поставьте ядро из Ubuntu [kernel-ppa/mainline](https://kernel.ubuntu.com/~kernel-ppa/mainline/),
|
||||||
|
из Proxmox или соберите модули для ядра Debian вручную:
|
||||||
|
|
||||||
|
```
|
||||||
|
mkdir build
|
||||||
|
cd build
|
||||||
|
apt-get install linux-headers-`uname -r`
|
||||||
|
apt-get build-dep linux-image-`uname -r`-unsigned
|
||||||
|
apt-get source linux-image-`uname -r`-unsigned
|
||||||
|
cd linux*/drivers/vdpa
|
||||||
|
make -C /lib/modules/`uname -r`/build M=$PWD CONFIG_VDPA=m CONFIG_VDPA_USER=m CONFIG_VIRTIO_VDPA=m -j8 modules modules_install
|
||||||
|
cat Module.symvers >> /lib/modules/`uname -r`/build/Module.symvers
|
||||||
|
cd ../virtio
|
||||||
|
make -C /lib/modules/`uname -r`/build M=$PWD CONFIG_VDPA=m CONFIG_VDPA_USER=m CONFIG_VIRTIO_VDPA=m -j8 modules modules_install
|
||||||
|
depmod -a
|
||||||
|
```
|
||||||
|
|
||||||
|
Также вам понадобится консольная утилита `vdpa` из пакета `iproute2`.
|
||||||
|
|
||||||
Команды для подключения виртуального диска через VDUSE:
|
Команды для подключения виртуального диска через VDUSE:
|
||||||
|
|
||||||
|
@ -154,7 +185,7 @@ qemu-storage-daemon --daemonize --blockdev '{"node-name":"test1","driver":"vitas
|
||||||
vdpa dev add name test1 mgmtdev vduse
|
vdpa dev add name test1 mgmtdev vduse
|
||||||
```
|
```
|
||||||
|
|
||||||
После этого в системе появится устройство /dev/vda, которое можно будет использовать как
|
После этого в системе появится устройство `/dev/vda`, которое можно будет использовать как
|
||||||
обычный диск.
|
обычный диск.
|
||||||
|
|
||||||
Для удаления устройства из системы:
|
Для удаления устройства из системы:
|
||||||
|
|
2
json11
2
json11
|
@ -1 +1 @@
|
||||||
Subproject commit 52a3af664f40775426b189c85b6088d436d05df3
|
Subproject commit fd37016cf85075303de74bab9c61e5d13bf71f64
|
|
@ -0,0 +1,54 @@
|
||||||
|
module.exports = {
|
||||||
|
"env": {
|
||||||
|
"es6": true,
|
||||||
|
"node": true
|
||||||
|
},
|
||||||
|
"extends": [
|
||||||
|
"eslint:recommended",
|
||||||
|
"plugin:node/recommended"
|
||||||
|
],
|
||||||
|
"parserOptions": {
|
||||||
|
"ecmaVersion": 2020
|
||||||
|
},
|
||||||
|
"plugins": [
|
||||||
|
"import"
|
||||||
|
],
|
||||||
|
"rules": {
|
||||||
|
"indent": [
|
||||||
|
"error",
|
||||||
|
4
|
||||||
|
],
|
||||||
|
"brace-style": [
|
||||||
|
"error",
|
||||||
|
"allman",
|
||||||
|
{ "allowSingleLine": true }
|
||||||
|
],
|
||||||
|
"linebreak-style": [
|
||||||
|
"error",
|
||||||
|
"unix"
|
||||||
|
],
|
||||||
|
"semi": [
|
||||||
|
"error",
|
||||||
|
"always"
|
||||||
|
],
|
||||||
|
"no-useless-escape": [
|
||||||
|
"off"
|
||||||
|
],
|
||||||
|
"no-control-regex": [
|
||||||
|
"off"
|
||||||
|
],
|
||||||
|
"no-empty": [
|
||||||
|
"off"
|
||||||
|
],
|
||||||
|
"no-process-exit": [
|
||||||
|
"off"
|
||||||
|
],
|
||||||
|
"node/shebang": [
|
||||||
|
"off"
|
||||||
|
],
|
||||||
|
"import/no-unresolved": [
|
||||||
|
2,
|
||||||
|
{ "commonjs": true }
|
||||||
|
]
|
||||||
|
}
|
||||||
|
};
|
|
@ -0,0 +1,188 @@
|
||||||
|
// Copyright (c) Vitaliy Filippov, 2019+
|
||||||
|
// License: VNPL-1.1 (see README.md for details)
|
||||||
|
|
||||||
|
const AntiEtcd = require('antietcd');
|
||||||
|
|
||||||
|
const vitastor_persist_filter = require('./vitastor_persist_filter.js');
|
||||||
|
const { b64, local_ips } = require('./utils.js');
|
||||||
|
|
||||||
|
class AntiEtcdAdapter
|
||||||
|
{
|
||||||
|
static async start_antietcd(config)
|
||||||
|
{
|
||||||
|
let antietcd;
|
||||||
|
if (config.use_antietcd)
|
||||||
|
{
|
||||||
|
let cluster = config.etcd_address;
|
||||||
|
if (!(cluster instanceof Array))
|
||||||
|
cluster = cluster ? (''+(cluster||'')).split(/,+/) : [];
|
||||||
|
cluster = Object.keys(cluster.reduce((a, url) =>
|
||||||
|
{
|
||||||
|
a[url.toLowerCase().replace(/^(https?:\/\/)/, '').replace(/\/.*$/, '')] = true;
|
||||||
|
return a;
|
||||||
|
}, {}));
|
||||||
|
const cfg_port = config.antietcd_port;
|
||||||
|
const is_local = local_ips(true).reduce((a, c) => { a[c] = true; return a; }, {});
|
||||||
|
const selected = cluster.map(s => s.split(':', 2)).filter(ip => is_local[ip[0]] && (!cfg_port || ip[1] == cfg_port));
|
||||||
|
if (selected.length > 1)
|
||||||
|
{
|
||||||
|
console.error('More than 1 etcd_address matches local IPs, please specify port');
|
||||||
|
process.exit(1);
|
||||||
|
}
|
||||||
|
else if (selected.length == 1)
|
||||||
|
{
|
||||||
|
const antietcd_config = {
|
||||||
|
ip: selected[0][0],
|
||||||
|
port: selected[0][1],
|
||||||
|
data: config.antietcd_data_file || ((config.antietcd_data_dir || '/var/lib/vitastor') + '/mon_'+selected[0][1]+'.json.gz'),
|
||||||
|
persist_filter: vitastor_persist_filter({ vitastor_prefix: config.etcd_prefix || '/vitastor' }),
|
||||||
|
node_id: selected[0][0]+':'+selected[0][1], // node_id = ip:port
|
||||||
|
cluster: (cluster.length == 1 ? null : cluster.reduce((a, c) => { a[c] = "http://"+c; return a; }, {})),
|
||||||
|
cluster_key: (config.etcd_prefix || '/vitastor'),
|
||||||
|
stale_read: 1,
|
||||||
|
log_level: 1,
|
||||||
|
};
|
||||||
|
for (const key in config)
|
||||||
|
{
|
||||||
|
if (key.substr(0, 9) === 'antietcd_')
|
||||||
|
{
|
||||||
|
const noprefix = key.substr(9);
|
||||||
|
if (!(noprefix in antietcd_config) || noprefix == 'ip' || noprefix == 'cluster_key')
|
||||||
|
{
|
||||||
|
antietcd_config[noprefix] = config[key];
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
console.log('Starting Antietcd node '+antietcd_config.node_id);
|
||||||
|
antietcd = new AntiEtcd(antietcd_config);
|
||||||
|
await antietcd.start();
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
console.log('Antietcd is enabled, but etcd_address does not contain local IPs, proceeding without it');
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return antietcd;
|
||||||
|
}
|
||||||
|
|
||||||
|
constructor(mon, antietcd)
|
||||||
|
{
|
||||||
|
this.mon = mon;
|
||||||
|
this.antietcd = antietcd;
|
||||||
|
this.on_leader = [];
|
||||||
|
this.on_change = (st) =>
|
||||||
|
{
|
||||||
|
if (st.state === 'leader')
|
||||||
|
{
|
||||||
|
for (const cb of this.on_leader)
|
||||||
|
{
|
||||||
|
cb();
|
||||||
|
}
|
||||||
|
this.on_leader = [];
|
||||||
|
}
|
||||||
|
};
|
||||||
|
this.antietcd.on('raftchange', this.on_change);
|
||||||
|
}
|
||||||
|
|
||||||
|
parse_config(/*config*/)
|
||||||
|
{
|
||||||
|
}
|
||||||
|
|
||||||
|
stop_watcher()
|
||||||
|
{
|
||||||
|
this.antietcd.off('raftchange', this.on_change);
|
||||||
|
const watch_id = this.watch_id;
|
||||||
|
if (watch_id)
|
||||||
|
{
|
||||||
|
this.watch_id = null;
|
||||||
|
this.antietcd.cancel_watch(watch_id).catch(console.error);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
async start_watcher()
|
||||||
|
{
|
||||||
|
if (this.watch_id)
|
||||||
|
{
|
||||||
|
await this.antietcd.cancel_watch(this.watch_id);
|
||||||
|
this.watch_id = null;
|
||||||
|
}
|
||||||
|
const watch_id = await this.antietcd.create_watch({
|
||||||
|
key: b64(this.mon.config.etcd_prefix+'/'),
|
||||||
|
range_end: b64(this.mon.config.etcd_prefix+'0'),
|
||||||
|
start_revision: ''+this.mon.etcd_watch_revision,
|
||||||
|
watch_id: 1,
|
||||||
|
progress_notify: true,
|
||||||
|
}, (message) =>
|
||||||
|
{
|
||||||
|
setImmediate(() => this.mon.on_message(message.result));
|
||||||
|
});
|
||||||
|
console.log('Successfully subscribed to antietcd revision '+this.antietcd.etctree.mod_revision);
|
||||||
|
this.watch_id = watch_id;
|
||||||
|
}
|
||||||
|
|
||||||
|
async become_master()
|
||||||
|
{
|
||||||
|
if (!this.antietcd.cluster)
|
||||||
|
{
|
||||||
|
console.log('Running in non-clustered mode');
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
console.log('Waiting to become master');
|
||||||
|
if (this.antietcd.cluster.raft.state !== 'leader')
|
||||||
|
{
|
||||||
|
await new Promise(ok => this.on_leader.push(ok));
|
||||||
|
}
|
||||||
|
}
|
||||||
|
const state = { ...this.mon.get_mon_state(), id: ''+this.mon.etcd_lease_id };
|
||||||
|
await this.etcd_call('/kv/txn', {
|
||||||
|
success: [ { requestPut: { key: b64(this.mon.config.etcd_prefix+'/mon/master'), value: b64(JSON.stringify(state)), lease: ''+this.mon.etcd_lease_id } } ],
|
||||||
|
}, this.mon.config.etcd_start_timeout, 0);
|
||||||
|
if (this.antietcd.cluster)
|
||||||
|
{
|
||||||
|
console.log('Became master');
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
async etcd_call(path, body, timeout, retries)
|
||||||
|
{
|
||||||
|
let retry = 0;
|
||||||
|
if (retries >= 0 && retries < 1)
|
||||||
|
{
|
||||||
|
retries = 1;
|
||||||
|
}
|
||||||
|
let prev = 0;
|
||||||
|
while (retries < 0 || retry < retries)
|
||||||
|
{
|
||||||
|
retry++;
|
||||||
|
if (this.mon.stopped)
|
||||||
|
{
|
||||||
|
throw new Error('Monitor instance is stopped');
|
||||||
|
}
|
||||||
|
try
|
||||||
|
{
|
||||||
|
if (Date.now()-prev < timeout)
|
||||||
|
{
|
||||||
|
await new Promise(ok => setTimeout(ok, timeout-(Date.now()-prev)));
|
||||||
|
}
|
||||||
|
prev = Date.now();
|
||||||
|
const res = await this.antietcd.api(path.replace(/^\/+/, '').replace(/\/+$/, '').replace(/\/+/g, '_'), body);
|
||||||
|
if (res.error)
|
||||||
|
{
|
||||||
|
console.error('Failed to query antietcd '+path+' (retry '+retry+'/'+retries+'): '+res.error);
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
return res;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
catch (e)
|
||||||
|
{
|
||||||
|
console.error('Failed to query antietcd '+path+' (retry '+retry+'/'+retries+'): '+e.stack);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
throw new Error('Failed to query antietcd ('+retries+' retries)');
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
module.exports = AntiEtcdAdapter;
|
|
@ -0,0 +1,352 @@
|
||||||
|
// Copyright (c) Vitaliy Filippov, 2019+
|
||||||
|
// License: VNPL-1.1 (see README.md for details)
|
||||||
|
|
||||||
|
const http = require('http');
|
||||||
|
const WebSocket = require('ws');
|
||||||
|
const { b64, local_ips } = require('./utils.js');
|
||||||
|
|
||||||
|
const MON_STOPPED = 'Monitor instance is stopped';
|
||||||
|
|
||||||
|
class EtcdAdapter
|
||||||
|
{
|
||||||
|
constructor(mon)
|
||||||
|
{
|
||||||
|
this.mon = mon;
|
||||||
|
this.ws = null;
|
||||||
|
this.ws_alive = false;
|
||||||
|
this.ws_keepalive_timer = null;
|
||||||
|
}
|
||||||
|
|
||||||
|
parse_config(config)
|
||||||
|
{
|
||||||
|
this.parse_etcd_addresses(config.etcd_address||config.etcd_url);
|
||||||
|
}
|
||||||
|
|
||||||
|
parse_etcd_addresses(addrs)
|
||||||
|
{
|
||||||
|
const is_local_ip = local_ips(true).reduce((a, c) => { a[c] = true; return a; }, {});
|
||||||
|
this.etcd_local = [];
|
||||||
|
this.etcd_urls = [];
|
||||||
|
this.selected_etcd_url = null;
|
||||||
|
this.etcd_urls_to_try = [];
|
||||||
|
if (!(addrs instanceof Array))
|
||||||
|
addrs = addrs ? (''+(addrs||'')).split(/,/) : [];
|
||||||
|
if (!addrs.length)
|
||||||
|
{
|
||||||
|
console.error('Vitastor etcd address(es) not specified. Please set on the command line or in the config file');
|
||||||
|
process.exit(1);
|
||||||
|
}
|
||||||
|
for (let url of addrs)
|
||||||
|
{
|
||||||
|
let scheme = 'http';
|
||||||
|
url = url.trim().replace(/^(https?):\/\//, (m, m1) => { scheme = m1; return ''; });
|
||||||
|
const slash = url.indexOf('/');
|
||||||
|
const colon = url.indexOf(':');
|
||||||
|
const is_local = is_local_ip[colon >= 0 ? url.substr(0, colon) : (slash >= 0 ? url.substr(0, slash) : url)];
|
||||||
|
url = scheme+'://'+(slash >= 0 ? url : url+'/v3');
|
||||||
|
if (is_local)
|
||||||
|
this.etcd_local.push(url);
|
||||||
|
else
|
||||||
|
this.etcd_urls.push(url);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
pick_next_etcd()
|
||||||
|
{
|
||||||
|
if (this.selected_etcd_url)
|
||||||
|
return this.selected_etcd_url;
|
||||||
|
if (!this.etcd_urls_to_try || !this.etcd_urls_to_try.length)
|
||||||
|
{
|
||||||
|
this.etcd_urls_to_try = [ ...this.etcd_local ];
|
||||||
|
const others = [ ...this.etcd_urls ];
|
||||||
|
while (others.length)
|
||||||
|
{
|
||||||
|
const url = others.splice(0|(others.length*Math.random()), 1);
|
||||||
|
this.etcd_urls_to_try.push(url[0]);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
this.selected_etcd_url = this.etcd_urls_to_try.shift();
|
||||||
|
return this.selected_etcd_url;
|
||||||
|
}
|
||||||
|
|
||||||
|
stop_watcher(cur_addr)
|
||||||
|
{
|
||||||
|
cur_addr = cur_addr || this.selected_etcd_url;
|
||||||
|
if (this.ws)
|
||||||
|
{
|
||||||
|
console.log('Disconnected from etcd at '+this.ws_used_url);
|
||||||
|
this.ws.close();
|
||||||
|
this.ws = null;
|
||||||
|
}
|
||||||
|
if (this.ws_keepalive_timer)
|
||||||
|
{
|
||||||
|
clearInterval(this.ws_keepalive_timer);
|
||||||
|
this.ws_keepalive_timer = null;
|
||||||
|
}
|
||||||
|
if (this.selected_etcd_url == cur_addr)
|
||||||
|
{
|
||||||
|
this.selected_etcd_url = null;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
restart_watcher(cur_addr)
|
||||||
|
{
|
||||||
|
this.stop_watcher(cur_addr);
|
||||||
|
this.start_watcher(this.mon.config.etcd_mon_retries).catch(this.mon.die);
|
||||||
|
}
|
||||||
|
|
||||||
|
async start_watcher(retries)
|
||||||
|
{
|
||||||
|
let retry = 0;
|
||||||
|
if (!retries || retries < 1)
|
||||||
|
{
|
||||||
|
retries = 1;
|
||||||
|
}
|
||||||
|
const tried = {};
|
||||||
|
while (retries < 0 || retry < retries)
|
||||||
|
{
|
||||||
|
const cur_addr = this.pick_next_etcd();
|
||||||
|
const base = 'ws'+cur_addr.substr(4);
|
||||||
|
let now = Date.now();
|
||||||
|
if (tried[base] && now-tried[base] < this.mon.config.etcd_start_timeout)
|
||||||
|
{
|
||||||
|
await new Promise(ok => setTimeout(ok, this.mon.config.etcd_start_timeout-(now-tried[base])));
|
||||||
|
now = Date.now();
|
||||||
|
}
|
||||||
|
tried[base] = now;
|
||||||
|
if (this.mon.stopped)
|
||||||
|
{
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
const ok = await new Promise(ok =>
|
||||||
|
{
|
||||||
|
const timer_id = setTimeout(() =>
|
||||||
|
{
|
||||||
|
if (this.ws)
|
||||||
|
{
|
||||||
|
console.log('Disconnected from etcd at '+this.ws_used_url);
|
||||||
|
this.ws.close();
|
||||||
|
this.ws = null;
|
||||||
|
}
|
||||||
|
ok(false);
|
||||||
|
}, this.mon.config.etcd_mon_timeout);
|
||||||
|
this.ws = new WebSocket(base+'/watch');
|
||||||
|
this.ws_used_url = cur_addr;
|
||||||
|
const fail = () =>
|
||||||
|
{
|
||||||
|
ok(false);
|
||||||
|
};
|
||||||
|
this.ws.on('error', fail);
|
||||||
|
this.ws.on('open', () =>
|
||||||
|
{
|
||||||
|
this.ws.removeListener('error', fail);
|
||||||
|
if (timer_id)
|
||||||
|
clearTimeout(timer_id);
|
||||||
|
ok(true);
|
||||||
|
});
|
||||||
|
});
|
||||||
|
if (ok)
|
||||||
|
break;
|
||||||
|
if (this.selected_etcd_url == cur_addr)
|
||||||
|
this.selected_etcd_url = null;
|
||||||
|
this.ws = null;
|
||||||
|
retry++;
|
||||||
|
}
|
||||||
|
if (!this.ws)
|
||||||
|
{
|
||||||
|
this.mon.die('Failed to open etcd watch websocket');
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
if (this.mon.stopped)
|
||||||
|
{
|
||||||
|
this.stop_watcher();
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
const cur_addr = this.selected_etcd_url;
|
||||||
|
this.ws_alive = true;
|
||||||
|
this.ws_keepalive_timer = setInterval(() =>
|
||||||
|
{
|
||||||
|
if (this.ws_alive && this.ws)
|
||||||
|
{
|
||||||
|
this.ws_alive = false;
|
||||||
|
this.ws.send(JSON.stringify({ progress_request: {} }));
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
console.log('etcd websocket timed out, restarting it');
|
||||||
|
this.restart_watcher(cur_addr);
|
||||||
|
}
|
||||||
|
}, (Number(this.mon.config.etcd_ws_keepalive_interval) || 5)*1000);
|
||||||
|
this.ws.on('error', () => this.restart_watcher(cur_addr));
|
||||||
|
this.ws.send(JSON.stringify({
|
||||||
|
create_request: {
|
||||||
|
key: b64(this.mon.config.etcd_prefix+'/'),
|
||||||
|
range_end: b64(this.mon.config.etcd_prefix+'0'),
|
||||||
|
start_revision: ''+this.mon.etcd_watch_revision,
|
||||||
|
watch_id: 1,
|
||||||
|
progress_notify: true,
|
||||||
|
},
|
||||||
|
}));
|
||||||
|
this.ws.on('message', (msg) =>
|
||||||
|
{
|
||||||
|
if (this.mon.stopped)
|
||||||
|
{
|
||||||
|
this.stop_watcher();
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
this.ws_alive = true;
|
||||||
|
let data;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
data = JSON.parse(msg);
|
||||||
|
}
|
||||||
|
catch (e)
|
||||||
|
{
|
||||||
|
}
|
||||||
|
if (!data || !data.result)
|
||||||
|
{
|
||||||
|
console.error('Unknown message received from watch websocket: '+msg);
|
||||||
|
}
|
||||||
|
else if (data.result.canceled)
|
||||||
|
{
|
||||||
|
// etcd watch canceled
|
||||||
|
if (data.result.compact_revision)
|
||||||
|
{
|
||||||
|
// we may miss events if we proceed
|
||||||
|
this.mon.die('Revisions before '+data.result.compact_revision+' were compacted by etcd, exiting');
|
||||||
|
}
|
||||||
|
this.mon.die('Watch canceled by etcd, reason: '+data.result.cancel_reason+', exiting');
|
||||||
|
}
|
||||||
|
else if (data.result.created)
|
||||||
|
{
|
||||||
|
// etcd watch created
|
||||||
|
console.log('Successfully subscribed to etcd at '+this.selected_etcd_url+', revision '+data.result.header.revision);
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
this.mon.on_message(data.result);
|
||||||
|
}
|
||||||
|
});
|
||||||
|
}
|
||||||
|
|
||||||
|
async become_master()
|
||||||
|
{
|
||||||
|
const state = { ...this.mon.get_mon_state(), id: ''+this.mon.etcd_lease_id };
|
||||||
|
// eslint-disable-next-line no-constant-condition
|
||||||
|
while (1)
|
||||||
|
{
|
||||||
|
const res = await this.etcd_call('/kv/txn', {
|
||||||
|
compare: [ { target: 'CREATE', create_revision: 0, key: b64(this.mon.config.etcd_prefix+'/mon/master') } ],
|
||||||
|
success: [ { requestPut: { key: b64(this.mon.config.etcd_prefix+'/mon/master'), value: b64(JSON.stringify(state)), lease: ''+this.mon.etcd_lease_id } } ],
|
||||||
|
}, this.mon.config.etcd_start_timeout, 0);
|
||||||
|
if (res.succeeded)
|
||||||
|
{
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
console.log('Waiting to become master');
|
||||||
|
await new Promise(ok => setTimeout(ok, this.mon.config.etcd_start_timeout));
|
||||||
|
}
|
||||||
|
console.log('Became master');
|
||||||
|
}
|
||||||
|
|
||||||
|
async etcd_call(path, body, timeout, retries)
|
||||||
|
{
|
||||||
|
let retry = 0;
|
||||||
|
if (retries >= 0 && retries < 1)
|
||||||
|
{
|
||||||
|
retries = 1;
|
||||||
|
}
|
||||||
|
const tried = {};
|
||||||
|
while (retries < 0 || retry < retries)
|
||||||
|
{
|
||||||
|
retry++;
|
||||||
|
const base = this.pick_next_etcd();
|
||||||
|
let now = Date.now();
|
||||||
|
if (tried[base] && now-tried[base] < timeout)
|
||||||
|
{
|
||||||
|
await new Promise(ok => setTimeout(ok, timeout-(now-tried[base])));
|
||||||
|
now = Date.now();
|
||||||
|
}
|
||||||
|
tried[base] = now;
|
||||||
|
if (this.mon.stopped)
|
||||||
|
{
|
||||||
|
throw new Error(MON_STOPPED);
|
||||||
|
}
|
||||||
|
const res = await POST(base+path, body, timeout);
|
||||||
|
if (this.mon.stopped)
|
||||||
|
{
|
||||||
|
throw new Error(MON_STOPPED);
|
||||||
|
}
|
||||||
|
if (res.error)
|
||||||
|
{
|
||||||
|
if (this.selected_etcd_url == base)
|
||||||
|
this.selected_etcd_url = null;
|
||||||
|
console.error('Failed to query etcd '+path+' (retry '+retry+'/'+retries+'): '+res.error);
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
if (res.json)
|
||||||
|
{
|
||||||
|
if (res.json.error)
|
||||||
|
{
|
||||||
|
console.error(path+': etcd returned error: '+res.json.error);
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
return res.json;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
throw new Error('Failed to query etcd ('+retries+' retries)');
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
function POST(url, body, timeout)
|
||||||
|
{
|
||||||
|
return new Promise(ok =>
|
||||||
|
{
|
||||||
|
const body_text = Buffer.from(JSON.stringify(body));
|
||||||
|
let timer_id = timeout > 0 ? setTimeout(() =>
|
||||||
|
{
|
||||||
|
if (req)
|
||||||
|
req.abort();
|
||||||
|
req = null;
|
||||||
|
ok({ error: 'timeout' });
|
||||||
|
}, timeout) : null;
|
||||||
|
let req = http.request(url, { method: 'POST', headers: {
|
||||||
|
'Content-Type': 'application/json',
|
||||||
|
'Content-Length': body_text.length,
|
||||||
|
} }, (res) =>
|
||||||
|
{
|
||||||
|
if (!req)
|
||||||
|
{
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
clearTimeout(timer_id);
|
||||||
|
let res_body = '';
|
||||||
|
res.setEncoding('utf8');
|
||||||
|
res.on('error', (error) => ok({ error }));
|
||||||
|
res.on('data', chunk => { res_body += chunk; });
|
||||||
|
res.on('end', () =>
|
||||||
|
{
|
||||||
|
if (res.statusCode != 200)
|
||||||
|
{
|
||||||
|
ok({ error: res_body, code: res.statusCode });
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
try
|
||||||
|
{
|
||||||
|
res_body = JSON.parse(res_body);
|
||||||
|
ok({ response: res, json: res_body });
|
||||||
|
}
|
||||||
|
catch (e)
|
||||||
|
{
|
||||||
|
ok({ error: e, response: res, body: res_body });
|
||||||
|
}
|
||||||
|
});
|
||||||
|
});
|
||||||
|
req.on('error', (error) => ok({ error }));
|
||||||
|
req.on('close', () => ok({ error: new Error('Connection closed prematurely') }));
|
||||||
|
req.write(body_text);
|
||||||
|
req.end();
|
||||||
|
});
|
||||||
|
}
|
||||||
|
|
||||||
|
module.exports = EtcdAdapter;
|
|
@ -0,0 +1,396 @@
|
||||||
|
// Copyright (c) Vitaliy Filippov, 2019+
|
||||||
|
// License: VNPL-1.1 (see README.md for details)
|
||||||
|
|
||||||
|
// FIXME document all etcd keys and config variables in the form of JSON schema or similar
|
||||||
|
const etcd_nonempty_keys = {
|
||||||
|
'config/global': 1,
|
||||||
|
'config/node_placement': 1,
|
||||||
|
'config/pools': 1,
|
||||||
|
'pg/config': 1,
|
||||||
|
'history/last_clean_pgs': 1,
|
||||||
|
'stats': 1,
|
||||||
|
};
|
||||||
|
const etcd_allow = new RegExp('^'+[
|
||||||
|
'config/global',
|
||||||
|
'config/node_placement',
|
||||||
|
'config/pools',
|
||||||
|
'config/osd/[1-9]\\d*',
|
||||||
|
'config/pgs', // old name
|
||||||
|
'pg/config',
|
||||||
|
'config/inode/[1-9]\\d*/[1-9]\\d*',
|
||||||
|
'osd/state/[1-9]\\d*',
|
||||||
|
'osd/stats/[1-9]\\d*',
|
||||||
|
'osd/inodestats/[1-9]\\d*',
|
||||||
|
'osd/space/[1-9]\\d*',
|
||||||
|
'mon/master',
|
||||||
|
'mon/member/[a-f0-9]+',
|
||||||
|
'pg/state/[1-9]\\d*/[1-9]\\d*',
|
||||||
|
'pg/stats/[1-9]\\d*/[1-9]\\d*', // old name
|
||||||
|
'pgstats/[1-9]\\d*/[1-9]\\d*',
|
||||||
|
'pg/history/[1-9]\\d*/[1-9]\\d*',
|
||||||
|
'history/last_clean_pgs',
|
||||||
|
'inode/stats/[1-9]\\d*/\\d+',
|
||||||
|
'pool/stats/[1-9]\\d*',
|
||||||
|
'stats',
|
||||||
|
'index/image/.*',
|
||||||
|
'index/maxid/[1-9]\\d*',
|
||||||
|
].join('$|^')+'$');
|
||||||
|
|
||||||
|
const etcd_tree = {
|
||||||
|
config: {
|
||||||
|
/* global: {
|
||||||
|
// WARNING: NOT ALL OF THESE ARE ACTUALLY CONFIGURABLE HERE
|
||||||
|
// THIS IS JUST A POOR MAN'S CONFIG DOCUMENTATION
|
||||||
|
// etcd connection
|
||||||
|
config_path: "/etc/vitastor/vitastor.conf",
|
||||||
|
etcd_prefix: "/vitastor",
|
||||||
|
// etcd connection - configurable online
|
||||||
|
etcd_address: "10.0.115.10:2379/v3",
|
||||||
|
// mon
|
||||||
|
etcd_mon_ttl: 5, // min: 1
|
||||||
|
etcd_mon_timeout: 1000, // ms. min: 0
|
||||||
|
etcd_mon_retries: 5, // min: 0
|
||||||
|
mon_change_timeout: 1000, // ms. min: 100
|
||||||
|
mon_retry_change_timeout: 50, // ms. min: 10
|
||||||
|
mon_stats_timeout: 1000, // ms. min: 100
|
||||||
|
osd_out_time: 600, // seconds. min: 0
|
||||||
|
placement_levels: { datacenter: 1, rack: 2, host: 3, osd: 4, ... },
|
||||||
|
use_old_pg_combinator: false,
|
||||||
|
// client and osd
|
||||||
|
tcp_header_buffer_size: 65536,
|
||||||
|
use_sync_send_recv: false,
|
||||||
|
use_rdma: true,
|
||||||
|
rdma_device: null, // for example, "rocep5s0f0"
|
||||||
|
rdma_port_num: 1,
|
||||||
|
rdma_gid_index: 0,
|
||||||
|
rdma_mtu: 4096,
|
||||||
|
rdma_max_sge: 128,
|
||||||
|
rdma_max_send: 8,
|
||||||
|
rdma_max_recv: 16,
|
||||||
|
rdma_max_msg: 132096,
|
||||||
|
block_size: 131072,
|
||||||
|
disk_alignment: 4096,
|
||||||
|
bitmap_granularity: 4096,
|
||||||
|
immediate_commit: 'all', // 'none', 'all' or 'small'
|
||||||
|
// client - configurable online
|
||||||
|
client_max_dirty_bytes: 33554432,
|
||||||
|
client_max_dirty_ops: 1024,
|
||||||
|
client_enable_writeback: false,
|
||||||
|
client_max_buffered_bytes: 33554432,
|
||||||
|
client_max_buffered_ops: 1024,
|
||||||
|
client_max_writeback_iodepth: 256,
|
||||||
|
client_retry_interval: 50, // ms. min: 10
|
||||||
|
client_eio_retry_interval: 1000, // ms
|
||||||
|
client_retry_enospc: true,
|
||||||
|
osd_nearfull_ratio: 0.95,
|
||||||
|
// client and osd - configurable online
|
||||||
|
log_level: 0,
|
||||||
|
peer_connect_interval: 5, // seconds. min: 1
|
||||||
|
peer_connect_timeout: 5, // seconds. min: 1
|
||||||
|
osd_idle_timeout: 5, // seconds. min: 1
|
||||||
|
osd_ping_timeout: 5, // seconds. min: 1
|
||||||
|
max_etcd_attempts: 5,
|
||||||
|
etcd_quick_timeout: 1000, // ms
|
||||||
|
etcd_slow_timeout: 5000, // ms
|
||||||
|
etcd_keepalive_timeout: 30, // seconds, default is max(30, etcd_report_interval*2)
|
||||||
|
etcd_ws_keepalive_interval: 5, // seconds
|
||||||
|
// osd
|
||||||
|
etcd_report_interval: 5, // seconds
|
||||||
|
etcd_stats_interval: 30, // seconds
|
||||||
|
run_primary: true,
|
||||||
|
osd_network: null, // "192.168.7.0/24" or an array of masks
|
||||||
|
bind_address: "0.0.0.0",
|
||||||
|
bind_port: 0,
|
||||||
|
readonly: false,
|
||||||
|
osd_memlock: false,
|
||||||
|
// osd - configurable online
|
||||||
|
autosync_interval: 5,
|
||||||
|
autosync_writes: 128,
|
||||||
|
client_queue_depth: 128, // unused
|
||||||
|
recovery_queue_depth: 1,
|
||||||
|
recovery_sleep_us: 0,
|
||||||
|
recovery_tune_util_low: 0.1,
|
||||||
|
recovery_tune_client_util_low: 0,
|
||||||
|
recovery_tune_util_high: 1.0,
|
||||||
|
recovery_tune_client_util_high: 0.5,
|
||||||
|
recovery_tune_interval: 1,
|
||||||
|
recovery_tune_agg_interval: 10, // 10 times recovery_tune_interval
|
||||||
|
recovery_tune_sleep_min_us: 10, // 10 microseconds
|
||||||
|
recovery_pg_switch: 128,
|
||||||
|
recovery_sync_batch: 16,
|
||||||
|
no_recovery: false,
|
||||||
|
no_rebalance: false,
|
||||||
|
print_stats_interval: 3,
|
||||||
|
slow_log_interval: 10,
|
||||||
|
inode_vanish_time: 60,
|
||||||
|
auto_scrub: false,
|
||||||
|
no_scrub: false,
|
||||||
|
scrub_interval: '30d', // 1s/1m/1h/1d
|
||||||
|
scrub_queue_depth: 1,
|
||||||
|
scrub_sleep: 0, // milliseconds
|
||||||
|
scrub_list_limit: 1000, // objects to list on one scrub iteration
|
||||||
|
scrub_find_best: true,
|
||||||
|
scrub_ec_max_bruteforce: 100, // maximum EC error locator brute-force iterators
|
||||||
|
// blockstore - fixed in superblock
|
||||||
|
block_size,
|
||||||
|
disk_alignment,
|
||||||
|
journal_block_size,
|
||||||
|
meta_block_size,
|
||||||
|
bitmap_granularity,
|
||||||
|
journal_device,
|
||||||
|
journal_offset,
|
||||||
|
journal_size,
|
||||||
|
disable_journal_fsync,
|
||||||
|
data_device,
|
||||||
|
data_offset,
|
||||||
|
data_size,
|
||||||
|
disable_data_fsync,
|
||||||
|
meta_device,
|
||||||
|
meta_offset,
|
||||||
|
disable_meta_fsync,
|
||||||
|
disable_device_lock,
|
||||||
|
// blockstore - configurable offline
|
||||||
|
inmemory_metadata,
|
||||||
|
inmemory_journal,
|
||||||
|
journal_sector_buffer_count,
|
||||||
|
journal_no_same_sector_overwrites,
|
||||||
|
// blockstore - configurable online
|
||||||
|
max_write_iodepth,
|
||||||
|
min_flusher_count: 1,
|
||||||
|
max_flusher_count: 256,
|
||||||
|
throttle_small_writes: false,
|
||||||
|
throttle_target_iops: 100,
|
||||||
|
throttle_target_mbs: 100,
|
||||||
|
throttle_target_parallelism: 1,
|
||||||
|
throttle_threshold_us: 50,
|
||||||
|
}, */
|
||||||
|
global: {},
|
||||||
|
/* node_placement: {
|
||||||
|
host1: { level: 'host', parent: 'rack1' },
|
||||||
|
...
|
||||||
|
}, */
|
||||||
|
node_placement: {},
|
||||||
|
/* pools: {
|
||||||
|
<id>: {
|
||||||
|
name: 'testpool',
|
||||||
|
// 'ec' uses Reed-Solomon-Vandermonde codes, 'jerasure' is an alias for 'ec'
|
||||||
|
scheme: 'replicated' | 'xor' | 'ec' | 'jerasure',
|
||||||
|
pg_size: 3,
|
||||||
|
pg_minsize: 2,
|
||||||
|
// number of parity chunks, required for EC
|
||||||
|
parity_chunks?: 1,
|
||||||
|
pg_count: 100,
|
||||||
|
// default is failure_domain=host
|
||||||
|
failure_domain?: 'host',
|
||||||
|
// additional failure domain rules; failure_domain=x is equivalent to x=123..N
|
||||||
|
level_placement?: 'dc=112233 host=123456',
|
||||||
|
raw_placement?: 'any, dc=1 host!=1, dc=1 host!=(1,2)',
|
||||||
|
old_combinator: false,
|
||||||
|
max_osd_combinations: 10000,
|
||||||
|
// block_size, bitmap_granularity, immediate_commit must match all OSDs used in that pool
|
||||||
|
block_size: 131072,
|
||||||
|
bitmap_granularity: 4096,
|
||||||
|
// 'all'/'small'/'none', same as in OSD options
|
||||||
|
immediate_commit: 'all',
|
||||||
|
pg_stripe_size: 0,
|
||||||
|
root_node?: 'rack1',
|
||||||
|
// restrict pool to OSDs having all of these tags
|
||||||
|
osd_tags?: 'nvme' | [ 'nvme', ... ],
|
||||||
|
// prefer to put primary on OSD with these tags
|
||||||
|
primary_affinity_tags?: 'nvme' | [ 'nvme', ... ],
|
||||||
|
// scrub interval
|
||||||
|
scrub_interval?: '30d',
|
||||||
|
},
|
||||||
|
...
|
||||||
|
}, */
|
||||||
|
pools: {},
|
||||||
|
osd: {
|
||||||
|
/* <id>: { reweight?: 1, tags?: [ 'nvme', ... ], noout?: true }, ... */
|
||||||
|
},
|
||||||
|
/* inode: {
|
||||||
|
<pool_id>: {
|
||||||
|
<inode_t>: {
|
||||||
|
name: string,
|
||||||
|
size?: uint64_t, // bytes
|
||||||
|
parent_pool?: <pool_id>,
|
||||||
|
parent_id?: <inode_t>,
|
||||||
|
readonly?: boolean,
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}, */
|
||||||
|
inode: {},
|
||||||
|
},
|
||||||
|
osd: {
|
||||||
|
state: {
|
||||||
|
/* <osd_num_t>: {
|
||||||
|
state: "up",
|
||||||
|
addresses: string[],
|
||||||
|
host: string,
|
||||||
|
port: uint16_t,
|
||||||
|
primary_enabled: boolean,
|
||||||
|
blockstore_enabled: boolean,
|
||||||
|
}, */
|
||||||
|
},
|
||||||
|
stats: {
|
||||||
|
/* <osd_num_t>: {
|
||||||
|
time: number, // unix time
|
||||||
|
data_block_size: uint64_t, // bytes
|
||||||
|
bitmap_granularity: uint64_t, // bytes
|
||||||
|
immediate_commit: "all"|"small"|"none",
|
||||||
|
blockstore_ready: boolean,
|
||||||
|
size: uint64_t, // bytes
|
||||||
|
free: uint64_t, // bytes
|
||||||
|
host: string,
|
||||||
|
op_stats: {
|
||||||
|
<string>: { count: uint64_t, usec: uint64_t, bytes: uint64_t },
|
||||||
|
},
|
||||||
|
subop_stats: {
|
||||||
|
<string>: { count: uint64_t, usec: uint64_t },
|
||||||
|
},
|
||||||
|
recovery_stats: {
|
||||||
|
degraded: { count: uint64_t, bytes: uint64_t },
|
||||||
|
misplaced: { count: uint64_t, bytes: uint64_t },
|
||||||
|
},
|
||||||
|
}, */
|
||||||
|
},
|
||||||
|
inodestats: {
|
||||||
|
/* <pool_id>: {
|
||||||
|
<inode_t>: {
|
||||||
|
read: { count: uint64_t, usec: uint64_t, bytes: uint64_t },
|
||||||
|
write: { count: uint64_t, usec: uint64_t, bytes: uint64_t },
|
||||||
|
delete: { count: uint64_t, usec: uint64_t, bytes: uint64_t },
|
||||||
|
},
|
||||||
|
}, */
|
||||||
|
},
|
||||||
|
space: {
|
||||||
|
/* <osd_num_t>: {
|
||||||
|
<pool_id>: {
|
||||||
|
<inode_t>: uint64_t, // bytes
|
||||||
|
},
|
||||||
|
}, */
|
||||||
|
},
|
||||||
|
},
|
||||||
|
mon: {
|
||||||
|
master: {
|
||||||
|
/* ip: [ string ], id: uint64_t */
|
||||||
|
},
|
||||||
|
member: {
|
||||||
|
/* <uint64_t>: { ip: [ string ] }, */
|
||||||
|
},
|
||||||
|
},
|
||||||
|
pg: {
|
||||||
|
/* config: {
|
||||||
|
hash: string,
|
||||||
|
items: {
|
||||||
|
<pool_id>: {
|
||||||
|
<pg_id>: {
|
||||||
|
osd_set: [ 1, 2, 3 ],
|
||||||
|
primary: 1,
|
||||||
|
pause: false,
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}, */
|
||||||
|
config: {},
|
||||||
|
state: {
|
||||||
|
/* <pool_id>: {
|
||||||
|
<pg_id>: {
|
||||||
|
primary: osd_num_t,
|
||||||
|
state: ("starting"|"peering"|"incomplete"|"active"|"repeering"|"stopping"|"offline"|
|
||||||
|
"degraded"|"has_incomplete"|"has_degraded"|"has_misplaced"|"has_unclean"|
|
||||||
|
"has_invalid"|"has_inconsistent"|"has_corrupted"|"left_on_dead"|"scrubbing")[],
|
||||||
|
}
|
||||||
|
}, */
|
||||||
|
},
|
||||||
|
history: {
|
||||||
|
/* <pool_id>: {
|
||||||
|
<pg_id>: {
|
||||||
|
osd_sets: osd_num_t[][],
|
||||||
|
all_peers: osd_num_t[],
|
||||||
|
epoch: uint64_t,
|
||||||
|
next_scrub: uint64_t,
|
||||||
|
},
|
||||||
|
}, */
|
||||||
|
},
|
||||||
|
},
|
||||||
|
pgstats: {
|
||||||
|
/* <pool_id>: {
|
||||||
|
<pg_id>: {
|
||||||
|
object_count: uint64_t,
|
||||||
|
clean_count: uint64_t,
|
||||||
|
misplaced_count: uint64_t,
|
||||||
|
degraded_count: uint64_t,
|
||||||
|
incomplete_count: uint64_t,
|
||||||
|
write_osd_set: osd_num_t[],
|
||||||
|
},
|
||||||
|
}, */
|
||||||
|
},
|
||||||
|
inode: {
|
||||||
|
stats: {
|
||||||
|
/* <pool_id>: {
|
||||||
|
<inode_t>: {
|
||||||
|
raw_used: uint64_t, // raw used bytes on OSDs
|
||||||
|
read: { count: uint64_t, usec: uint64_t, bytes: uint64_t, bps: uint64_t, iops: uint64_t, lat: uint64_t },
|
||||||
|
write: { count: uint64_t, usec: uint64_t, bytes: uint64_t, bps: uint64_t, iops: uint64_t, lat: uint64_t },
|
||||||
|
delete: { count: uint64_t, usec: uint64_t, bytes: uint64_t, bps: uint64_t, iops: uint64_t, lat: uint64_t },
|
||||||
|
},
|
||||||
|
}, */
|
||||||
|
},
|
||||||
|
},
|
||||||
|
pool: {
|
||||||
|
stats: {
|
||||||
|
/* <pool_id>: {
|
||||||
|
used_raw_tb: float, // used raw space in the pool
|
||||||
|
total_raw_tb: float, // maximum amount of space in the pool
|
||||||
|
raw_to_usable: float, // raw to usable ratio
|
||||||
|
space_efficiency: float, // 0..1
|
||||||
|
} */
|
||||||
|
},
|
||||||
|
},
|
||||||
|
stats: {
|
||||||
|
/* op_stats: {
|
||||||
|
<string>: { count: uint64_t, usec: uint64_t, bytes: uint64_t, bps: uint64_t, iops: uint64_t, lat: uint64_t },
|
||||||
|
},
|
||||||
|
subop_stats: {
|
||||||
|
<string>: { count: uint64_t, usec: uint64_t, iops: uint64_t, lat: uint64_t },
|
||||||
|
},
|
||||||
|
recovery_stats: {
|
||||||
|
degraded: { count: uint64_t, bytes: uint64_t, bps: uint64_t, iops: uint64_t },
|
||||||
|
misplaced: { count: uint64_t, bytes: uint64_t, bps: uint64_t, iops: uint64_t },
|
||||||
|
},
|
||||||
|
object_counts: {
|
||||||
|
object: uint64_t,
|
||||||
|
clean: uint64_t,
|
||||||
|
misplaced: uint64_t,
|
||||||
|
degraded: uint64_t,
|
||||||
|
incomplete: uint64_t,
|
||||||
|
},
|
||||||
|
object_bytes: {
|
||||||
|
total: uint64_t,
|
||||||
|
clean: uint64_t,
|
||||||
|
misplaced: uint64_t,
|
||||||
|
degraded: uint64_t,
|
||||||
|
incomplete: uint64_t,
|
||||||
|
}, */
|
||||||
|
},
|
||||||
|
history: {
|
||||||
|
last_clean_pgs: {},
|
||||||
|
},
|
||||||
|
index: {
|
||||||
|
image: {
|
||||||
|
/* <name>: {
|
||||||
|
id: uint64_t,
|
||||||
|
pool_id: uint64_t,
|
||||||
|
}, */
|
||||||
|
},
|
||||||
|
maxid: {
|
||||||
|
/* <pool_id>: uint64_t, */
|
||||||
|
},
|
||||||
|
},
|
||||||
|
};
|
||||||
|
|
||||||
|
module.exports = {
|
||||||
|
etcd_nonempty_keys,
|
||||||
|
etcd_allow,
|
||||||
|
etcd_tree,
|
||||||
|
};
|
Some files were not shown because too many files have changed in this diff Show More
Loading…
Reference in New Issue