cli/dd: Write an O_APPEND stdout in order #130
Open
koolkhel
wants to merge 1 commits from
koolkhel/vitastor:dd-stdout-position into master
pull from: koolkhel/vitastor:dd-stdout-position
merge into: vitalif:master
vitalif:master
vitalif:primary-stickiness
vitalif:libvfn
vitalif:canceling
vitalif:immediate-repeering
vitalif:rdma-close-tcp
vitalif:use-degraded-writes
vitalif:fix-write-delete-flow
vitalif:openssl-3.0.12
vitalif:openssl-capture-secrets
vitalif:ignore-small-rdma-end
vitalif:encrypt-batch
vitalif:faster-peering-calc
vitalif:http-hello
vitalif:xxh3-bench
vitalif:create-user-etcd-based
vitalif:aesxts_streaming_nosupport
vitalif:refactor-heap-continue-write
vitalif:ston3lu-patch-0127
vitalif:rdma-credits
vitalif:heap-meta
vitalif:sendmsg-zc-no-more-error
vitalif:fix-clear-refs
vitalif:veeam-trick
vitalif:test-etcd-schizo
vitalif:test
vitalif:test1
vitalif:test2
vitalif:cow-meta
vitalif:kv-readahead
vitalif:qemu-fix-crash-idea
vitalif:eventloop-auto-init-trigger
vitalif:hugo-docs
vitalif:node-mutex-and-postpone
vitalif:check-writeback
vitalif:msgr-iothreads-v2
vitalif:antietcd
vitalif:rel-1.4
vitalif:test-fix-ec-unknown-state-51
vitalif:kv-update
vitalif:kv-debug
vitalif:hotfix-1.2.0
vitalif:rdma-simple-nodp
vitalif:zerocopy-tcp-send
vitalif:csi-staging
vitalif:hotfix-1.1.0
vitalif:hotfix-1.0.0
vitalif:fsync-feedback
vitalif:cached-reads
vitalif:qemu-send-loop
vitalif:test-double-alloc
vitalif:hier-failure-domains
vitalif:mon-self-restart
vitalif:epoch-deletions
vitalif:rdma-flow-control
vitalif:csi-use-vitastor-cli
vitalif:rdma-v2
vitalif:etcd-hide-base64
vitalif:lrc-matrix
vitalif:rm-left-on-dead
vitalif:nfs-proxy-old
vitalif:non-odp-rdma
vitalif:test-zctr
vitalif:separate-data-connections
vitalif:sec_osd_msgr
vitalif:test-assert
vitalif:nbd-vmsplice
vitalif:allow-etcd-address-option
vitalif:rdma-zerocopy
vitalif:rel-0.5
vitalif:openonload
vitalif:sync-io-test
vitalif:trace-sync
vitalif:trace-sqes
vitalif:test-submit-and-wait
vitalif:test-sq-poll
vitalif:blocking-uring-test
Reference in New Issue
Block a user
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
No description provided.
Delete Branch "koolkhel/vitastor:dd-stdout-position"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Description
With no
of=,vitastor-cli ddhas treated a regular-file stdout as seekable since0f98db3a, and it writes such a stdout with positional writes. On a shell's>>(vitastor-cli dd iimg=X >> file) the kernel appends every positional write, so withiodepth> 1 (4 by default) the blocks landed in their completion order. The file got the right size and scrambled content, and dd exited with 0.Treat an
O_APPENDstdout likeoflag=append.Tested: a new case in
tests/test_dd.sh,>>into a file with a prefix atbs=64k iodepth=16. It fails without the fix, and the whole test passes with it.Writing a shared stdout from its current position (
{ printf hdr; vitastor-cli dd iimg=X; printf trailer; } > file) was also in this PR before. It is now a separate commit, not part of this PR:4a083ac3dbContributor Name
Yury Luneff (MIND Software LLC, https://mindsw.io)
CLA
04bd387433to45dee0417245dee04172to0a78467afc0a78467afctoee7692750bВот вангую что сами и сломали прошлыми PR )
1 и 2 - это два отдельных фикса. разделите их
ee7692750bto50a19ed99f@@ -79,0 +86,4 @@(cat ./testdata/over ./testdata/testfile; head -c 64M /dev/zero; cat ./testdata/over) | cmp - ./testdata/testfile1 || format_error "dd to a shared stdout overwrote the data around the copy"rm ./testdata/testfile1# seek= on a shared stdout counts from its current position{ cat ./testdata/over; $VITASTOR_CLI dd iimg=testimg bs=64k iodepth=16 seek=2 count=160; cat ./testdata/over; } > ./testdata/testfile1Ууу. То есть это ради вот такого хитрого кейса - если у нас append в stdout, но при этом stdout seekable? Это конечно извращение то ещё, да.
Тут мне нужно ещё подумать, как я к такому кейсу отношусь...
50a19ed99fto1768fdc5f7cli/dd: Respect O_APPEND and the current position of stdoutto cli/dd: Write an O_APPEND stdout in orderТут два разных кейса, я их разделил.
Обычный
>>:vitastor-cli dd iimg=X >> file. Такой stdout — обычный файл, открытый с O_APPEND, то есть seekable. С0f98db3add пишет в него позиционной записью, а ядро на O_APPEND дописывает каждую запись в конец. При iodepth 4 (по умолчанию) блоки ложатся в порядке завершения: размер верный, содержимое перемешано, код возврата 0. Исправление — одна строка: stdout с O_APPEND обрабатывается как oflag=append. В #130 теперь только оно и тест на>>.Общий stdout — про него тест на seek=:
{ printf hdr; vitastor-cli dd iimg=X; printf trailer; } > fileили{ vitastor-cli dd iimg=a; vitastor-cli dd iimg=b; } > file. Так работает coreutils dd: пишет stdout с текущей позиции, seek= считает от неё (lseek с SEEK_CUR) и оставляет позицию после копии. vitastor-cli dd до0f98db3aвёл себя так же, потому что писал последовательно, а сейчас второй dd пишет с нуля поверх первого. Это вынесено в отдельный коммит, PR на него я не открывал:4a083ac3db. Если решишь, что такой кейс стоит поддерживать, открою PR; если нет — так и оставим.View command line instructions
Checkout
From your project repository, check out a new branch and test the changes.