Store v2: Do not return unstable entries beyond the listing page #136

Merged
vitalif merged 1 commits from koolkhel/vitastor:list-trim-unstable into master 2026-11-21 11:26:03 +03:00
2 changed files with 27 additions and 2 deletions

View File

@@ -374,9 +374,17 @@ void blockstore_impl_t::process_list(blockstore_op_t *op)
// Ordered result is expected - used by scrub
// We use an unordered map
std::sort(result, result + stable_count);
if (stable_count > op->list_stable_limit)
if (stable_count >= op->list_stable_limit)
{
memmove(result + op->list_stable_limit, result + stable_count, unstable_count*sizeof(obj_ver_id));
// Return unstable versions only up to the last stable object, the caller continues after it
object_id last_oid = result[op->list_stable_limit-1].oid;
size_t kept = 0;
for (size_t i = 0; i < unstable_count; i++)
{
if (!(last_oid < result[stable_count+i].oid))
Review

Я не вижу нигде в сторе v1 такой проверки. И stable и unstable лимитируются одними и теми же min/max oid. И в v2 как будто тоже. В чём же тогда разница, зачем изменение?

Я не вижу нигде в сторе v1 такой проверки. И stable и unstable лимитируются одними и теми же min/max oid. И в v2 как будто тоже. В чём же тогда разница, зачем изменение?
Review

Проверка в v1 есть, только сделана иначе, и в двух местах. Когда набралось list_stable_limit чистых объектов, v1 сужает max_oid до последнего возвращённого стабильного объекта (v1/impl.cpp:655), и dirty_db обходится уже до него (v1/impl.cpp:690). А если страница набралась на стабильных записях dirty_db, обход просто останавливается (v1/impl.cpp:736). Это и обещает blockstore.h:129: unstable только из (min_oid .. min(max_oid, max(returned stable OIDs))).

В v2 heap->list_objects() получает исходные min_oid/max_oid (blockstore_impl.cpp:371), после сортировки обрезается только stable-часть, а unstable копируются все (blockstore_impl.cpp:379). У скраба max_oid равен концу пула, так что каждая страница несёт все unstable-версии PG от min_oid до конца пула.

Пример из test_list_limit в PR: stable 1:0 v1, 1:128K v1, 1:256K v1; unstable 1:0 v2 и 1:384K v1 (у 1:384K есть только unstable-версия). BS_OP_LIST с list_stable_limit=1:

  • v1 1:384K не вернёт;
  • v2 на master вернёт [1:0 v1] + [1:0 v2, 1:384K v1], retval 3. Проверил: master плюс только тест из PR падает на assert(op.retval == 2) (test_blockstore.cpp:1091), с исправлением проходит.

Скраб обходит все записи ответа (osd_scrub.cpp:137), то есть проверяет 1:384K, потом просит следующую страницу после 1:0 (osd_scrub.cpp:169) и получает 1:384K снова. Так на каждой странице, пока стабильные объекты до него не дойдут. Отсюда и >=: при list_stable_limit=3 страница заполнена ровно, master в обрезку не заходит, а скраб всё равно запрашивает следующую страницу (osd_scrub.cpp:159).

Данные это не портит: это повторная проверка тех же объектов и лишние записи в каждом ответе. Предлагаю оставить, как в v1 и в blockstore.h. Если для v2 этот контракт не нужен, закрою PR.

Проверка в v1 есть, только сделана иначе, и в двух местах. Когда набралось `list_stable_limit` чистых объектов, v1 сужает `max_oid` до последнего возвращённого стабильного объекта ([v1/impl.cpp:655](https://git.yourcmc.ru/vitalif/vitastor/src/commit/cf5c466e83195bf7d870b60805ea23720c9ed76e/src/blockstore/v1/impl.cpp#L655)), и `dirty_db` обходится уже до него ([v1/impl.cpp:690](https://git.yourcmc.ru/vitalif/vitastor/src/commit/cf5c466e83195bf7d870b60805ea23720c9ed76e/src/blockstore/v1/impl.cpp#L690)). А если страница набралась на стабильных записях `dirty_db`, обход просто останавливается ([v1/impl.cpp:736](https://git.yourcmc.ru/vitalif/vitastor/src/commit/cf5c466e83195bf7d870b60805ea23720c9ed76e/src/blockstore/v1/impl.cpp#L736)). Это и обещает [blockstore.h:129](https://git.yourcmc.ru/vitalif/vitastor/src/commit/cf5c466e83195bf7d870b60805ea23720c9ed76e/src/blockstore/blockstore.h#L129): unstable только из `(min_oid .. min(max_oid, max(returned stable OIDs)))`. В v2 `heap->list_objects()` получает исходные `min_oid`/`max_oid` ([blockstore_impl.cpp:371](https://git.yourcmc.ru/vitalif/vitastor/src/commit/cf5c466e83195bf7d870b60805ea23720c9ed76e/src/blockstore/blockstore_impl.cpp#L371)), после сортировки обрезается только stable-часть, а unstable копируются все ([blockstore_impl.cpp:379](https://git.yourcmc.ru/vitalif/vitastor/src/commit/cf5c466e83195bf7d870b60805ea23720c9ed76e/src/blockstore/blockstore_impl.cpp#L379)). У скраба `max_oid` равен концу пула, так что каждая страница несёт все unstable-версии PG от `min_oid` до конца пула. Пример из `test_list_limit` в PR: stable `1:0 v1`, `1:128K v1`, `1:256K v1`; unstable `1:0 v2` и `1:384K v1` (у `1:384K` есть только unstable-версия). `BS_OP_LIST` с `list_stable_limit=1`: - v1 `1:384K` не вернёт; - v2 на master вернёт `[1:0 v1]` + `[1:0 v2, 1:384K v1]`, retval 3. Проверил: master плюс только тест из PR падает на `assert(op.retval == 2)` (test_blockstore.cpp:1091), с исправлением проходит. Скраб обходит все записи ответа ([osd_scrub.cpp:137](https://git.yourcmc.ru/vitalif/vitastor/src/commit/cf5c466e83195bf7d870b60805ea23720c9ed76e/src/osd/osd_scrub.cpp#L137)), то есть проверяет `1:384K`, потом просит следующую страницу после `1:0` ([osd_scrub.cpp:169](https://git.yourcmc.ru/vitalif/vitastor/src/commit/cf5c466e83195bf7d870b60805ea23720c9ed76e/src/osd/osd_scrub.cpp#L169)) и получает `1:384K` снова. Так на каждой странице, пока стабильные объекты до него не дойдут. Отсюда и `>=`: при `list_stable_limit=3` страница заполнена ровно, master в обрезку не заходит, а скраб всё равно запрашивает следующую страницу ([osd_scrub.cpp:159](https://git.yourcmc.ru/vitalif/vitastor/src/commit/cf5c466e83195bf7d870b60805ea23720c9ed76e/src/osd/osd_scrub.cpp#L159)). Данные это не портит: это повторная проверка тех же объектов и лишние записи в каждом ответе. Предлагаю оставить, как в v1 и в blockstore.h. Если для v2 этот контракт не нужен, закрою PR.
result[op->list_stable_limit + kept++] = result[stable_count+i];
}
unstable_count = kept;
stable_count = op->list_stable_limit;
}
}

View File

@@ -1071,6 +1071,12 @@ static void test_list_limit()
test.exec_op(&op);
assert(op.retval == op.len);
printf("writing 1:384K 4K+4K unstable\n");
op.oid = { .inode = INODE_WITH_POOL(1, 1), .stripe = 384*1024 };
op.version = 1;
test.exec_op(&op);
assert(op.retval == op.len);
op.opcode = BS_OP_LIST;
free(op.buf);
op.buf = NULL;
@@ -1087,6 +1093,17 @@ static void test_list_limit()
obj_ver_id *lst = (obj_ver_id*)op.buf;
assert((lst[0] == (obj_ver_id){ .oid = { .inode = INODE_WITH_POOL(1, 1), .stripe = 0 }, .version = 1 }));
assert((lst[1] == (obj_ver_id){ .oid = { .inode = INODE_WITH_POOL(1, 1), .stripe = 0 }, .version = 2 }));
free(op.buf);
// A page filled exactly to the limit leaves 1:384K to the next page too
op.buf = NULL;
op.max_oid = { .inode = INODE_WITH_POOL(1, 1000), .stripe = 0 };
op.list_stable_limit = 3;
test.exec_op(&op);
assert(op.retval == 4);
assert(op.version == 3);
lst = (obj_ver_id*)op.buf;
assert((lst[3] == (obj_ver_id){ .oid = { .inode = INODE_WITH_POOL(1, 1), .stripe = 0 }, .version = 2 }));
free(op.buf);
}