Store v2: Do not return unstable entries beyond the listing page #136
Reference in New Issue
Block a user
No description provided.
Delete Branch "koolkhel/vitastor:list-trim-unstable"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Description
BS_OP_LIST with list_stable_limit promises unstable versions only from the range of the returned stable objects, and Store v1 keeps to it (it moves max_oid to the last stable object once the page is full). Store v2 limited only the stable part and returned every unstable version of the PG.
The paged caller is scrub, locally or through SEC_LIST: it walks all returned entries and then lists the next page starting just after the last stable object it got. So unstable versions past the page were handled in that page and again in a later one. This drops them once the page is full, also when it is filled exactly to the limit, since such a page also makes the caller ask for the next one.
Tested: test_blockstore (test_list_limit extended with an unstable-only object past the page, listed with a limit below and exactly at the stable count; fails on master).
Contributor Name
Yury Luneff (MIND Software LLC, https://mindsw.io)
CLA
@@ -380,0 +381,4 @@size_t kept = 0;for (size_t i = 0; i < unstable_count; i++){if (!(last_oid < result[stable_count+i].oid))Я не вижу нигде в сторе v1 такой проверки. И stable и unstable лимитируются одними и теми же min/max oid. И в v2 как будто тоже. В чём же тогда разница, зачем изменение?
@@ -380,0 +381,4 @@size_t kept = 0;for (size_t i = 0; i < unstable_count; i++){if (!(last_oid < result[stable_count+i].oid))Проверка в v1 есть, только сделана иначе, и в двух местах. Когда набралось
list_stable_limitчистых объектов, v1 сужаетmax_oidдо последнего возвращённого стабильного объекта (v1/impl.cpp:655), иdirty_dbобходится уже до него (v1/impl.cpp:690). А если страница набралась на стабильных записяхdirty_db, обход просто останавливается (v1/impl.cpp:736). Это и обещает blockstore.h:129: unstable только из(min_oid .. min(max_oid, max(returned stable OIDs))).В v2
heap->list_objects()получает исходныеmin_oid/max_oid(blockstore_impl.cpp:371), после сортировки обрезается только stable-часть, а unstable копируются все (blockstore_impl.cpp:379). У скрабаmax_oidравен концу пула, так что каждая страница несёт все unstable-версии PG отmin_oidдо конца пула.Пример из
test_list_limitв PR: stable1:0 v1,1:128K v1,1:256K v1; unstable1:0 v2и1:384K v1(у1:384Kесть только unstable-версия).BS_OP_LISTсlist_stable_limit=1:1:384Kне вернёт;[1:0 v1]+[1:0 v2, 1:384K v1], retval 3. Проверил: master плюс только тест из PR падает наassert(op.retval == 2)(test_blockstore.cpp:1091), с исправлением проходит.Скраб обходит все записи ответа (osd_scrub.cpp:137), то есть проверяет
1:384K, потом просит следующую страницу после1:0(osd_scrub.cpp:169) и получает1:384Kснова. Так на каждой странице, пока стабильные объекты до него не дойдут. Отсюда и>=: приlist_stable_limit=3страница заполнена ровно, master в обрезку не заходит, а скраб всё равно запрашивает следующую страницу (osd_scrub.cpp:159).Данные это не портит: это повторная проверка тех же объектов и лишние записи в каждом ответе. Предлагаю оставить, как в v1 и в blockstore.h. Если для v2 этот контракт не нужен, закрою PR.