Store v2: Do not return unstable entries beyond the listing page #136
@@ -374,9 +374,17 @@ void blockstore_impl_t::process_list(blockstore_op_t *op)
|
||||
// Ordered result is expected - used by scrub
|
||||
// We use an unordered map
|
||||
std::sort(result, result + stable_count);
|
||||
if (stable_count > op->list_stable_limit)
|
||||
if (stable_count >= op->list_stable_limit)
|
||||
{
|
||||
memmove(result + op->list_stable_limit, result + stable_count, unstable_count*sizeof(obj_ver_id));
|
||||
// Return unstable versions only up to the last stable object, the caller continues after it
|
||||
object_id last_oid = result[op->list_stable_limit-1].oid;
|
||||
size_t kept = 0;
|
||||
for (size_t i = 0; i < unstable_count; i++)
|
||||
{
|
||||
if (!(last_oid < result[stable_count+i].oid))
|
||||
|
|
||||
result[op->list_stable_limit + kept++] = result[stable_count+i];
|
||||
}
|
||||
unstable_count = kept;
|
||||
stable_count = op->list_stable_limit;
|
||||
}
|
||||
}
|
||||
|
||||
@@ -1071,6 +1071,12 @@ static void test_list_limit()
|
||||
test.exec_op(&op);
|
||||
assert(op.retval == op.len);
|
||||
|
||||
printf("writing 1:384K 4K+4K unstable\n");
|
||||
op.oid = { .inode = INODE_WITH_POOL(1, 1), .stripe = 384*1024 };
|
||||
op.version = 1;
|
||||
test.exec_op(&op);
|
||||
assert(op.retval == op.len);
|
||||
|
||||
op.opcode = BS_OP_LIST;
|
||||
free(op.buf);
|
||||
op.buf = NULL;
|
||||
@@ -1087,6 +1093,17 @@ static void test_list_limit()
|
||||
obj_ver_id *lst = (obj_ver_id*)op.buf;
|
||||
assert((lst[0] == (obj_ver_id){ .oid = { .inode = INODE_WITH_POOL(1, 1), .stripe = 0 }, .version = 1 }));
|
||||
assert((lst[1] == (obj_ver_id){ .oid = { .inode = INODE_WITH_POOL(1, 1), .stripe = 0 }, .version = 2 }));
|
||||
free(op.buf);
|
||||
|
||||
// A page filled exactly to the limit leaves 1:384K to the next page too
|
||||
op.buf = NULL;
|
||||
op.max_oid = { .inode = INODE_WITH_POOL(1, 1000), .stripe = 0 };
|
||||
op.list_stable_limit = 3;
|
||||
test.exec_op(&op);
|
||||
assert(op.retval == 4);
|
||||
assert(op.version == 3);
|
||||
lst = (obj_ver_id*)op.buf;
|
||||
assert((lst[3] == (obj_ver_id){ .oid = { .inode = INODE_WITH_POOL(1, 1), .stripe = 0 }, .version = 2 }));
|
||||
|
||||
free(op.buf);
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user
Я не вижу нигде в сторе v1 такой проверки. И stable и unstable лимитируются одними и теми же min/max oid. И в v2 как будто тоже. В чём же тогда разница, зачем изменение?
Проверка в v1 есть, только сделана иначе, и в двух местах. Когда набралось
list_stable_limitчистых объектов, v1 сужаетmax_oidдо последнего возвращённого стабильного объекта (v1/impl.cpp:655), иdirty_dbобходится уже до него (v1/impl.cpp:690). А если страница набралась на стабильных записяхdirty_db, обход просто останавливается (v1/impl.cpp:736). Это и обещает blockstore.h:129: unstable только из(min_oid .. min(max_oid, max(returned stable OIDs))).В v2
heap->list_objects()получает исходныеmin_oid/max_oid(blockstore_impl.cpp:371), после сортировки обрезается только stable-часть, а unstable копируются все (blockstore_impl.cpp:379). У скрабаmax_oidравен концу пула, так что каждая страница несёт все unstable-версии PG отmin_oidдо конца пула.Пример из
test_list_limitв PR: stable1:0 v1,1:128K v1,1:256K v1; unstable1:0 v2и1:384K v1(у1:384Kесть только unstable-версия).BS_OP_LISTсlist_stable_limit=1:1:384Kне вернёт;[1:0 v1]+[1:0 v2, 1:384K v1], retval 3. Проверил: master плюс только тест из PR падает наassert(op.retval == 2)(test_blockstore.cpp:1091), с исправлением проходит.Скраб обходит все записи ответа (osd_scrub.cpp:137), то есть проверяет
1:384K, потом просит следующую страницу после1:0(osd_scrub.cpp:169) и получает1:384Kснова. Так на каждой странице, пока стабильные объекты до него не дойдут. Отсюда и>=: приlist_stable_limit=3страница заполнена ровно, master в обрезку не заходит, а скраб всё равно запрашивает следующую страницу (osd_scrub.cpp:159).Данные это не портит: это повторная проверка тех же объектов и лишние записи в каждом ответе. Предлагаю оставить, как в v1 и в blockstore.h. Если для v2 этот контракт не нужен, закрою PR.