Lines Matching refs:xas
71 XA_STATE_ORDER(xas, xa, index, order); in xa_store_order()
75 xas_lock(&xas); in xa_store_order()
76 curr = xas_store(&xas, entry); in xa_store_order()
77 xas_unlock(&xas); in xa_store_order()
78 } while (xas_nomem(&xas, gfp)); in xa_store_order()
101 XA_STATE(xas, xa, 0); in check_xas_retry()
108 XA_BUG_ON(xa, xas_find(&xas, ULONG_MAX) != xa_mk_value(0)); in check_xas_retry()
110 XA_BUG_ON(xa, !xa_is_retry(xas_reload(&xas))); in check_xas_retry()
111 XA_BUG_ON(xa, xas_retry(&xas, NULL)); in check_xas_retry()
112 XA_BUG_ON(xa, xas_retry(&xas, xa_mk_value(0))); in check_xas_retry()
113 xas_reset(&xas); in check_xas_retry()
114 XA_BUG_ON(xa, xas.xa_node != XAS_RESTART); in check_xas_retry()
115 XA_BUG_ON(xa, xas_next_entry(&xas, ULONG_MAX) != xa_mk_value(0)); in check_xas_retry()
116 XA_BUG_ON(xa, xas.xa_node != NULL); in check_xas_retry()
122 XA_BUG_ON(xa, !xa_is_internal(xas_reload(&xas))); in check_xas_retry()
123 xas.xa_node = XAS_RESTART; in check_xas_retry()
124 XA_BUG_ON(xa, xas_next_entry(&xas, ULONG_MAX) != xa_mk_value(0)); in check_xas_retry()
128 xas_lock(&xas); in check_xas_retry()
129 xas_set(&xas, 0); in check_xas_retry()
130 xas_store(&xas, XA_RETRY_ENTRY); in check_xas_retry()
131 xas_set(&xas, 1); in check_xas_retry()
132 xas_store(&xas, XA_RETRY_ENTRY); in check_xas_retry()
134 xas_set(&xas, 0); in check_xas_retry()
135 xas_for_each(&xas, entry, ULONG_MAX) { in check_xas_retry()
136 xas_store(&xas, xa_mk_index(xas.xa_index)); in check_xas_retry()
138 xas_unlock(&xas); in check_xas_retry()
217 XA_STATE(xas, xa, i); in check_xa_mark_1()
227 xas_for_each(&xas, entry, ULONG_MAX) in check_xa_mark_1()
233 xas_set(&xas, 0); in check_xa_mark_1()
236 xas_for_each_marked(&xas, entry, ULONG_MAX, XA_MARK_0) in check_xa_mark_1()
253 XA_STATE(xas, xa, 0); in check_xa_mark_2()
260 xas_lock(&xas); in check_xa_mark_2()
261 xas_load(&xas); in check_xa_mark_2()
262 xas_init_marks(&xas); in check_xa_mark_2()
263 xas_unlock(&xas); in check_xa_mark_2()
271 xas_reset(&xas); in check_xa_mark_2()
273 xas_for_each_marked(&xas, entry, ULONG_MAX, XA_MARK_0) in check_xa_mark_2()
278 xas_lock(&xas); in check_xa_mark_2()
279 xas_for_each(&xas, entry, ULONG_MAX) { in check_xa_mark_2()
280 xas_init_marks(&xas); in check_xa_mark_2()
281 XA_BUG_ON(xa, !xa_get_mark(xa, xas.xa_index, XA_MARK_0)); in check_xa_mark_2()
282 XA_BUG_ON(xa, !xas_get_mark(&xas, XA_MARK_0)); in check_xa_mark_2()
284 xas_unlock(&xas); in check_xa_mark_2()
301 XA_STATE(xas, xa, 1); in check_xa_shrink()
314 xas_lock(&xas); in check_xa_shrink()
315 XA_BUG_ON(xa, xas_load(&xas) != xa_mk_value(1)); in check_xa_shrink()
316 node = xas.xa_node; in check_xa_shrink()
318 XA_BUG_ON(xa, xas_store(&xas, NULL) != xa_mk_value(1)); in check_xa_shrink()
320 XA_BUG_ON(xa, xas.xa_node != XAS_BOUNDS); in check_xa_shrink()
322 XA_BUG_ON(xa, xas_load(&xas) != NULL); in check_xa_shrink()
323 xas_unlock(&xas); in check_xa_shrink()
466 XA_STATE(xas, xa, 0); in check_xas_erase()
472 xas_set(&xas, j); in check_xas_erase()
474 xas_lock(&xas); in check_xas_erase()
475 xas_store(&xas, xa_mk_index(j)); in check_xas_erase()
476 xas_unlock(&xas); in check_xas_erase()
477 } while (xas_nomem(&xas, GFP_KERNEL)); in check_xas_erase()
480 xas_set(&xas, ULONG_MAX); in check_xas_erase()
482 xas_lock(&xas); in check_xas_erase()
483 xas_store(&xas, xa_mk_value(0)); in check_xas_erase()
484 xas_unlock(&xas); in check_xas_erase()
485 } while (xas_nomem(&xas, GFP_KERNEL)); in check_xas_erase()
487 xas_lock(&xas); in check_xas_erase()
488 xas_store(&xas, NULL); in check_xas_erase()
490 xas_set(&xas, 0); in check_xas_erase()
492 xas_for_each(&xas, entry, ULONG_MAX) { in check_xas_erase()
494 xas_store(&xas, NULL); in check_xas_erase()
497 xas_unlock(&xas); in check_xas_erase()
506 XA_STATE(xas, xa, index); in check_multi_store_1()
516 xas_lock(&xas); in check_multi_store_1()
517 XA_BUG_ON(xa, xas_store(&xas, xa_mk_index(min)) != xa_mk_index(index)); in check_multi_store_1()
518 xas_unlock(&xas); in check_multi_store_1()
531 XA_STATE(xas, xa, index); in check_multi_store_2()
534 xas_lock(&xas); in check_multi_store_2()
535 XA_BUG_ON(xa, xas_store(&xas, xa_mk_value(1)) != xa_mk_value(0)); in check_multi_store_2()
536 XA_BUG_ON(xa, xas.xa_index != index); in check_multi_store_2()
537 XA_BUG_ON(xa, xas_store(&xas, NULL) != xa_mk_value(1)); in check_multi_store_2()
538 xas_unlock(&xas); in check_multi_store_2()
545 XA_STATE(xas, xa, 0); in check_multi_store_3()
551 xas_lock(&xas); in check_multi_store_3()
552 xas_for_each(&xas, entry, ULONG_MAX) { in check_multi_store_3()
557 xas_set(&xas, index + 1); in check_multi_store_3()
558 xas_for_each(&xas, entry, ULONG_MAX) { in check_multi_store_3()
563 xas_unlock(&xas); in check_multi_store_3()
842 XA_STATE_ORDER(xas, xa, start, order); in __check_store_iter()
847 xas_lock(&xas); in __check_store_iter()
848 xas_for_each_conflict(&xas, entry) { in __check_store_iter()
854 xas_store(&xas, xa_mk_index(start)); in __check_store_iter()
855 xas_unlock(&xas); in __check_store_iter()
856 if (xas_nomem(&xas, GFP_KERNEL)) { in __check_store_iter()
860 XA_BUG_ON(xa, xas_error(&xas)); in __check_store_iter()
947 XA_STATE(xas, xa, j + index); in check_multi_find_2()
952 xas_for_each(&xas, entry, ULONG_MAX) { in check_multi_find_2()
1033 XA_STATE(xas, xa, 0); in check_find_3()
1041 xas_set(&xas, j); in check_find_3()
1042 xas_for_each_marked(&xas, entry, k, XA_MARK_0) in check_find_3()
1046 xas.xa_node != XAS_RESTART); in check_find_3()
1089 XA_STATE(xas, xa, 0); in xa_find_entry()
1094 xas_for_each(&xas, entry, ULONG_MAX) { in xa_find_entry()
1095 if (xas_retry(&xas, entry)) in xa_find_entry()
1102 xas_pause(&xas); in xa_find_entry()
1106 return entry ? xas.xa_index : -1; in xa_find_entry()
1143 XA_STATE(xas, xa, 0); in check_move_tiny()
1147 XA_BUG_ON(xa, xas_next(&xas) != NULL); in check_move_tiny()
1148 XA_BUG_ON(xa, xas_next(&xas) != NULL); in check_move_tiny()
1152 xas_set(&xas, 0); in check_move_tiny()
1153 XA_BUG_ON(xa, xas_next(&xas) != xa_mk_index(0)); in check_move_tiny()
1154 XA_BUG_ON(xa, xas_next(&xas) != NULL); in check_move_tiny()
1155 xas_set(&xas, 0); in check_move_tiny()
1156 XA_BUG_ON(xa, xas_prev(&xas) != xa_mk_index(0)); in check_move_tiny()
1157 XA_BUG_ON(xa, xas_prev(&xas) != NULL); in check_move_tiny()
1165 XA_STATE(xas, xa, 0); in check_move_small()
1173 void *entry = xas_next(&xas); in check_move_small()
1175 XA_BUG_ON(xa, xas.xa_node == XAS_RESTART); in check_move_small()
1176 XA_BUG_ON(xa, xas.xa_index != i); in check_move_small()
1182 xas_next(&xas); in check_move_small()
1183 XA_BUG_ON(xa, xas.xa_index != i); in check_move_small()
1186 void *entry = xas_prev(&xas); in check_move_small()
1189 XA_BUG_ON(xa, xas.xa_node == XAS_RESTART); in check_move_small()
1190 XA_BUG_ON(xa, xas.xa_index != i); in check_move_small()
1197 xas_set(&xas, ULONG_MAX); in check_move_small()
1198 XA_BUG_ON(xa, xas_next(&xas) != NULL); in check_move_small()
1199 XA_BUG_ON(xa, xas.xa_index != ULONG_MAX); in check_move_small()
1200 XA_BUG_ON(xa, xas_next(&xas) != xa_mk_value(0)); in check_move_small()
1201 XA_BUG_ON(xa, xas.xa_index != 0); in check_move_small()
1202 XA_BUG_ON(xa, xas_prev(&xas) != NULL); in check_move_small()
1203 XA_BUG_ON(xa, xas.xa_index != ULONG_MAX); in check_move_small()
1213 XA_STATE(xas, xa, (1 << 16) - 1); in check_move()
1221 void *entry = xas_prev(&xas); in check_move()
1224 XA_BUG_ON(xa, i != xas.xa_index); in check_move()
1227 XA_BUG_ON(xa, xas_prev(&xas) != NULL); in check_move()
1228 XA_BUG_ON(xa, xas.xa_index != ULONG_MAX); in check_move()
1231 void *entry = xas_next(&xas); in check_move()
1233 XA_BUG_ON(xa, i != xas.xa_index); in check_move()
1241 i = xas.xa_index; in check_move()
1245 void *entry = xas_prev(&xas); in check_move()
1251 XA_BUG_ON(xa, i != xas.xa_index); in check_move()
1254 XA_BUG_ON(xa, xas_prev(&xas) != NULL); in check_move()
1255 XA_BUG_ON(xa, xas.xa_index != ULONG_MAX); in check_move()
1258 void *entry = xas_next(&xas); in check_move()
1263 XA_BUG_ON(xa, i != xas.xa_index); in check_move()
1282 XA_STATE_ORDER(xas, xa, index, order); in xa_store_many_order()
1286 xas_lock(&xas); in xa_store_many_order()
1287 XA_BUG_ON(xa, xas_find_conflict(&xas)); in xa_store_many_order()
1288 xas_create_range(&xas); in xa_store_many_order()
1289 if (xas_error(&xas)) in xa_store_many_order()
1292 XA_BUG_ON(xa, xas_store(&xas, xa_mk_index(index + i))); in xa_store_many_order()
1293 xas_next(&xas); in xa_store_many_order()
1296 xas_unlock(&xas); in xa_store_many_order()
1297 } while (xas_nomem(&xas, GFP_KERNEL)); in xa_store_many_order()
1299 XA_BUG_ON(xa, xas_error(&xas)); in xa_store_many_order()
1327 XA_STATE(xas, NULL, 0); in check_create_range_3()
1328 xas_set_err(&xas, -EEXIST); in check_create_range_3()
1329 xas_create_range(&xas); in check_create_range_3()
1330 XA_BUG_ON(NULL, xas_error(&xas) != -EEXIST); in check_create_range_3()
1336 XA_STATE_ORDER(xas, xa, index, order); in check_create_range_4()
1337 unsigned long base = xas.xa_index; in check_create_range_4()
1342 xas_lock(&xas); in check_create_range_4()
1343 xas_create_range(&xas); in check_create_range_4()
1344 if (xas_error(&xas)) in check_create_range_4()
1347 void *old = xas_store(&xas, xa_mk_index(base + i)); in check_create_range_4()
1348 if (xas.xa_index == index) in check_create_range_4()
1352 xas_next(&xas); in check_create_range_4()
1355 xas_unlock(&xas); in check_create_range_4()
1356 } while (xas_nomem(&xas, GFP_KERNEL)); in check_create_range_4()
1358 XA_BUG_ON(xa, xas_error(&xas)); in check_create_range_4()
1502 XA_STATE(xas, node->array, 0); in shadow_remove()
1505 xas.xa_node = xa_parent_locked(node->array, node); in shadow_remove()
1506 xas.xa_offset = node->offset; in shadow_remove()
1507 xas.xa_shift = node->shift + XA_CHUNK_SHIFT; in shadow_remove()
1508 xas_set_update(&xas, test_update_node); in shadow_remove()
1509 xas_store(&xas, NULL); in shadow_remove()
1516 XA_STATE(xas, xa, index); in check_workingset()
1517 xas_set_update(&xas, test_update_node); in check_workingset()
1520 xas_lock(&xas); in check_workingset()
1521 xas_store(&xas, xa_mk_value(0)); in check_workingset()
1522 xas_next(&xas); in check_workingset()
1523 xas_store(&xas, xa_mk_value(1)); in check_workingset()
1524 xas_unlock(&xas); in check_workingset()
1525 } while (xas_nomem(&xas, GFP_KERNEL)); in check_workingset()
1529 xas_lock(&xas); in check_workingset()
1530 xas_next(&xas); in check_workingset()
1531 xas_store(&xas, &xas); in check_workingset()
1534 xas_store(&xas, xa_mk_value(2)); in check_workingset()
1535 xas_unlock(&xas); in check_workingset()
1553 XA_STATE(xas, xa, 1 << order); in check_account()
1557 xas_load(&xas); in check_account()
1558 XA_BUG_ON(xa, xas.xa_node->count == 0); in check_account()
1559 XA_BUG_ON(xa, xas.xa_node->count > (1 << order)); in check_account()
1560 XA_BUG_ON(xa, xas.xa_node->nr_values != 0); in check_account()
1565 XA_BUG_ON(xa, xas.xa_node->count != xas.xa_node->nr_values * 2); in check_account()
1568 XA_BUG_ON(xa, xas.xa_node->nr_values != 0); in check_account()