Lines Matching refs:tsd_tsdn
372 arena_t *arena = arena_get(tsd_tsdn(tsd), ind, false); in arena_bind()
386 oldarena = arena_get(tsd_tsdn(tsd), oldind, false); in arena_migrate()
387 newarena = arena_get(tsd_tsdn(tsd), newind, false); in arena_migrate()
397 arena = arena_get(tsd_tsdn(tsd), ind, false); in arena_unbind()
490 ret = arena_get(tsd_tsdn(tsd), choose, true); in arena_choose_hard()
516 malloc_mutex_lock(tsd_tsdn(tsd), &arenas_lock); in arena_choose_hard()
517 assert(arena_get(tsd_tsdn(tsd), 0, false) != NULL); in arena_choose_hard()
519 if (arena_get(tsd_tsdn(tsd), i, false) != NULL) { in arena_choose_hard()
526 tsd_tsdn(tsd), i, false), !!j) < in arena_choose_hard()
528 tsd_tsdn(tsd), choose[j], false), in arena_choose_hard()
548 if (arena_nthreads_get(arena_get(tsd_tsdn(tsd), in arena_choose_hard()
556 ret = arena_get(tsd_tsdn(tsd), in arena_choose_hard()
564 arena = arena_init_locked(tsd_tsdn(tsd), in arena_choose_hard()
568 malloc_mutex_unlock(tsd_tsdn(tsd), in arena_choose_hard()
579 malloc_mutex_unlock(tsd_tsdn(tsd), &arenas_lock); in arena_choose_hard()
585 tsd_tsdn(tsd), choose[j]); in arena_choose_hard()
590 ret = arena_get(tsd_tsdn(tsd), 0, false); in arena_choose_hard()
1547 malloc_mutex_lock(tsd_tsdn(tsd), &init_lock);
1551 if (malloc_init_narenas() || background_thread_boot1(tsd_tsdn(tsd))) {
1552 UNLOCK_RETURN(tsd_tsdn(tsd), true, true)
1555 UNLOCK_RETURN(tsd_tsdn(tsd), true, true)
1561 UNLOCK_RETURN(tsd_tsdn(tsd), true, true)
1564 malloc_mutex_unlock(tsd_tsdn(tsd), &init_lock);
1578 background_thread_ctl_init(tsd_tsdn(tsd));
1580 malloc_mutex_lock(tsd_tsdn(tsd), &background_thread_lock);
1582 malloc_mutex_unlock(tsd_tsdn(tsd), &background_thread_lock);
1717 arena = arena_get(tsd_tsdn(tsd), dopts->arena_ind, true);
1721 return ipalloct(tsd_tsdn(tsd), usize, dopts->alignment,
1725 return iallocztm(tsd_tsdn(tsd), size, ind, dopts->zero, tcache, false,
1752 arena_prof_promote(tsd_tsdn(tsd), ret, usize);
1863 check_entry_exit_locking(tsd_tsdn(tsd));
1913 prof_malloc(tsd_tsdn(tsd), allocation, usize, &alloc_ctx, tctx);
1936 assert(usize == isalloc(tsd_tsdn(tsd), allocation));
1945 check_entry_exit_locking(tsd_tsdn(tsd));
1959 check_entry_exit_locking(tsd_tsdn(tsd));
1990 check_entry_exit_locking(tsd_tsdn(tsd));
2174 arena_prof_promote(tsd_tsdn(tsd), p, usize);
2190 old_tctx = prof_tctx_get(tsd_tsdn(tsd), old_ptr, alloc_ctx);
2212 check_entry_exit_locking(tsd_tsdn(tsd));
2222 rtree_szind_slab_read(tsd_tsdn(tsd), &extents_rtree, rtree_ctx,
2238 idalloctm(tsd_tsdn(tsd), ptr, tcache, &alloc_ctx, false,
2241 idalloctm(tsd_tsdn(tsd), ptr, tcache, &alloc_ctx, false,
2251 check_entry_exit_locking(tsd_tsdn(tsd));
2272 rtree_szind_slab_read(tsd_tsdn(tsd), &extents_rtree,
2280 rtree_szind_slab_read(tsd_tsdn(tsd), &extents_rtree, rtree_ctx,
2296 isdalloct(tsd_tsdn(tsd), ptr, usize, tcache, ctx, false);
2298 isdalloct(tsd_tsdn(tsd), ptr, usize, tcache, ctx, true);
2336 check_entry_exit_locking(tsd_tsdn(tsd));
2340 rtree_szind_slab_read(tsd_tsdn(tsd), &extents_rtree, rtree_ctx,
2344 assert(old_usize == isalloc(tsd_tsdn(tsd), ptr));
2356 tsdn = tsd_tsdn(tsd);
2402 check_entry_exit_locking(tsd_tsdn(tsd));
2418 check_entry_exit_locking(tsd_tsdn(tsd));
2643 old_tctx = prof_tctx_get(tsd_tsdn(tsd), old_ptr, alloc_ctx);
2646 p = irallocx_prof_sample(tsd_tsdn(tsd), old_ptr, old_usize,
2649 p = iralloct(tsd_tsdn(tsd), old_ptr, old_usize, size, alignment,
2666 *usize = isalloc(tsd_tsdn(tsd), p);
2695 check_entry_exit_locking(tsd_tsdn(tsd));
2699 arena = arena_get(tsd_tsdn(tsd), arena_ind, true);
2719 rtree_szind_slab_read(tsd_tsdn(tsd), &extents_rtree, rtree_ctx,
2723 assert(old_usize == isalloc(tsd_tsdn(tsd), ptr));
2736 p = iralloct(tsd_tsdn(tsd), ptr, old_usize, size, alignment,
2742 usize = isalloc(tsd_tsdn(tsd), p);
2752 check_entry_exit_locking(tsd_tsdn(tsd));
2762 check_entry_exit_locking(tsd_tsdn(tsd));
2803 old_tctx = prof_tctx_get(tsd_tsdn(tsd), ptr, alloc_ctx);
2828 usize = ixallocx_prof_sample(tsd_tsdn(tsd), ptr, old_usize,
2831 usize = ixallocx_helper(tsd_tsdn(tsd), ptr, old_usize, size,
2859 check_entry_exit_locking(tsd_tsdn(tsd));
2863 rtree_szind_slab_read(tsd_tsdn(tsd), &extents_rtree, rtree_ctx,
2867 assert(old_usize == isalloc(tsd_tsdn(tsd), ptr));
2889 usize = ixallocx_helper(tsd_tsdn(tsd), ptr, old_usize, size,
2902 check_entry_exit_locking(tsd_tsdn(tsd));
2944 check_entry_exit_locking(tsd_tsdn(tsd));
2975 check_entry_exit_locking(tsd_tsdn(tsd));
3004 size_t usize = inallocx(tsd_tsdn(tsd), size, flags);
3005 assert(usize == isalloc(tsd_tsdn(tsd), ptr));
3006 check_entry_exit_locking(tsd_tsdn(tsd));
3037 check_entry_exit_locking(tsd_tsdn(tsd));
3083 check_entry_exit_locking(tsd_tsdn(tsd));
3085 check_entry_exit_locking(tsd_tsdn(tsd));
3103 check_entry_exit_locking(tsd_tsdn(tsd));
3105 check_entry_exit_locking(tsd_tsdn(tsd));
3125 check_entry_exit_locking(tsd_tsdn(tsd));
3127 check_entry_exit_locking(tsd_tsdn(tsd));
3229 ctl_prefork(tsd_tsdn(tsd));
3230 tcache_prefork(tsd_tsdn(tsd));
3231 malloc_mutex_prefork(tsd_tsdn(tsd), &arenas_lock);
3233 background_thread_prefork0(tsd_tsdn(tsd));
3235 prof_prefork0(tsd_tsdn(tsd));
3237 background_thread_prefork1(tsd_tsdn(tsd));
3242 if ((arena = arena_get(tsd_tsdn(tsd), j, false)) !=
3246 arena_prefork0(tsd_tsdn(tsd), arena);
3249 arena_prefork1(tsd_tsdn(tsd), arena);
3252 arena_prefork2(tsd_tsdn(tsd), arena);
3255 arena_prefork3(tsd_tsdn(tsd), arena);
3258 arena_prefork4(tsd_tsdn(tsd), arena);
3261 arena_prefork5(tsd_tsdn(tsd), arena);
3264 arena_prefork6(tsd_tsdn(tsd), arena);
3267 arena_prefork7(tsd_tsdn(tsd), arena);
3274 prof_prefork1(tsd_tsdn(tsd));
3302 if ((arena = arena_get(tsd_tsdn(tsd), i, false)) != NULL) {
3303 arena_postfork_parent(tsd_tsdn(tsd), arena);
3306 prof_postfork_parent(tsd_tsdn(tsd));
3308 background_thread_postfork_parent(tsd_tsdn(tsd));
3310 malloc_mutex_postfork_parent(tsd_tsdn(tsd), &arenas_lock);
3311 tcache_postfork_parent(tsd_tsdn(tsd));
3312 ctl_postfork_parent(tsd_tsdn(tsd));
3329 if ((arena = arena_get(tsd_tsdn(tsd), i, false)) != NULL) {
3330 arena_postfork_child(tsd_tsdn(tsd), arena);
3333 prof_postfork_child(tsd_tsdn(tsd));
3335 background_thread_postfork_child(tsd_tsdn(tsd));
3337 malloc_mutex_postfork_child(tsd_tsdn(tsd), &arenas_lock);
3338 tcache_postfork_child(tsd_tsdn(tsd));
3339 ctl_postfork_child(tsd_tsdn(tsd));