Lines Matching refs:total_token_count
534 std::vector<float>* embeddings, int* total_token_count) const { in EmbedAndFlattenTokens()
560 *total_token_count = 0; in EmbedAndFlattenTokens()
563 ++(*total_token_count); in EmbedAndFlattenTokens()
571 ++(*total_token_count); in EmbedAndFlattenTokens()
580 ++(*total_token_count); in EmbedAndFlattenTokens()
591 for (; *total_token_count < min_num_total_tokens; ++(*total_token_count)) { in EmbedAndFlattenTokens()
601 const int total_token_count, in AllocateInput() argument
636 {1, total_token_count}); in AllocateInput()
653 int total_token_count = 0; in SetupModelInput() local
672 &total_token_count)) { in SetupModelInput()
679 if (!AllocateInput(context.size(), max_tokens, total_token_count, in SetupModelInput()