Searched refs:LlamaRuntime (Results 1 – 7 of 7) sorted by relevance
23 void LlamaRuntime::Initialize( in Initialize()88 void LlamaRuntime::Release() { in Release()97 void LlamaRuntime::SwapModel(const size_t batchSize) { in SwapModel()114 void LlamaRuntime::Reset() { in Reset()121 void* LlamaRuntime::Run( in Run()192 size_t LlamaRuntime::GetTokenBatchSize() const { in GetTokenBatchSize()196 size_t LlamaRuntime::GetTokenIndex() const { in GetTokenIndex()200 const LlamaModelOptions& LlamaRuntime::GetModelOptions() const { in GetModelOptions()
25 class LlamaRuntime {27 explicit LlamaRuntime() {} in LlamaRuntime() function28 ~LlamaRuntime() {} in ~LlamaRuntime()
37 INTERFACE MultiModelLoader.h ModelChunk.h LlamaModelChunk.h LlamaRuntime.h39 LlamaRuntime.cpp
30 using example::LlamaRuntime;56 LlamaRuntime& llama_runtime,60 LlamaRuntime& llama_runtime,65 LlamaRuntime& llama_runtime,76 std::unique_ptr<LlamaRuntime> runtime_;
137 using example::LlamaRuntime;178 LlamaRuntime& llama_runtime, in digest_prompt()229 LlamaRuntime& llama_runtime, in gen_response()302 LlamaRuntime& llama_runtime, in inference()365 LlamaRuntime llama_runtime; in main()
107 runtime_ = std::make_unique<LlamaRuntime>(); in load()187 LlamaRuntime& llama_runtime, in digest_prompt()238 LlamaRuntime& llama_runtime, in gen_response()311 LlamaRuntime& llama_runtime, in inference()
167 ${EXECUTORCH_ROOT}/examples/mediatek/executor_runner/llama_runner/LlamaRuntime.cpp