1# 智慧化数据构建与检索概述 2 3## 场景介绍 4 5在数字化向智能化演进的关键阶段,构建智慧化服务已成为应用开发者提升产品竞争力的必然选择。 6 7当前,系统提供ArkData智慧数据平台(Arkdata Intelligence Platform,AIP),提供端侧数据智慧化解决方案。主要包含四大基础能力,端到端覆盖数据语义化、数据结构化存储、知识生成和融合检索全流程,完成数据和AI智能在端侧闭环。 8 9例如,在个人办公场景中,开发者可以将用户文档生成向量化语义,存储在向量数据库中,挖掘相似文档,生成个性化知识,支撑智能的检索、推荐、生成、问答等任务。 10 11## 基本概念 12 13在智慧化数据构建与检索过程中,涉及以下基本概念,请先了解相关含义。 14 15### 向量化 16向量化主要是指通过嵌入模型将高维非结构化数据(如文字、图像)映射为低维连续向量的嵌入技术。嵌入技术通过模型捕捉数据之间的语义关系,将抽象概念转化为可计算的数学表示,使计算机能够理解非结构化数据。目前,嵌入技术广泛应用于自然语言处理(语义搜索)、图像识别(特征提取)、推荐系统(用户/物品表征)等领域。 17 18## 实现机制 19 20应用可借助智慧数据平台能力,实现智慧化数据构建与检索,相关能力均运行在应用进程内,数据不出应用,保证隐私安全。 21 22智慧化数据构建是指,将应用数据转化为可计算的向量,应用于智慧化的数据存储和检索。具体开发指导可见应用数据向量化。 23 24智慧化数据检索是指,针对图片、文本等多种数据或多种数据库的融合查询,支持条件过滤、关系推理的符合数据检索场景。智慧化数据检索能力当前暂不支持,待后续开放提供。 25 26## 约束限制 27 28- 考虑到数据向量化处理的计算量和资源占用较大,当前仅支持在2in1设备上使用。 29- 嵌入模型的推理过程可使用NPU加速。与NPU计算相比,纯CPU的计算在时延和功耗上都有较大差距,建议采用NPU加速。 30