第 6 章

知识存储与查询架构

← 全部章节

6.1 逻辑模型与物理系统

知识存储包含多个层次:逻辑模型描述实体、关系与语义;物理数据库决定如何索引、遍历和更新记录;应用接口规定用户或智能体可执行的操作。它们不必一一对应。图谱可以结合文档库、关系型元数据、图数据库和向量索引,同时提供一致的知识接口。

RDF存储组织三元组或四元组,通常提供SPARQL;标签属性图用带标签或类型、并附加属性的节点和关系表示信息。选择会影响限定条件、标识符和查询模式的表达。属性图中的关系属性便于应用开发,RDF则便于共享词汇与标准交换。二者都不自动保证更好性能、更易推理或更高质量,这些结果取决于工作负载、实现和治理。

研究证据图谱即使使用属性图,也保留显式Claim主张节点,因为主张拥有自己的来源、审核状态和生命周期,且更便于跨存储技术转换。更简单的应用若断言结构简单、少需独立元数据,可以直接使用一条边。决策应服从信息生命周期,而非一味追求最大规范化或最少节点数。

表 2. 逻辑模型及实践权衡
维度RDF标签属性图
核心结构由IRI与字面量构成的三元组或四元组带属性的节点与类型化关系
查询语言SPARQL依具体实现而定,Cypher是一例
语义可以使用标准化蕴涵机制通常由应用定义,也可增加显式规则
限定条件命名图或显式断言与事件模式关系属性或显式断言与事件节点
设计检验保留身份 情境 来源与所需查询的意义采用相同语义检验
混合架构将图结构、检索索引和来源文档分开,统一标识与访问政策。
图 6

混合架构将图结构、检索索引和来源文档分开,统一标识与访问政策。

原图保留中英文标签;请结合正文解释阅读。点击可查看大图。

6.2 查询含义与工作负载

SPARQL支持RDF数据上的图模式匹配、过滤、聚合和可选模式等操作[9],例如查询通过评价连接到某方法的论文,再按数据集过滤。答案依赖查询的数据集及配置的蕴涵机制。标准化提供共享语言,但应用仍需规定命名图用途、身份约定,以及是否包含推断陈述。

Cypher通过节点与有向关系表达属性图模式,MATCH选择符合模式的数据,后续子句再过滤或变换结果[46]。建议的本地实现沿Method、Evaluation、Claim到SourceSpan检索证据,路径有明确类型和长度边界,既说明连接意图,也限制扩展。跨所有关系的无限制遍历可能返回很大的邻域,却在语义上缺乏一致性。

查询设计应从选择性开始。精确方法标识或文档键,通常比扫描所有节点更适合做入口。索引可加快适合的查找,但收益取决于查询规划器和数据分布。未测代表查询就建立大量索引是常见错误。真正应考察实际工作负载上的执行计划与延迟,包括真实数据规模和并发用户。

6.3 混合存储与权威来源

文档存储保留原始与解析材料,图存储保留明确关系和身份,全文索引支持词形匹配,向量索引支持文本或其他表示的相似检索,关系或分析型存储则可保存大型数值表与实验指标。各系统提供不同访问方式。应用应明确每类信息以哪种表示为权威来源,以及如何刷新派生副本。

例如,来源仓库对论文某版本的正文具有权威性,图谱对该版本与抽取主张之间已接受的映射具有权威性,向量索引则只是派生检索工具。如果嵌入过时,应根据权威文本重新生成,而不能将旧向量当作独立事实记录。稳定标识与版本标签使这些层次能够分开管理。

混合检索可以先结合实体精确匹配、词形搜索与向量相似度,再沿图关系扩展。顺序应服从问题:包含已验证DOI的查询可从精确身份开始,模糊概念问题可先用文本相似度,再解析候选实体。保留检索路径,有助于评价错误究竟来自初始检索、实体链接、图扩展还是答案生成。

6.4 事务 一致性与并发

事务按照数据库支持的保障,将相关修改组织为共同成功或失败的一组操作。导入可在同一事务中创建Evaluation、连接论元并附加来源;若仅部分成功,图谱可能留下能通过简单查询的孤立记录。因此,验证应检查结构完整性,事务则保护建立完整性的过程。

并发写入带来额外困难。两个抽取进程可能同时创建同一规范实体;稳定键上的唯一性约束能防止重复,但应用必须正确处理冲突,并在适当情况下重试。生成的标题不是可靠键,进程也不能为避免冲突而随意合并记录。身份政策与并发政策应一致地规定哪些记录允许归并。

分布式表示可能在不同时间更新:图事务完成时,搜索索引还未刷新。应用应规定是否容许暂时不一致,以及用户如何识别。高保障任务可以用带版本的检索请求,要求来源与索引版本匹配;一般探索界面则可能接受短暂延迟。关键是明确一致性要求,而非假定所有组件同时变化。

6.5 规模与分区

图负载对拓扑敏感。少量高度节点可能支配遍历成本,而大型图若查询选择性强、范围有界,仍可能易于处理。按部门或地理分区可缩小存储与访问范围,但跨分区关系可能变得昂贵;复制改善读取可用性,却增加一致更新的维护成本。这些权衡应依据实际关系模式测试,而非只看节点总数。

分析计算通常使用操作图的某个投影。引用分析只取Paper与CITES,合作分析则可能派生无向共同作者图。每次投影都会改变边的含义,并可能丢弃限定条件,因此应随结果保存投影定义、来源快照和权重规则。否则,同名中心性分数可能因来自不同图而被误作可比。

大型文本、图像和二进制文件通常应保存在合适的对象或文档存储中,由图谱引用,而不是复制到每个关联节点。这样,遍历聚焦于结构,同时保留证据访问,也简化留存和版本管理。图谱应保存足够的定位与核验元数据;需要精确复现时,还应包含内容哈希。

6.6 安全 备份与可迁移性

访问控制必须同时覆盖记录与派生视图。无权访问保密实验的用户,不应通过无限制邻域摘要获知其结果。只在最终答案过滤已经太晚,因为受限信息可能已影响检索或生成。建议架构在候选检索、遍历和证据组装时检查权限,并记录请求适用的政策版本。

备份质量通过恢复来证明。有效恢复演练应恢复图谱、来源引用、模式与索引,达到能够回答代表性问题的程度。仅导出三元组或节点,可能遗漏应用需要的身份规则、过程或嵌入。因此,可迁移性包含数据及其解释。交换包应说明标识、关系含义、数据类型、溯源字段和版本假设。

成功的存储架构应在满足操作要求时保留意义。快速遍历有用,但证据图谱还需要正确身份、一致快照、可恢复更新和可理解的访问规则。这些性质使存储知识足够可靠,能够支持后续章节讨论的计算与智能体。