第 3 章

实体抽取与身份消歧

← 全部章节

3.1 从文本片段到规范实体

实体抽取是一系列相关任务。提及检测寻找文本片段,命名实体识别为片段分配类别,实体链接在适当情况下将其映射到已有实体,共指消解连接语境中指向同一对象的表达,实体消歧与归一则协调不同来源的记录。系统即使能准确识别提及边界,仍可能犯下严重的身份错误。

考虑虚构文本:“Mei Chen在Northbridge Institute展示了GraphLens。Chen随后发布了它的评价数据集。”第一句引入人物、方法或软件系统,以及机构;第二句需要判断Chen是否仍指同一人,并确定“它”的指向。流程应保存原始片段和可能的解释。如果GraphLens也是某个无关商业产品的名称,仅按表面名称链接便会造成误导。

规范实体是系统当前对某个指称对象的统一表示,应具有稳定标识,并记录把各次提及归入该实体的证据。新提及不应自动产生新规范实体;未知实体也不应被强行归到最接近的现有候选。NIL或“未解决”常常才是正确结果,图谱可以在获得更多信息后重新处理这些提及。

3.2 方法及其适当职责

当标识符格式严格,或词汇集合小而稳定时,字典与模式规则依然有用。DOI模式、设备序列号、人工维护的内部项目代码,可能更适合用确定性规则抽取。规则也便于审核者查看精确匹配条件,但其弱点是覆盖不全、容易受表达变化影响。将规则与学习模型结合,可以在标准字段上保持高精确率,同时提高自然语言表达的召回率。

Lample等人利用字符、词表示与序列建模展示了神经命名实体识别方法[13];BERT引入上下文化语言表示,成为许多抽取系统的基础[14]。这些贡献针对表示和预测,不能替代适合领域的标注政策。只训练过Person、Organization和Location的模型,不会自动理解科学方法、度量指标和数据集版本之间的区别。

基于片段的方法表示并分类候选文本跨度,更便于处理重叠或嵌套提及。SpERT将Transformer表示用于实体与关系抽取[16];DyGIE++用上下文化片段表示连接实体、关系与事件抽取[17]。它们展示了简单词元标注流程以外的选择。实际选型取决于语料是否包含嵌套术语、跨句指代,以及围绕同一表达的多种关系。

大语言模型可以依据指令和示例生成结构化实体候选,在缺少大型标注数据集时具有灵活性。不过,生产系统仍应限制输出模式,要求来源片段,验证标识与类型,并允许暂不判断。一个听起来合理、却没有在来源中出现或不能由来源支持的实体,不应进入已接受图谱。要求模型“准确”,远不如检查其输出可观察的性质可靠。

表 1. 代表性抽取方法
方法主要用途评价关注
规则与字典精确识别标准化标识覆盖与格式变化
序列标注 [13, 14]根据语境预测提及与类型嵌套提及与领域迁移
片段与联合模型 [16, 17]共享实体与关系表示论元错误的传播
生成式抽取 [19]从文本生成结构输出无依据增补与限定遗漏
实体检索与排序 [15]可扩展候选消歧NIL处理与错误合并
实体抽取分开处理提及检测、候选生成、实体链接和复核。允许暂不判断,以保留不确定性而非强行认定身份。
图 3

实体抽取分开处理提及检测、候选生成、实体链接和复核。允许暂不判断,以保留不确定性而非强行认定身份。

原图保留中英文标签;请结合正文解释阅读。点击可查看大图。

3.3 实体链接与身份归一

实体链接通常先生成候选,再进行候选排序。候选生成应优先保证召回,因为正确实体必须先出现在集合中,排序器才有机会选中它。排序阶段再比较语境、别名、描述与可用标识。BLINK先使用稠密检索,再作更细致的候选评分,以支持可扩展实体链接[15]。这里的实践启示在于分层架构:低成本检索和更有选择性的消歧阶段承担不同职责。

研究证据图谱依次使用精确标识、规范化标题与语境,最后将不确定匹配送入审核队列。经过验证的精确DOI匹配,是文档身份的有力证据;标题相似但年份和作者名单不同,则需要调查。人物的任职与合作者语境有帮助,但不能被当作永久身份属性:人会转职,两个人也可能同名且在同一机构工作。

身份归一的错误成本并不对称。漏合并可能造成信息重复,误合并两个研究者则可能把论文和主张归给错误的人。因此,接受阈值取决于下游任务:发现界面可以显示可能匹配,归属认定或评价系统则应在合并前要求更强证据。阈值应根据标注案例和审核成本选择,不能只因模型方便地输出了某个小数。

审计记录应保存合并理由并支持撤销。一种实用表示是将规范实体与来源记录分开,为每个映射附加状态。若后来否定合并,系统修改映射并重算派生视图,而不破坏性替换所有原始标识。这样的设计也能解释实体为何具有某个标签或属性。

3.4 语言 版面与领域难点

中英混合文档带来特定困难。中文词边界不总由空格标记,缩写可能保留英文,译名也可能因来源而不同。规范化时,应同时保留原始词形与标准形式。多语言别名表有助于检索,但别名还应带有语言和来源信息;否则,在一个领域无歧义的缩写,可能导致另一个领域的实体被错误合并。

文档版面也承载意义。表头中的数据集名称可能适用于多行,脚注可能限定数值,图注可能定义全文只出现一次的缩写。把PDF压平为单一文本流,会破坏这些联系。可靠流程应在抽取前保存章节、表格、图注和阅读顺序。对扫描材料,光学字符识别错误应与抽取模型错误区分,因为二者需要不同修复方法。

专业领域需要仔细定义类型。“Transformer”可能指模型家族、具体架构或电气设备;“Control”可能指对照组、控制程序或指令。正确标签依赖语境和图谱目的。标注指南应提供正例、近似但不属于的例子,以及边界情形。标注者分歧有时揭示的是模式含糊,而不只是标注粗心。

3.5 评价与复核

实体抽取评价应分开考察片段边界、类型、实体链接与端到端规范化的准确性。精确片段匹配便于复现,放宽的重叠度量则可诊断接近正确的情况。只报告综合分数,会掩盖错误来自检测还是身份认定。评价数据应包含低质量扫描、中英混合段落、未见过的名称及知识库中不存在的实体。仅含熟悉名称的简单基准,可能明显高估部署质量。

审核可以按后果和不确定性排序。低置信、尚无下游用途的提及可以等待;支撑许多重要主张的不确定身份则应优先检查。队列也应抽查高置信预测,以发现只按低置信筛选会漏掉的系统性错误。审核修订应经受控流程更新标注评价集,同时保留独立留出集测量改进。

因此,实体抽取的产物应是带证据锚点、身份决策和不确定性记录的候选集合。把它视为“文本一步转成真理”,会使后续修复昂贵;把它视为一连串可撤销的解释,图谱便能随来源、模型与人的理解变化而改进。