AgentRE【智能抽取】

智能抽取：像个善于观察人际关系的社会学家，不仅能记住关键信息，还会主动查证并深入思考，从而准确理解复杂的关系网络。即使面对错综复杂的关系，也能通过多角度分析，理清其中的脉络，避免望文生义。

• 发表时间：2024.09.03
• 论文名称：AgentRE: An Agent-Based Framework for Navigating Complex Information Landscapes in Relation Extraction
• 论文地址：https://arxiv.org/abs/2409.01854
• Github 地址：https://github.com/Lightblues/AgentRE

一、论文动机

• 背景：关系抽取（RE）是将非结构化文本转化为结构化数据（关系三元组）的过程，在知识图谱构建中扮演重要角色。然而，由于关系类型的多样性和实体间关系的模糊性，传统的“文本输入，文本输出”语言模型在RE任务中面临挑战。

二、论文思路

• AgentRE：提出了一种基于智能体的RE框架AgentRE，通过整合大型语言模型的记忆、检索和反思能力，有效应对这些挑战。AgentRE包含三大模块：检索模块、记忆模块和提取模块，助力代理高效获取并处理信息，显著提升RE性能。
• AgentRE的三大模块
  • 检索模块：负责从现有数据集中提取相关样本，并搜集补充知识，辅助提取模块完成RE任务。检索模块分为样本检索模块和相关信息检索模块，利用编码器将当前文本转化为嵌入向量，计算训练数据集中样本与当前文本的相似性，以检索与当前文本相似的样本。
  • 记忆模块：负责在提取过程中动态地利用现有知识，并进行反思和总结，更好地完成后续的提取任务。记忆模块被划分为短期记忆和长期记忆，短期记忆记录了初步的提取经验，长期记忆涵盖了对过往记忆的深入反思与更新。
  • 提取模块：借鉴了ReAct的互动式方法，通过多轮的思考、行动、观察来推进。在此框架下，检索与记忆模块被视作智能体可调用的外部工具。智能体通过一系列API接口，输入工具名称和参数，随后获得反馈结果。
• 小模型的精炼
  • 蒸馏学习：为了弥补小模型在推理能力上的不足，提出了一种蒸馏学习的方法，通过利用大型模型的历史推理路径来引导小模型的学习。对不同类型问题采用多样化的推理策略，可以显著增强模型解决问题的适应性。

三、实验设计与结果

• 测评数据集：在DuIE（最大的中文关系抽取数据集）和SciERC（科学领域英文命名实体识别与关系抽取数据集）两个数据集进行测试。
• 测试基准方法：将AgentRE与多种基于LLM的信息抽取模型/框架进行对比，包括ChatIE、GPT-RE、CodeKGC、CodeIE、UIE、USM和InstructUIE等。
• 测评结果：实验结果表明，AgentRE在零样本学习（ZFL）、少样本学习（FSL）和有监督的微调（SFT）三种实验范式下均表现出色。特别是在FSL组中，AgentRE-FSL显著超越了当前最佳模型，展示了其在利用标记数据和辅助信息方面的优势。
• 消融实验：探究了AgentRE在不同配置下的表现，包括缺少检索模块（AgentRE-w/oR）、缺少记忆模块（AgentRE-w/oM）和两者皆无（AgentRE-w/oRM）。结果表明，检索模块和记忆模块对AgentRE的性能至关重要。

四、论文总结

AgentRE通过整合大型语言模型的记忆、检索和反思能力，有效应对复杂场景关系抽取中关系类型多样以及单个句子中实体之间关系模糊的挑战。AgentRE 包含三大模块，助力代理高效获取并处理信息，显著提升 RE 性能。

致谢

• 参考：https://mp.weixin.qq.com/s/WLaaniD7RRgN0h2OCztDcQ