如何理解用户意图

[hiliuxg]

您好，我看你的demo，看起来都是用户的输入的问题是固定的，假设用户的问题不是固定的呢？我想请教问题

1. 如果理解用户意图，如果提的问题不合理，应该如何去让用户补全信息
2. 拿到用户意图之后，应该是抽取用户信息，拆解成时间，维度，指标，还有一些where的关系，如大于，小于等
3. 拿到结构化的用户信息之后，再去让LLM规划执行步骤，那就是1拿数据，2计算数据了

现在最难的是，如何理解用户意图，并做信息抽取？大佬有解决思路吗？

[zwq2018]

输入不是固定的，只是我给的例子比较少。因此gpt的输入长度限制，写不了太多例子。
意图检测是不难做的，只要你给LLM提供了意图可选范围。

1-如果意图不合理，一般要给用户提示，然后通过交互的方式让用户修正。后面版本应该会增加这个功能
2-你这个是传统做NLP那些的语义解析信息抽取的思路，大模型时代这些交给大模型做就行，不用划分这么清楚，告诉LLM要映射成啥样就可以，多写几个例子

[zwq2018]

这种问题不是我考虑的哈 Wey ***@***.***> 于2023年7月21日周五 10:19写道：

…

您好，我看你的demo，有个疑问，请帮忙解答下： 当我查询某家公司时，同一个实体公司（腾讯控股），可能有多种叫法（腾讯、鹅厂等），怎么实现识别为同一公司，给到接口查询返回结果呢？ — Reply to this email directly, view it on GitHub <#21 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AKRP2RABCNCYP2OODWBRLYLXRHRJZANCNFSM6AAAAAA2JCTEVQ> . You are receiving this because you commented.Message ID: ***@***.***>

[littledeepthink]

看起来就是借助In Context Learning使得模型在不微调的情况就能准确理解特定领域的用户意图。
请问：
1、相比zero shot，ICL的方式在意图识别准确率上会带来多大比例的提升呢？
2、gpt的输入长度限制问题怎么解决呢？总不能出现个badcase就加到prompt里面

[zwq2018]

看起来就是借助In Context Learning使得模型在不微调的情况就能准确理解特定领域的用户意图。 请问： 1、相比zero shot，ICL的方式在意图识别准确率上会带来多大比例的提升呢？ 2、gpt的输入长度限制问题怎么解决呢？总不能出现个badcase就加到prompt里面

1- ICL的提升是比较显著的，具体得用benchmark做评估。我觉得关键也不是ICL，而是使用大模型来管理和调用数据，把例子放在prompt只是让模型性能更好些而已
2- 其实常见的需求就那几种，完全可以把一些看meta case‘在prompt。或者用这些case的数据微调模型，把这种能力内化到模型参数