-
Notifications
You must be signed in to change notification settings - Fork 75
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
在BQ数据集上训练,评估结果差距有些大 #13
Comments
您好~我需要首先复现一下您的结果,麻烦请您稍微等一下,如果实验有结果之后一定给您反馈。应该是实验过程中哪里出问题了。十分感谢您的反馈! |
感谢您的回复,敬候~ |
您好~麻烦尝试一下下面一组超参数组合,当时实验过程中我们使用了3张12G内存的TITAN Xp。 |
您好 按照您现在给定的这个参数,依然没有达到论文中给定的结果,训练策略上是有什么特殊的设置吗? |
你好,我看了半天作者的文件,还是没懂怎么配置,可以发下你配置的bq_glyce_bert.sh么。 |
作者你好,怎么多GPU,gpus=0-2-3; ,没有这个参数啊,在CUDA_VISIBLE_DEVICES=1,2,3会有错误 |
在BQ数据集上训练时候,采用默认参数,直接运行
scripts/bq_glyce_bert.sh
。得到的结果与官方提供的结果存在较大出入(由于显存限制,训练时候bacth size设置为50,其他参数默认),请问是否有其他需要改动的参数?按照直观感知,不该与bacth size=64的有这么大的差距(5个点的差距)。DEV数据集上,f1, acc, loss分别为:
在TEST数据集上,f1, acc, loss分别为:
或者能否帮忙看下,您那边对于该数据集采用batch size=50时候,BQ数据集评测结果指标是多少?
多谢!
The text was updated successfully, but these errors were encountered: