会议信息
EACL 2023
相关出版物
《极端多标签分类中的聚类引导标签生成》
研究内容
多年来,某中心的研究人员一直在探索极端多标签分类(XMC)这一主题,即在可能的分类类别空间很大(例如数百万个标签)时对输入进行分类。在此过程中,我们多次推动了技术发展。
但先前的工作是在经典分类问题设置中进行的,其中模型为空间中的每个标签计算概率。在一篇新论文中,我们将XMC视为生成式问题,对于每个输入词序列,模型生成标签的输出序列。这使我们能够利用大型语言模型的力量来完成XMC任务。
然而,在这种设置中,与经典设置一样,困难在于XMC标签空间中的大多数标签属于长尾分布,在训练数据中代表性示例很少。过去的工作通过将标签空间组织成层次结构来解决这个问题:首先对输入进行粗粒度分类,然后通过层次树的连续细化遍历,到达语义相关概念的聚类。这有助于模型从相关但具有不同标签的示例中学习通用分类原则,也减少了模型完全错误标记的可能性。
技术方法
在论文中,我们做了类似的工作,使用辅助网络将标签分组为聚类,并使用聚类信息指导生成模型的输出。我们在训练期间尝试了两种不同的指导方式:
- 将指示哪些聚类适用于文本输入的位向量直接馈送到生成模型中
- 在多任务目标上微调模型:模型学习从聚类名称预测标签,以及从文本预测聚类名称
架构设计
我们考虑的任务是模型接收文档(如维基百科条目)作为输入,并输出表征其内容的一组标签。为了微调生成模型,我们使用包含样本文本和人工标注者应用的标签的数据集。
作为基线生成模型,我们使用T5语言模型。T5是编码器-解码器模型,使用双向而非单向编码:在预测标签时,它可以访问整个输入序列。这非常适合我们的设置,其中标签的顺序不如其准确性重要,我们希望标签最好地表征整个文档,而不仅仅是其子部分。
为了创建标签聚类,我们使用预训练模型为训练集中每个文档的单词生成嵌入——即将它们映射到表示空间中,其中邻近性表示语义相似性。给定标签的嵌入则是包含该标签的所有文档的平均嵌入。一旦标签被嵌入,我们使用k均值聚类将它们组织成聚类。
XLGen-BCL架构(左):文本的真实标签聚类在比特数组中表示为1。在训练期间,位数组作为额外输入传递给模型,但在推理时,模型仅接收文本。
XLGen-MCG架构(右):模型在多任务目标上训练,同时学习将聚类编号映射到标签,以及将文本映射到聚类编号。在推理时,模型首先为文本分配一组聚类编号,然后将聚类编号映射到标签。
实验结果
我们使用四个数据集评估了两种聚类引导生成模型和四个基线,并在每个数据集上评估了整体性能和对罕见(长尾)标签的性能。
在评估整体性能时,我们使用F1分数(同时考虑假阳性和假阴性),并使用两种不同的方法平均每个标签的F1分数:宏平均简单平均所有标签的F1分数;微平均汇总所有标签的所有真阳性、假阳性和假阴性,并计算全局F1分数。
在评估长尾标签性能时,我们考虑了在训练数据中仅出现一次或未出现的标签。
我们还使用正未标记(PU)数据进行了一组实验。对于每个训练示例,我们移除了一半的真实标签。由于从一个示例中移除的标签可能仍然出现在不同的示例中,它仍然可以作为输出标签出现。实验因此评估了模型在标签间的泛化能力。
在PU数据上,生成模型显著优于传统分类器,XLGen-MCG模型显著优于生成基线。
研究领域
对话式AI
标签
极端多标签分类、生成式AI、EACL
更多精彩内容 请关注我的个人公众号 公众号(办公AI智能小助手)或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号(网络安全技术点滴分享)
公众号二维码
公众号二维码