关键词:
结构功能识别
生成式大模型
大语言模型
结构化摘要
语步识别
摘要:
结构功能识别这一判别式任务上的可行性及应用潜力,为基于生成式大语言模型构建高质量结构化数据提供参考。[方法/过程]采用单轮、零样本提示的方式基于GPT 4.0、Qwen 1.5和ERNIE 4.0实现结构功能分类任务,根据领域、语种、时间划分构建不同的测试子集,以P、R、F1和准确率为评估指标,以单因素方差分析结果衡量不同测试子集间的性能差异程度。[结果/结论]大语言模型的输出不完全与提示中的约束一致,说明使用生成式模型解决判别式任务时,输出结果存在不可控风险,但符合提示的输出比例较高说明使用生成式模型解决判别式任务基本可用。不同大语言模型的性能表现不同,GPT 4.0和ERNIE 4.0在不同结构功能类别样本的所有指标、不同领域样本的R和准确率、不同语种样本的P和F1均表现出0.01水平显著性,其他则无显著差异。未来基于生成式大语言模型解决判别式任务时应着重关注输出结果的可控性、领域自适应等问题。