关键词:
生成式人工智能
认知层次
交互行为
系统评价
摘要:
[目的/意义]生成式人工智能的迅速发展推动用户交互行为与思维模式的变革。文章关注不同层次认知复杂度的任务下,用户与生成式人工智能的交互行为及其对系统表现评价的差异。[方法/过程]采用用户实验法,通过Kruskal-Wallis检验探究任务认知层次对用户交互行为及对系统评价的差异,通过主题分析法对用户评价生成式人工智能的新指标进行归纳。[结果/结论]在交互行为方面,用户在不同认知层次的任务完成中信息使用的时长几乎是不变的,变化的一直是信息获取的时长;评估创造类任务花费时间最多,提问与问答轮次最多,平均回答长度最短;应用分析类任务的回答中,总复制比低于记忆理解与评估创造类任务。在对系统的评价方面,评估创造类任务总体表现最差。在新评价指标方面,文章归纳出完整程度、一致程度等6大类、17小类新指标。文章在理论层面补充了以用户为中心的生成式人工智能评价指标,在实践层面有助于相关智能系统了解用户在不同任务类型下的行为特质,更有针对性地提供信息服务。