在最近的一项研究中，UKB 研究人员创建了两组，每组 25 个多项选择题 (MCQ)，每组都有五个可能的答案，其中一个是正确的。第一组问题是由经验丰富的医学讲师撰写的;第二组是由 ChatGPT 创建的。161 名学生按随机顺序回答了所有问题。对于每个问题，学生们还表明他们认为它是由人类还是由 ChatGPT 创建的。

研究作者之一、UKB 医学教学研究所助理研究员 Matthias Laupichler 解释说：“我们很惊讶人类生成的问题和 ChatGPT 生成的问题的难度几乎相同。更令我们惊讶的是，几乎一半的情况下，学生无法正确识别问题的来源。”

“虽然结果显然需要在进一步的研究中得到复制，但使用 ChatGPT 和 co. 自动生成考试问题似乎是医学研究的一个有前途的工具。”

他的同事兼该研究的合著者 Johanna Rother 补充道：“讲师可以使用 ChatGPT 生成考试问题的想法，然后由讲师进行检查，并在必要时进行修改。然而，在我们看来，尤其是学生受益于自动生成的医疗实践问题，因为众所周知，自我测试自己的知识对于学习非常有益。”

医学教学研究所所长 Tobias Raupach 继续说道：“我们从之前的研究中了解到，ChatGPT 等语言模型可以回答医学状态考试中的问题。我们现在首次证明，该软件还可以用于写出与经验丰富的老师几乎没有什么不同的新问题。”

正在第七学期学习人类医学的蒂齐安·凯泽 (Tizian Kaiser) 评论道：“在进行模拟考试时，我很惊讶地发现区分这些问题是多么困难。我的方法是根据不同的条件来区分问题。它们的长度、句子结构的复杂性以及内容的难度。”