调教最“暖”大模型：通过prompt调试并比较国内外大模型人情味的小实验-中国社科院.doc

通过prompt调试并比较国内外

大模型“人情味”的小实验

循证 实操 普通人可复现 实验范式

37摄氏度的大模型

中国社科院社会学所·腾讯研究院

SSV银发实验室·SSV数字生态实验室·中国残联公益组织-腾讯无障碍创新实验室

联合出品

前言

研究问题

第一章｜理论人情味的初印象

第二章｜测温

谁是最暖大模型？

目

录

发现一｜没想到吧，GPT-4的人情味居然垫底了！

10

发现二｜国内大模型，最得老人心?

11

发现三｜国外大模型更懂职场的烦恼

12

发现四｜国内大模型更懂你在人际关系里有多难

13

第三章｜实操

如何撰写一则有效的prompt？

第四章｜技巧

怎么用prompt最有效？

发现五｜「教原理」还是「喂作业」？调教最乖大模型！发现六｜红榜：人情味最佳搭配TOP3

第五章｜实战

对大模型来讲,“人情味”难在哪里？

发现七｜教做人易，学善意难！

发现八｜学做人，光会抄作业 还不够

发现九｜谁家的大模型一点就通？

彩蛋｜人类的光辉

发现十｜珍视人类的光辉

后记

附录｜实验流程

作者

18

19

21

22

23

25

前言

人工智能领域迎来了期待已久的“智慧涌现”，受到了全社会的关注和热议。

为了解社会多元群体对现有的大模型问答的感受，我们在2023年7-8月组织了若干场不同类型社会群体的焦点小组，包括老年人、残疾人和心情低落者，邀请他们对大模型进行提问，并访谈他们的感受与期望。

我们观察到，有相当一部分社会群体，除了关注大模型能否提供实用信息，也期待大模型的回答能温暖心灵、提供关怀，通俗来讲，他们期待大模型亦能

有“人情味”的涌现。

我们同样带着这样的期待，开始设计这场小小的实验。

AI

AIAI

01

研究问题

这场小实验希望尝试回答这样一些问题：

什么是人情味？

当前大模型的回答人情味浓吗？

人情味的“浓淡”是否在不同话题间有所差异？

没有技术背景的普通人，能否通过一些简便的办法提升大模型的人情味？本文尝试了两种类型的prompt（即直接在大模型对话框中输入文本），1是「原则型」,2是「答案对型」，并进一步实验：

prompting能否有效提升人情味方面？

哪种prompt效果更好？

它们的效果在不同模型、不同话题上是否有所差异？

文末还有一个非正式研究彩蛋哦！

02

第一章｜理论

人情味的初印象

篇章概览：本章我们要讨论关于“人情味”这个温暖又迷人的概念，聆听美学大家朱光潜先生对它的评述，向新闻学理论家讨教“人情味公式”，从语言学、博物学、以及福利多元主义、无知之幕、优势视角这些有趣的概念中汲取灵感。最重要的是，本章我们大胆提出了“人情味”的测量表！

03

什么是人情味？

最常被引用的解释是“人通常具有的情感、意味等”，《国语辞典》中的解释是“人与人之间温暖的感情、兴味”，我们还可以找到一些相似的解释，大意大同小异，都会强调一种温暖、关怀的意味和感受。

人情味是一个充满中国气派的词语，但整体上现有的解释还比较抽象，也暂不存在一个现成的量表可直接用于实验。

作为一个探索意义大于验证意味的小实验，在开始前，我们希望先与读者朋友们一起从美学/文学/社会学/语言学/新闻学/博物学，以及普通人的杂感、日记、朋友圈中汲取对人情味的实感。

0404

美学家眼中的人情味

朱光潜先生曾在多篇文学评论中表达他对人情味的理解和喜爱。他指出，无论中国还是外国，最富有人情味的主题莫过于爱情，尤其是细腻深刻的爱情。他在《谈美书简》中提出：

““人具有一般动物所没有的自觉心和精神生活”

“一切真正伟大的文艺作品没有不“体现出人的伟大和尊严的”

存在人情味的公式吗？

美国学者弗雷奇在他出版的《TheArtofReadableWriting》中就有一个描述人情味的公式：

H.I.=3.635pw+0.314ps

此处H.I.=人情味的分数，

pw=每100字中的人称词数目，ps=每100句子中的人称词数目。这个公式强调了人称词在人情味表现中的重要性。

05

人情味在语言中的表现

第一位从认知角度研究中文语言中的情感的学者

BrianKing,他对汉语中出现的焦躁、哀伤、愤怒、喜悦等情感做了深度探讨。认知语言学认为：语言是有人情味的；

有人情味的语言流出正向的情感。

福利多元主义、无知之幕、优势视角

福利多元主义认为福利既不能完全依赖市场，也不能完全依赖国家，福利是全社会的产物。

无知之幕是指一旦当人处于一种不知道哪一方代表了自身特殊利益的“无知”状态，恰恰能使人保持不偏不倚。

优势视角提示我们应当把人们及其环境中的优势和资源作为助人焦点，而非问题和病理。

台北博物馆的“小