文 | 追问 nextquestion
自 2022 年底以来，ChatGPT 如一股彭湃的春潮，席卷了全球，东说念主们对其潜在的应用场景无不心生向往。商界东说念主士、学者乃至日常糊口中的普通东说念主，都在想索并吞个问题：我方的责任明天会奈何被 AI 塑造？
跟着时刻荏苒，好多构想逐渐落地，东说念主雷同乎已经民风于 AI 在许多责任场景匡助致使替代咱们的本色责任。早期东说念主们对 GPT 的震惊逐渐脱色，反而变得过度依赖 GPT，致使忽略了可能的局限性与风险。这种大力依赖 GPT 并疏远其风险的情况，咱们称之为" GPT 学"（GPTology）。
样式学的发展一直牢牢奴隶科技的创新，社会学家与步履科学家老是依赖尽可能多的期间来网罗丰富的数据类型，从神经影像期间、在线观察平台到眼动跟踪期间的拓荒等，都助力样式学取得了要道性的冲破。数字翻新和大数据的兴起推动了预备社会科学等新学科的造成。正如其他领域（医学 [ 1 ] 、政事 [ 2 ] ）通常，大略以惊东说念主的神秘性和复杂性领悟、生成和翻译东说念主类话语的空话语模子（LLM），对样式学也产生了深入的影响。
在样式学领域，空话语模子有两类主流应用模式：一方面，通过操办空话语模子自己的机制，可能对东说念主类明白的操办提供新的视力；另一方面，这些模子在文天职析和生成方面的能力，使得它成为了分析文本数据的刚劲用具，如它们能将个东说念主的书面或表面抒发等文本数据，鼎新为可分析的数据方法，从而协助样式健康专科东说念主员评估和领悟个体的样式现象。最近，使用空话语模子促进样式学操办的效率无边透露，ChatGPT 在社会与步履科学领域的应用，如仇恨言论分类、情怀分析等，已自满出其初步效率和开阔的发展远景。
关联词，咱们应该放任当今" GPT 学"的势头在科研领域苛虐吗？事实上统共科技创新的和会经过老是充满荡漾的，放任某种期间的应用与对其依赖过深，都可能会导致出东说念主意象的后果。回望样式学的发展历程，当功能性磁共振成像（fMRI）期间初露矛头时，便有操办者蓦地此期间，导致了一些无理却在统计学上显耀的神经关联餍足——比方，操办东说念主员对一条已经死亡的大泰西鲑鱼进行了 fMRI 扫描，末端自满该鱼在施行期间阐扬出显耀的脑行径；还有操办标明，由于统计误用，fMRI 操办中发现罪过关系性的可能性极高。这些操办已经投入样式学的教科书，警示统共样式学学生与操办东说念主员在靠近新期间时应保抓警惕。
▷Abdurahman, Suhaib, et al. "Perils and opportunities in using large language models in psychological research." PNAS nexus 3.7 ( 2024 ) : pgae245.
不错说，咱们已经投入了与空话语模子相处的"郑重期"，除了想考空话语模子不错作念什么，咱们更需要反想是否以及为何要使用它。近日 PNAS Nexus 的综述论文便探讨了空话语模子在样式学操办中的应用，特别为操办东说念主类步履学带来的新机遇。
著作承认 LLMs 在晋升样式学方面的潜在遵循，但同期也强调了对其未经审慎应用的警惕。咫尺这些模子在样式学操办中可能引起的统计上显耀但道理不解确的关系性，是操办者必须幸免的。作家提醒到，靠近近几十年来该领域遭遇的雷同挑战（如实在度翻新），操办东说念主员应严慎对待 LLMs 的应用。该文还建议了在明天奈何更批判性和严慎性地诓骗这些模子以鼓励样式学操办的所在。
01 空话语模子不错替代东说念主类被试吗？
提到空话语模子，东说念主们最直不雅的感受就是其高度"类东说念主"的输出能力。Webb 等东说念主磨砺了 ChatGPT 的类比推理能力 [ 3 ] ，发现它已透显露了零样本推理能力，大略在莫得明确造就的情况下惩处无为的类比推理问题。一些东说念主以为，要是像 ChatGPT 这么的 LLM 照实大略对样式学中的常见测量产生雷同东说念主类的响应（举例对行动的判断、对价值的招供、对社会问题的看法），那么它们在明天可能会取代东说念主类受试者群体。
针对这个问题，Dillion 等东说念主进行了特意的操办 [ 4 ] ：最初，通过比较东说念主类与话语模子（GPT-3.5）在说念德判断上的关系性，他们坚信了话语模子不错复制一些东说念主类判断的不雅点；但他们也建议了阐明话语模子输出的挑战。从道理上说，LLM 的"想维"设立在东说念主类的天然抒发之上，但本色能代表的东说念主群有限，况兼有过于简化东说念主类复杂步履想想的风险。这是一种警示，因为这种对 AI 系统拟东说念主化的倾向可能会误导咱们，让咱们期许那些基于根柢不同道理运行的系统阐扬出类东说念主阐扬。
从咫尺的操办来看，使用 LLM 模拟东说念主类被试至少有三大问题。
最初，明白经过的跨文化互异是样式学操办中极为环节的一环，但好多字据标明，咫尺流行的空话语模子无法模拟出这么的互异。像 GPT 这么的模子主要基于 WEIRD（西方、受过讲授的、工业化的、宽裕的、民主的）东说念主群的文本数据造就。这种以英语为中心的数据处理无间了样式学的英语中心主义，与对话语各类性的期待以火去蛾中。话语模子也因此难以准确反馈各人群体的各类性。举例，ChatGPT 自满出偏向男性视角和叙事的性别偏见，偏向好意思国视角或一般多数东说念主群的文化偏见，以及偏向解放主义、环保和左翼解放意志主义不雅点的政事偏见。这些偏见还延长到个性、说念德和刻板印象。
总的来说，由于模子输出高度反馈 WEIRD 东说念主群样式，当东说念主类样本不那么 WEIRD 时，AI 与东说念主类之间的高度关系性无法重现。在样式学操办中，过度依赖 WEIRD 被试（举例北好意思的大学生）的餍足一度激发了商讨，用 LLM 的输出替代东说念主类参与者将是一个倒退，会使得样式学操办变得愈加狭小，普适性更差。
▷将 ChatGPT 与按政事不雅点分组的东说念主类对"大五东说念主格"的反应进行比较。注：图中自满了东说念主类和 ChatGPT 在大五东说念主格结构和不同东说念主口统计数据中的响应分散。图中自满，ChatGPT 在宜东说念主性、尽职性方面给出了显明更高的响应，而在洞开性和神经质方面给出了显明较低的响应。环节的是，与统共东说念主口统计群体比较，ChatGPT 在统共个性维度上自满出显明较小的互异。
其次，空话语模子似乎存在"正确谜底"偏好，也就是说LLM 在恢复样式学观察的问题时变化幅度较小——即使这些问题波及的主题（举例说念德判断）并莫得本色的正确谜底——而东说念主类对这些问题的恢复时常具有各类性。当条款 LLM 屡次恢复并吞个问题，并测量其恢复的互异时，咱们会发现空话语模子的恢复无法像东说念主类通常产生想想上显耀的互异。这依旧与生成式话语模子背后的道理分不开，它们通过自总结的方式预备下一个可能出现的单词的概率分散来生成输出序列。从成见上讲，反复向 LLM 发问雷同于反复向并吞个参与者发问，而不是向不同的参与者发问。
关联词，样式学家宽泛感有趣有趣的是操办不同参与者之间的互异。这告诫咱们当想用空话语模子模拟东说念主类被试时，不可不祥地用空话语模子模拟群体平均值，或用它模拟个体在不同任务中的反应；应当拓荒出合适的方法真确再现东说念主类样本复杂性。此外，造就空话语模子的数据可能已经包含许多样式学施行中使用的款式和任务，导致模子在经受测试时依赖回想而不是推理，又进一步加重了上述问题。为了取得对 LLM 类东说念主步履的无偏评估，操办东说念主员需要确保他们的任务不属于模子的造就数据，或调理模子以幸免影响施行末端，比如通过"去学习"等方法。
临了，GPT 是否果真造成与东说念主类雷同的说念德体系亦然值得怀疑的。通过向 LLM 发问，设立它内在的逻辑关系集会（nomological network），不雅察不同说念德领域之间的关系性，发现这两个办法都与基于东说念主类得到的末端大不调换。
▷ChatGPT 与东说念主类说念德判断。注：a）东说念主类说念德判断（浅蓝色）和 GPT（浅红色）在六个说念德领域的分散。虚线代表平均值。b ) 东说念主类说念德价值不雅之间的互关系系（?=3902）和 ChatGPT 问答（?=1000 ）。c ) 基于来自 19 个国度 ( 30 ) 的不同东说念主类样本和 1000 个 GPT 问答的说念德价值不雅之间的部分关系集会。蓝色边际暗示正偏关系，红色边际暗示负偏关系。
总结来说，LLM 会忽略东说念主群的各类性，无法阐扬出显耀性互异，无法复现逻辑关系集会——这些不及告诉咱们，LLM 不应该取代对智东说念主（Homo sapiens）的操办，但这并不虞味着样式学操办要皆备扬弃 LLM 的使用。一方面，将传统上用于东说念主类的样式学测量用于 AI 的确道理，但是对其末端的解读应当愈加严慎；另一方面，将 LLM 看成东说念主类的代理模子模拟东说念主类步履时，其中间层参数不错为咱们提供探索东说念主类明白步履的潜在角度，但这仍是过应该在严格界说了环境、代理、互动及末端的前提下进行的。
由于 LLM 的"黑箱"特征，以及前文提到的输出时常与东说念主类真确步履不通常的近况，这种期盼还很难成真。但咱们不错期待，明天也许不错拓荒出更稳健的要领，使得在样式学操办中的 LLM 模拟东说念主类步履变得愈加可行。
02 空话语模子是文天职析的万金油吗？
除了其仿东说念主的特质，LLM 最大的特质就是其刚劲的话语处理能力，关联词将天然话语处理方法用于样式学操办并不是腾达之物，想要领悟为什么 LLM 的应用引起当下如斯大的争议，咱们需要了解它在应用上与传统的天然话语处理方法有什么不同。
使用预造就话语模子的天然话语处理（NLP）方法，不错按照是否波及参数更新分为两类。波及参数更新意味着将预造就的话语模子在特定任务的数据集上进行进一步造就。比较之下，零样本学习（zero-shot learning）、单样本学习（one-shot learning）和少样本学习（few-shot learning）则不需要进行梯度更新，它们胜仗诓骗预造就模子的能力，从有限的或莫得任务特定数据中进行泛化，借助模子的已有学问和领悟来完成任务。
LLM 能力的跨时期飞跃——举例它大略在无需特定任务调理的情况下处理多种任务，用户友好的联想也减少了对复杂编码的需求——使得最近越来越多操办将其零样本能力 * 用于样式学文天职析，包括情怀分析、挫折性话语识别、想维方式或情怀检测等多种方面。
*LLM 零样本能力是指模子在莫得经受过特定任务的造就或优化的情况下，胜仗诓骗其预造就时取得的学问来领悟和实行新的任务。举例，空话语模子能在莫得针对性造就数据的复旧下，通过领悟文本内容和荆棘文，识别文本是积极的、悔过的如故中性的。
关联词，跟着应用的深入，越来越多的声息驱动指出 LLM 的局限性。最初，LLMs 在靠近细小的教唆变化时可能会产生不一致的输出，况兼在汇总屡次叠加对不同教唆的输出时，LLM 无意也无法达到科学可靠性的法式。其次，Koco ń 等东说念主 [ 5 ] 发现，LLMs 在处理复杂、主不雅性任务（如情怀识别）时可能会遭遇穷苦。临了，反不雅传统的微调模子，LLMs 零样本应用的便利性与模子微调之间的互异可能并不像宽泛以为的那样显耀。
咱们要知说念，针对各类任务微调过的袖珍话语模子也不停在发展，如今越来越多的模子变得公开可用；同期也有越来越多高质地和专科化的数据集可供操办东说念主员用于微调话语模子。尽管 LLMs 的零样本应用可能提供了即时的便利性，但最不祥的遴荐时常并不是最灵验的，操办者应在被便利性蛊惑时保抓必要的严慎。
为了更直不雅地不雅察 ChatGPT 在文本处理方面的能力，操办者们设立了三种水平的模子：零样本、少样本和微调，来区分提真金不怕火在线文本中的说念德价值不雅。这是一个笨重的任务，因为即使是经过培训的东说念主类标注者也时常意见不一。话语中说念德价值不雅的抒发宽泛非常迷糊，而由于长度限度，在线帖子时常包含很少的布景信息。操办者提供了 2983 个包含说念德或非说念德话语的外交媒体帖子给 ChatGPT，并条款它判断帖子是否使用了任何特定类型的说念德话语。然后将其与一个在单独的外交媒体帖子子聚合微调的袖珍 BERT 模子进行了比较，以东说念主类评价者的判定看成评判法式。
末端发现，微调后的 BERT 模子阐扬远胜于零样本设立下的 ChatGPT，BERT 达到了 0.48 的 F1 分数，而 ChatGPT 独一 0.22，即使是基于 LIWC 的方法也在 F1 分数上卓越了 ChatGPT（零样本），达到了 0.27。ChatGPT 在预测说念德情怀方面阐扬得极其顶点，而 BERT 险些在统共情况下与经过培训的东说念主类标注者的互异并不显耀。
尽管 LIWC 是一个规模更小、复杂度更低且资本更低的模子，但在偏离经过造就的东说念主类标注者方面的可能性和顶点进度显耀低于 ChatGPT。如预期的那样，在施行中，少样本学习和微调均晋升了 ChatGPT 的阐扬。咱们得出两个论断：最初，LLM 所声称的跨荆棘文和机动性上风可能并不老是成立；其次，天然 LLM "即插即用"额外便利，但无意可能会透彻失败，而适合的微调不错缓解这些问题。
除了文本标注中的不一致性、阐明复杂成见（如隐性仇恨言论）的不及，以及在专科或敏锐领域可能衰退深度这几个方面外，衰退可阐明性亦然 LLM 饱受诟病之处。LLMs 看成刚劲的话语分析用具，其无为的功能来自于纷乱的参数集、造就数据和造就经过，关联词这种机动性和性能的晋升是以缩短可阐明性和可叠加性为代价的。LLM 所谓的更强预测能力，是样式学文天职析操办者倾向于使用基于神经集会的模子的环节原因。但要是无法显耀超越从上至下的方法的话，那么后者在可阐明性上的上风可能促使样式学家特别他社会科学家转而使用更传统的模子。
轮廓来看，在许多应用场景中，较小的（经过微调的）模子不错比现时的大型（生成式）话语模子更刚劲且更少偏差，尤其当空话语模子处于零样本和少样本设立中时。比如，在探索心焦症患者在线复旧论坛的话语时，使用较小的、特意化的话语模子的操办东说念主员可能大略发现与操办领域胜仗关系的神秘细节和特定的话语模式（举例，担忧、不笃定性的耐受性）。这种有针对性的方法不错深入了解心焦症患者的资格，揭示他们特有的挑战和潜在的干豫步调。通过诓骗特意化的话语模子或像 CCR、LIWC 这么的从上至下的方法，操办东说念主员不错在广度和深度之间取得均衡，从而大略更紧密地探索文本数据。
尽管如斯，LLMs 看成文天职析用具，在微调数据稀缺的情况下——举例新兴成见或操办不及的群体时——其零样本能力可能仍然不错提供有价值的阐扬，使操办东说念主员大略探讨一些伏击的操办课题。在这些情况下，汲取少样本教唆（few-shot prompting）的方法可能既灵验又高效，因为它们只需要极少具有代表性的示例即可进行。
另外，有操办标明 LLMs 不错从表面驱动的方法中受益，基于这个发现，拓荒大略伙同这两种方法上风的期间，是明天操办的一个有远景的所在。跟着大型话语模子期间的快速进展，惩处其性能和偏差问题仅仅时刻问题，瞻望这些挑战将在不远的将来得到灵验缓解。
03 不可忽略的可叠加性
可叠加性指的是使用调换的数据和方法不错复制和考证末端的能力。关联词，LLM 的黑箱秉性使得关系操办末端难以再现。对依赖 LLM 生成的数据或分析的操办来说，这一限度组成了达成再现性的首要劳苦。
举例，LLM 经过更新，其偏好可能会发生变化，这可能会影响先前已设立的"最好实例"和"去偏差计谋"的灵验性。咫尺，ChatGPT 特别他闭源模子并不提供它们的旧版块，这限度了操办东说念主员使用特定时刻点的模子来复现操办末端的能力。举例，" gpt3.5-January-2023 "版块一朝更新，先前的参数和生成的输出也可能随之变嫌，这对科研的严谨性组成挑战。环节的是，新版块并不保证在统共任务上的性能都会调换或更好。举例，GPT-3.5 和 GPT-4 被报说念在各类文天职析任务上存在不一致的末端—— GPT-4 无意阐扬得比 GPT-3.5 更差 [ 6 ] ——这进一步加深了东说念主们对模子的非透明变化的担忧。
除了从科学的洞开性（open science）角度来看 LLM 的黑箱性质，操办东说念主员更严防的其实是"知其然，知其是以然"的科研精神——在取得高质地、有信息量的语义暗示时，咱们更应该原宥的是用于生成这些输出的算法，而不是输出末端自己。在往时，预备模子的主要上风之一在于它们允许咱们"侦察里面"，某些样式经过难以被测试但不错通过模子进行揣度。因此，使用不提供此级别观察权限的专有 LLMs，可能会辞谢样式学和其他领域操办者从预备科学的最新进展中获益。
04 总结
新一代对各人拓荒的在线做事型 LLM（如 ChatGPT、Gemini、Claude）为许多操办东说念主员提供了一个既刚劲又易于使用的用具。关联词，跟着这些用具的普及和易用性的加多，操办东说念主员有牵扯保抓对这些模子能力与局限性的清亮意志。尤其是在某些任务上，由于 LLM 的出色阐扬和高度互动性，可能会让东说念主们误以为它们历久是操办对象或自动化文天职析助手的最好遴荐。这些诬陷可能会简化东说念主们对这些复杂用具的领悟，并作出不聪慧的决定。举例为了方便或因为衰退意志而幸免必要的微调，从而未能充分诓骗其一说念能力，最终得到相对较差的效果，或者疏远了与透明度和再现性关系的特有挑战。
咱们还需要意志到，许多归因于 LLM 的上风在其他模子中也存在。举例，BERT 或开源的 LLM 不错通过 API 观察，为无法自我托管这些期间的操办东说念主员提供了一个方便且低资本的遴荐。这使得它们在无需无边编码或期间专科学问的情况下也能被无为使用。此外，OpenAI 还提供了镶嵌模子，如" text-embedding-ada-3 "，不错像 BERT 通常用于下贱任务。
归根结底，任何预备用具的负牵扯使用都需要咱们全面领悟其能力，并正式计划该用具是否为现时任务最稳当的方法。这种均衡的作念法大略确保期间跳跃在操办中得到灵验和负牵扯的诓骗。
参考文件
[ 1 ] SINGHAL K, AZIZI S, TU T, et al. Large language models encode clinical knowledge [ J ] . Nature, 2023, 620 ( 7972 ) : 172-80.
[ 2 ] MOTOKI F, PINHO NETO V, RODRIGUES V. More human than human: measuring ChatGPT political bias [ J ] . Public Choice, 2024, 198 ( 1 ) : 3-23.
[ 3 ] WEBB T, HOLYOAK K J, LU H. Emergent analogical reasoning in large language models [ J ] . Nat Hum Behav, 2023, 7 ( 9 ) : 1526-41.
[ 4 ] DILLION D, TANDON N, GU Y, et al. Can AI language models replace human participants? [ J ] . Trends Cogn Sci, 2023, 27 ( 7 ) : 597-600.
[ 5 ] KOCO Ń J, CICHECKI I, KASZYCA O, et al. ChatGPT: Jack of all trades, master of none [ J ] . Information Fusion, 2023, 99: 101861.
[ 6 ] RATHJE S开yun体育网, MIREA D-M, SUCHOLUTSKY I, et al. GPT is an effective tool for multilingual psychological text analysis [ Z ] . PsyArXiv. 2023.10.31234/osf.io/sekf5
