在對數(shù)千篇人類撰寫的大學(xué)入學(xué)論文和人工智能生成的論文進行研究后，研究人員發(fā)現(xiàn)，人工智能生成的論文與男性學(xué)生撰寫的論文最相似，這些學(xué)生擁有更高的社會經(jīng)濟地位和更高的社會特權(quán)。人工智能生成的文字也比人類寫的少。

康奈爾大學(xué)計算與信息科學(xué)學(xué)院信息科學(xué)系助理研究教授AJ Alvero說:“我們想知道，在ChatGPT的世界里，我們在人類撰寫的論文中看到的這些模式是什么樣子的?！薄叭绻c人類的寫作和身份有很強的聯(lián)系，那么與人工智能寫的文章相比又如何呢?”

Rene Kizilcec是康奈爾鮑爾斯獨聯(lián)體大學(xué)信息科學(xué)副教授，他是《大語言模型、社會人口學(xué)和霸權(quán):比較人類和合成文本的作者身份》的合著者，該論文于9月27日發(fā)表在《大數(shù)據(jù)雜志》上。

這項研究源于Alvero在斯坦福大學(xué)的論文工作。他的部分研究涉及對加州大學(xué)系統(tǒng)未來學(xué)生在2015-17年間撰寫的大約80萬份大學(xué)入學(xué)論文進行分析。

Alvero說:“我們一直發(fā)現(xiàn)，申請人的個人資料——他們的考試成績、人口統(tǒng)計信息，甚至是他們申請的高中——與他們的入學(xué)論文之間存在著很強的聯(lián)系。”“這種關(guān)系非常緊密，以至于我們始終能夠預(yù)測申請人的SAT分數(shù)，誤差在120分左右?！?/p>

“我們說話的方式可以編碼和包含關(guān)于我們的過去和我們是誰的信息，”他說，“這在寫作中非常相似，至少在個人陳述中是這樣的?！?/p>

在這項工作中，Alvero和他的團隊比較了提交給加州大學(xué)系統(tǒng)和東海岸精英私立大學(xué)工程項目的15萬多篇大學(xué)入學(xué)論文的寫作風(fēng)格，以及用GPT-3.5和GPT-4生成的2.5萬多篇論文，這些論文被提示回答與人類申請者相同的論文問題。

在他們的分析中，研究人員使用了語言調(diào)查和單詞計數(shù)，這是一個由德克薩斯大學(xué)社會心理學(xué)家詹姆斯·w·佩內(nèi)貝克(James W. Pennebaker)在20世紀90年代中期開發(fā)的程序，該程序?qū)?biāo)點和代詞的使用等寫作特征的頻率進行計數(shù)，并將這些計數(shù)與外部詞典進行交叉參考。

阿爾維羅說:“佩內(nèi)貝克在大約10年前完成了對大學(xué)入學(xué)申請論文的首批大數(shù)據(jù)分析之一，我們希望嘗試建立對跨機構(gòu)、跨時間的這些模式的全面理解，我們使用了他們使用的相同方法。”

Alvero、Kizilcec和他們的團隊發(fā)現(xiàn)，雖然法學(xué)碩士的寫作風(fēng)格在社會比較分析中并不代表任何特定的群體，但就用詞和使用而言，他們確實“聽起來”更像來自更優(yōu)越地區(qū)和背景的男學(xué)生。

例如，人工智能被發(fā)現(xiàn)比人類作家平均使用更長的單詞(六個或更多字母)。此外，人工智能生成的論文往往比人類寫的論文少，盡管它更像私立學(xué)校申請者的論文，而不是公立學(xué)校學(xué)生的論文。

此外，人類和人工智能傾向于以相似的速度寫隸屬關(guān)系(與團體、人、組織和朋友)——盡管人工智能實際上沒有任何隸屬關(guān)系。隨著像ChatGPT這樣的法學(xué)碩士課程變得越來越流行和完善，它們將被用于各種各樣的場合——包括大學(xué)招生。

Kizilcec說:“學(xué)生們很可能會使用人工智能來幫助他們撰寫這些論文——可能不是讓它寫完整篇文章，而是向它尋求幫助和反饋?！薄暗幢闳绱?，這些模型提出的建議可能與這些學(xué)生真實表達的價值觀、語言風(fēng)格不太一致。

“重要的是要記住，如果你使用人工智能來幫助你寫一篇文章，它可能聽起來不太像你，而更像一些相當(dāng)普通的東西，”他說?！皩W(xué)生們需要知道，對于閱讀這些文章的人來說，找出誰在廣泛使用人工智能并不太難。關(guān)鍵是用它來幫助學(xué)生講述自己的故事，增強他們想要傳達的內(nèi)容，而不是取代他們自己的聲音。”

Alvero和斯坦福大學(xué)教育研究生院教育學(xué)副教授Anthony Lising Antonio是本文的共同通訊作者。