人工智慧領域的學者開始使用生成式人工智慧服務來回顧同事的機器學習研究。 在 arXiv 上的一篇新論文中,研究人員分析了提交給主要人工智慧會議的論文的同行評審,包括 ICLR 2024、NeurIPS 2023、CoRL 2023 和 EMNLP 2023。 登記冊報告了結果: 作者獲得了兩個資料集或語料庫。 一個是由人類寫的,另一個是由機器寫的。然後,這兩篇文本被用來評估特定形容詞的頻率(會議人工智慧論文的同儕審查)。 」[A]「我們所有的計算僅取決於每個文件中包含的形容詞。」「這種詞彙選擇比使用其他詞類(例如副詞、動詞、名詞或所有可能的標記)更好。我們還發現,它表現出出色的穩定性。」他們解釋道。
我們發現法學碩士比人類作者更常使用「值得稱讚」、「創新」和「全面」等形容詞。這些詞語使用的統計差異反過來又使研究人員能夠確定哪些文章評論可能得到法學碩士的支持。 作者聲稱:「我們的結果表明,在這些會議上提交供同行評審的文本中,有6.5% 到16.9% 的文本可能已由法學碩士進行了重大修改,即拼寫檢查和小寫作。」而且沒有任何機械化協助的跡像在科學期刊《自然》。有幾個因素似乎與法學碩士的使用增加有關。 一是最後期限即將到來。作者發現,在截止日期後 3 天內提交的評論中,法學碩士的使用率出現了小幅但持續的增長。
研究人員強調,他們的目標不是對人工智慧寫作輔助的使用做出判斷,也不是聲稱他們評估的論文完全是由人工智慧模型撰寫的。但他們認為,科學界需要對法學碩士的使用更加透明。他們認為,這種做法可能會剝奪那些工作正在接受審查的人獲得多樣化的專業回饋的機會。此外,人工智慧回饋可能會產生同質化效應,使人工智慧模型偏離有意義的見解。