電氣工程師吉爾伯特·埃雷拉 (Gilbert Herrera) 於 2021 年底被任命為國家安全局研究主管,當時美國科技業正在發生人工智慧革命。
美國國家安全局有時被戲稱為「No Such Agency」的縮寫,它長期以來一直是頂尖數學和電腦科學人才的雇主。其技術領導者是先進運算和人工智慧的早期熱情用戶。儘管如此,當Herrera 在馬裡蘭州米德堡的NSA 總部透過電話與我談論最新的人工智慧熱潮的影響時,該機構和許多其他機構一樣,想知道ChatGPT 背後的大事。他似乎對最近的人工智慧研究感到驚訝。語言模型的大規模成功。熱門人工智慧產品,例如;為了清晰和長度,對話經過了輕微編輯。
ChatGPT 時刻對 NSA 來說有多大的驚喜?
哦,我以為第一個問題是“國家安全局從約櫃中學到了什麼?”自 1939 年左右以來,這種情況一直在重複。我想說,但我不能。
每個人從 ChatGPT 時刻學到的是,如果你向 AI 提供足夠的數據和足夠的計算資源,這些新屬性就會出現。
美國國家安全局實際上將人工智慧視為利用自動化完成計算任務的悠久歷史的最前線。 長期以來,人工智慧一直被視為一種更聰明、更快速、大規模運作的方式。這就是為什麼我們 20 多年來一直致力於實現這一時刻的研究。
大規模語言模型早在產生預訓練(GPT)模型之前就已經存在。但是,當你有這個「ChatGPT 時刻」時,你可以讓別人寫一個笑話,或者你可以參與對話,這就是為什麼它與我們和其他人所做的其他工作如此不同的原因。
美國國家安全局及其美國盟友有時會先於其他人開發出重要技術,例如 20 世紀 70 年代的公鑰加密技術,但它們一直保密。大型語言模型是否也發生過同樣的事情?
由於數據不可用,美國國家安全局無法創建如此大的變壓器模型。不能使用美國公民的資料。另一件事是預算。我聽了一個播客,其中有人分享了微軟的收益報告,他們說他們每季在平台成本上花費 100 億美元。 [The total US intelligence budget in 2023 was $100 billion.]
確實得是有足夠錢的人,才能進行數百億的資本投資。 [who] 我們可以存取可以產生這些新屬性的資料類型。這正是超大規模企業。 [largest cloud companies] 可能會有一些政府不關心個人隱私,不必遵守個人隱私法,也不存在竊取資料的問題。我就讓你們發揮想像來猜猜這個人是誰吧。
這是否會讓美國國家安全局和美國在資訊收集和處理方面處於不利地位?
我會爭論一下。這並不會讓我們處於巨大的劣勢。我們需要避免這種情況,所以我們會這樣做。
這對我們實現民族國家目標的責任並不是一個很大的負面影響。看看其他應用,對於一些從事國內情報工作的同事來說,可能會更加困難。但情報機構需要找到一種使用商業語言模型並尊重隱私和個人自由的方法。 [The NSA is prohibited from collecting domestic intelligence, although multiple whistleblowers have warned that it does scoop up US data.]