上週一,來自數據科學和人工智慧公司 Databricks 的大約十幾名工程師和高管聚集在 Zoom 連接的會議室,了解他們是否成功建立了頂級人工智慧語言模型。該團隊花了幾個月的時間和大約 1000 萬美元來訓練 DBRX,這是一種設計類似於 OpenAI ChatGPT 背後的語言模型的大型語言模型。然而,直到最後的能力測試結果傳回後,他們才知道自己的創造物有多強大。
「我們超越了一切,」Databricks 首席神經網路架構師、DBRX 建構團隊負責人 Jonathan Frankl 最後告訴他的團隊,團隊歡呼雀躍,她用鼓掌的表情符號回應。弗蘭克爾通常避免攝取咖啡因,但在熬夜寫下結果後,她喝了一口冰拿鐵。
Databricks 在開源許可下發布 DBRX,允許其他人在其工作的基礎上進行建置。 Frankle 表示,DBRX 可用於衡量人工智慧模型回答一般知識問題、執行閱讀理解、解決棘手的邏輯難題以及生成高品質程式碼的能力的大約十幾個基準測試。我們共享的數據表明它優於所有其他開源模型。
這擊敗了目前可用的兩種最受歡迎的開源人工智慧模型:Meta 的 Llama 2 和 Mistral 的 Mixtral。 當分數出現時,Databricks 首席執行官 Ali Ghodsi 驚呼道:“是的!” 「等等,我們打敗了伊隆的嗎?」弗蘭克爾回應說,馬斯克的xAI 確實打敗了最近開源的Grok AI 模型,並補充道,「我收到了他發來的一條刻薄的推文。我認為這會成功,」他補充道。
令團隊驚訝的是,DBRX 在某些方面與 GPT-4 驚人地接近,GPT-4 是 OpenAI 的封閉模型,為 ChatGPT 提供支持,並被廣泛認為是機器智能的頂峰。 「我們已經建立了一個新的、最先進的開源法學碩士課程,」弗蘭克爾笑著說。
建築模組
透過開源,DBRX Databricks 為一場挑戰當前生成人工智慧熱潮中最著名公司秘密方法的運動增添了更多動力。 雖然 OpenAI 和 Google 嚴密保護其 GPT-4 和 Gemini 大規模語言模型的程式碼,但一些競爭對手,尤其是 Meta,已將他們的模型公開供其他公司使用。他們認為,向更多人提供這項技術將促進創新。研究人員、企業家、新創企業和老牌企業。
Databricks 也表示希望公開創建開源模型所涉及的工作,但 Meta 迄今為止對創建 Llama 2 模型的一些關鍵細節保持沉默。該公司計劃發布一篇部落格文章,詳細介紹創建模型所需的工作,並且還將與Databricks 工程師分享訊息,因為他們在價值數百萬美元的DBRX 培訓過程的最後階段做出了關鍵決策。我們邀請WIRED 花費和我們一起度過一些時間。這讓我們了解了建構最先進的人工智慧模型是多麼複雜和困難,也讓我們了解了該領域的最新創新如何有望降低成本。再加上 DBRX 等開源模型的可用性,顯示人工智慧的發展不會很快放緩。
艾倫人工智慧研究所執行長 Ali Farhadi 表示,迫切需要提高人工智慧模型建置和訓練的透明度。近年來,隨著公司尋求超越競爭對手的優勢,該領域變得越來越神秘。他說,當你擔心先進人工智慧模型可能帶來的風險時,不透明性尤其重要。 「我很高興看到對開放的承諾,」法哈迪說。 “我們相信很大一部分市場將轉向開放模式。我們需要更多這樣的模式。”