林賽克拉克 (Lindsey Clark) 透過 The Register 報道: 分析平台Databricks推出了一個開源的基礎大規模語言模型,希望企業能使用其工具來趕上LLM的潮流。 該公司圍繞著 Apache Spark 成立,發布了許多基準測試,聲稱其名為 DBRX 的通用 LLM 在語言理解、程式設計和數學方面優於開源競爭對手。開發者還聲稱,在相同標準下,它的性能優於 OpenAI 自己的 GPT-3.5。
DBRX 由 Mosaic AI 開發,該公司被 Databricks 以 13 億美元收購,並在 Nvidia DGX Cloud 上進行訓練。 Databricks 聲稱使用所謂的混合專家 (MoE) 架構優化了 DBRX 的效率,其中多個專家網路或學習者分擔問題。 Databricks 解釋說,該模型有1320 億個參數,但只有360 億個參數是活躍的。Databricks 行銷副總裁Joel Minnick 告訴The Register,「這就是該模型如此強大的原因。這也是它不僅高效的一個重要原因運行,但速度非常快。事實上,如果您現在使用任何主要的聊天機器人,您可能正在等待生成答案。您習慣於觀看。使用 DBRX,這幾乎是瞬時的。 ”
然而,模型本身的性能對於 Databricks 來說並不重要。畢竟,我們的目標是在 GitHub 和 Hugging Face 上免費提供 DBRX。 Databricks 希望客戶使用此模型作為他們自己的法學碩士的基礎。這可能會改善客戶聊天機器人和內部問答,同時也展示如何使用 Databricks 自己的工具建立 DBRX。 Databricks 使用 Apache Spark 和 Databricks 筆記本進行資料處理,使用 Unity Catalog 進行資料管理和治理,並使用 MLflow 進行實驗跟踪,以組裝開發 DBRX 的資料集。