“幾家大公司已經發布了包含軟體包的源代碼,這些軟體包以前是生成式人工智慧的幻覺。” 登記 週四報道
「不僅如此,發現這種反覆出現的幻覺的人將這種虛構的依賴變成了真實的依賴,然後由於人工智慧的錯誤建議,開發人員下載並安裝了數千次。我發現
如果該軟體包包含實際的惡意軟體而不是良性測試,那麼結果可能是災難性的。
Lasso Security 的安全研究員 Bar Lanyado 表示,被 AI 欺騙而包含此軟體包的公司是阿里巴巴。截至撰寫本文時,GraphTranslator 安裝說明仍包含用於下載 Python 套件 Hugface-cli 的 pip 指令。有一個規範的huggingface-cli,使用 pip install -U “huggingface_hub 安裝。[cli]然而,透過Python套件索引(PyPI)分發並由阿里巴巴的GraphTranslator要求的Huggingface-cli(使用pip install Huggingface-cli安裝)是假的,是人工智慧想像的,由Lanyado作為實驗實現的,它被改變了。
在看到生成式人工智慧反覆產生幻覺後,他於 12 月創建了 Hugface Chestnut。到今年 2 月,阿里巴巴在 GraphTranslator README 步驟中提到了它,而不是實際的 Hugging Face CLI 工具… 擁抱陰蒂的臉 自推出以來的3 個月內,收到了超過15,000 次正版下載…「此外,我們在GitHub 上進行了搜索,看看這個軟體包是否在其他公司的存儲庫中使用過。」Lanyado 在文章中說道。實驗。 “我們的調查結果表明,幾家大公司在其存儲庫中使用或推薦此軟體包…”
Lanyado 也表示,Hugging Face 擁有的一個項目包含一個假的 Huggingface-cli,但在向業界發出警報後被刪除。
Lanyado 表示,“GPT-4 在 24.2% 的問題答案中產生了幻覺包,其中 19.6% 是重複的…”
感謝 Slashdot 的長期讀者 schneidafunk 分享這篇文章。