一位匿名讀者引用了 Ars Technica 的一篇報導。 紐約市的 MyCity 聊天機器人於去年 10 月作為「試點」計畫推出。該公告稱,ChatBot 可以幫助企業主「透過提供來自2,000 多個紐約市商業網頁和有關代碼和監管合規等主題的文章的即時、可操作、可靠的信息來節省時間和金錢。」它被宣傳為一種省錢的方式。避免違規和罰款的商業誘因和最佳實踐。 但 The Markup 和當地非營利新聞網站 The City 的一份新報告發現,MyCity 聊天機器人提供了一些相當基本的城市政策的危險的錯誤訊息。舉一個例子,紐約市政府的資訊頁面明確指出,第 8 條住房補貼是房東必須接受的眾多合法收入來源之一。博特表示,紐約市的建築物「不必接受第 8 條代金券」。 」沒有歧視。在回覆聊天機器人有關特定行業資訊(例如員工薪資和工作時間規定以及殯儀館定價)的查詢時,Markup 還收到了不正確的資訊。 BlueSky 用戶 Kathryn Tewson 的進一步測試表明,MyCity 聊天機器人對於工作場所舉報人的待遇給出了一些危險的錯誤答案,並且對於是否需要支付租金給出了一些可笑的錯誤答案。
MyCity 的 Microsoft Azure 支援的聊天機器人使用跨數百萬個令牌的複雜統計關聯過程來確定最可能的單詞,它基本上會猜測下一個最可能的單字。如果問題的單一事實答案未準確反映在訓練資料中,這可能會導致問題。事實上,The Markup 表示,對於有關第8 條住房券接受的同一問題,至少有一項測試給出了正確答案(「10 名單獨的Markup 工作人員」反覆詢問了同一問題)。(儘管結果證明是不正確的)當時)。 MyCity 聊天機器人醒目地顯示為“測試版”產品,它警告那些費心閱讀警告的用戶,它“可能會產生不准確、有害或有偏見的內容”,並且用戶可以“不要依賴回复。''它不能取代專業建議。 但該頁面還特意表示,它“經過培訓,可以為紐約市提供官方商業資訊”,並且它的銷售目的是“幫助企業主與政府打交道”。紐約市技術與創新辦公室發言人萊斯利·布朗(Leslie Brown) 告訴The Markup,該機器人“已經為數千人提供了及時、準確的答案”,並補充道,“我們將繼續與“我們致力於升級我們的機器人」。工具,以便我們能夠更好地支持全國各地的小型企業。”城市。 」