偏激份子發現 Tay 的學習漏洞,開始有計畫的誘導她說出偏激言論(圖/twitter)
而這次造成 Tay 言論走樣的關鍵,在於一個名為「4chan」的美國論壇,該論壇上有許多偏激網友聚集,其中不乏種族主義者。由於該論壇有人發現了 Tay 的學習漏洞,因此開始有大量網友前往 Tay 的 Twitter 對話,來試圖調教這個 AI 聊天機器人。
這個學習漏洞的關鍵在於「repeat after me」機制,只要對 Tay 提到這句話,Tay 就會將對方的話重複,因此不管是希特勒萬歲、川普萬歲、以及各種偏激的種族主義用語,都會從 Tay 的口中說出。
當中的關鍵就是要 Tay 重複用戶的對話內容(圖/twitter)
儘管 Tay 可能會在第一時間試圖反抗,但接著她馬上就會跟隨對方的語句照念。而這也是造成 Tay 說出大量不堪言論的重要關鍵,愈來愈多的種族主義者透過這種方式,讓 Tay 不斷復述偏激言論。
另外一個漏洞,就是 Tay 會將網友的圖片中的臉孔圈起來,並且搭配上相同意思的語句。這讓美國總統候選人川普、希特勒都成為網友把玩的影像。這個狀況就像滾雪球一樣大量出現在 Tay 的 Twitter 上,由於偏激言論不斷延燒、事態發展到大家都注意到,最終導致 Tay 的 Twitter 服務宣布關閉。
Tay 可以結合圖片和文字的功能,也被網友拿來惡搞(圖/twitter)
報導指出,Microsoft 也曾推出類似的聊天機器人在其他國家,像是在中國的「小冰」,但都沒有發生像 Tay 在美國上線時這樣的狀況。目前 Microsoft 仍在調整 Tay 的機制,暫時還無法得是這個 AI 聊天機器人復出的時間。