ACLU實驗臉部辨識發現錯誤率太高,Amazon:是信度閾值設錯了

ACLU實驗臉部辨識發現錯誤率太高,Amazon:是信度閾值設錯了 Rekognition系統預設信度閾值為80%,但這僅適用於娛樂目的,對於公共安全應用,Amazon提到,根據他們公開的文件建議,應該要將信度閾值設為99%。 文/李建興 | 2018-07-28發表 圖片來源: Amazon 針對美國公民自由聯盟(American Civil Liberties Union,ACLU)對Amazon人臉辨識系統Rekognition所做的實驗,錯將28名美國國會議員辨識為罪犯的結果。Amazon回應,這結果與信度閾值設定有關,提高信度閾值便能減少錯誤配對,該公司舉例,人們不會因為烤箱溫度設定錯誤烤焦比薩而丟棄烤箱。ACLU使用Amazon的Rekognition系統,以25,000張公開的罪犯照片建構了臉部資料庫,並使用當前國會議員的公開照片進行比對,在80%的信度下,發現535位議員被錯誤配對28次,也就是說有28位議員被系統認為是罪犯,正確率95%而錯誤率為5%。Amazon在自家部落格發文回應ACLU的實驗結果,由於無法取得更進一步系統設定的資料,Amazon僅能以目前ACLU公開的資料回應。Amazon提到,雖然Rekognition系統預設信度閾值為80%,但這僅適用於一般社交媒體名人辨識之用,是無法用於公共安全的。Amazon對用於公共安全目的之應用,根據他們公開的文件建議,應該要將信度閾值設為99%。Amazon重現了類似ACLU的實驗,他們將學術界常用的臉部資料集850,000張照片作為臉部資料庫,對所有國會成員的公開照片進行比對。Amazon提到,當他們把信度閾值設為99%的時候,盡管Amazon自己所做的實驗,比ACLU的規模大30倍,複雜度更高,但是錯誤辨識率卻是0%。而這個實驗說明了信度閾值設定的重要性。Amazon也提到,ACLU使用的臉部資料集也可能是造成結果偏差的原因之一。而Amazon拿出了美國國家標準與技術研究所(NIST)的研究資料打臉ACLU,Amazon表示,一般人都以為人類在臉部比對的能力比機器優秀,但事實上並非如此,根據NIST的研究,即便使用比Rekognition落後的臉部系統,其辨識人類臉部的精準度仍然在人類之上。在現實使用案例中,Amazon強調,Rekognition系統只用於幫助人類縮小可能範圍,並讓人類使用自有判斷能力審查系統的建議選項。這樣的功能對於尋找失蹤人口、打擊人口販賣或預防犯罪有很大的用處。Amazon提到,當新技術發展時,必須很清楚什麼是真實的,什麼不是,機器學習應用在娛樂與執法上截然不同,他們不會建議執法單位使用小於99%的信度閾值。正確使用機器學習,能為執法單位帶來龐大的價值,但不應該因為沒有正確使用而丟棄工具,Amazon打了個比喻,就像是錯誤設定烤箱溫度而烤焦比薩,我們也不會把烤箱丟掉。

更多訊息更多資料都在這裡喔!~磷蝦油~PPLS~蜂王乳~健康食品~維力康~關鍵字排名~智勝王~超視王~台灣綠蜂膠~神經滋養物質~南極冰洋磷蝦油~芙婷寶~SEO~網站排名~保健食品~蜂王漿~GOOGLE排名~葉黃素

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *