人工智能系統(tǒng)已經(jīng)廣泛存在于我們的日常生活中，但我們可能需要幾個(gè)月、甚至數(shù)年的時(shí)間才能弄清楚它們是否存在偏見(jiàn)，以及是什么樣的偏見(jiàn)。

這帶來(lái)了不小的風(fēng)險(xiǎn)：不公平的人工智能系統(tǒng)會(huì)導(dǎo)致無(wú)辜的人被逮捕，甚至是剝奪他們的住房、工作和基本服務(wù)。

最近，一群人工智能和機(jī)器學(xué)習(xí)專(zhuān)家正在發(fā)起一場(chǎng)新的偏見(jiàn)賞金挑戰(zhàn)賽，他們希望這項(xiàng)活動(dòng)可以讓人們更快地發(fā)現(xiàn)偏見(jiàn)。

這項(xiàng)賞金挑戰(zhàn)的靈感來(lái)自于網(wǎng)絡(luò)安全領(lǐng)域的漏洞懸賞，它呼吁參與者創(chuàng)建工具來(lái)識(shí)別和減輕人工智能模型中的算法偏見(jiàn)。

這場(chǎng)賞金挑戰(zhàn)是由一群志愿者組織的，他們?cè)凇plunk 和 Reality Defender 等科技公司工作，他們自稱(chēng)為“偏見(jiàn)海盜”。

第一個(gè)賞金挑戰(zhàn)集中在圖像檢測(cè)中的偏見(jiàn)。這是一個(gè)常見(jiàn)的問(wèn)題：有缺陷的圖像檢測(cè)系統(tǒng)偶爾會(huì)將黑人誤認(rèn)成猩猩。

參與者將面臨的挑戰(zhàn)是要建立一個(gè)機(jī)器學(xué)習(xí)模型，該模型可以標(biāo)記每張圖像的膚色、性別和年齡組，這將使其更容易量化和捕捉數(shù)據(jù)集中的偏見(jiàn)。

他們將使用大約 1.5 萬(wàn)張合成的人臉圖像作為比賽用數(shù)據(jù)集。

參與者將根據(jù)模型標(biāo)記圖像的準(zhǔn)確性、代碼運(yùn)行時(shí)間以及其他指標(biāo)進(jìn)行排名，挑戰(zhàn)賽將于 2022 年 11 月 30 日結(jié)束。

和初創(chuàng)公司 承諾為冠軍提供 6000 美元獎(jiǎng)金，亞軍和季軍也將分別獲得 4000 美元和 2000 美元。已經(jīng)為第一批參賽者提供了價(jià)值 5000 美元的算力支持。

這場(chǎng)挑戰(zhàn)賽代表了人工智能領(lǐng)域的一個(gè)新興行業(yè)：算法偏見(jiàn)審計(jì)。

在 2021 年推出了第一個(gè)人工智能偏見(jiàn)懸賞，斯坦福大學(xué)剛剛結(jié)束了其第一個(gè)人工智能審計(jì)挑戰(zhàn)。與此同時(shí)，非營(yíng)利組織 Mozilla 也在為人工智能審計(jì)師創(chuàng)造工具。

這些審計(jì)工作很可能會(huì)變得越來(lái)越普遍。它們被監(jiān)管機(jī)構(gòu)和人工智能倫理專(zhuān)家稱(chēng)贊為“讓人工智能系統(tǒng)承擔(dān)責(zé)任”的好方法，而且它們也將成為國(guó)家或地區(qū)的法律要求。

歐盟新出臺(tái)的內(nèi)容審核法《數(shù)字服務(wù)法》，包括對(duì)大型技術(shù)平臺(tái)使用的數(shù)據(jù)和算法進(jìn)行年度審計(jì)，而歐盟另一項(xiàng)即將出臺(tái)的人工智能法案也可能允許當(dāng)局對(duì)人工智能系統(tǒng)進(jìn)行審計(jì)。

美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究所(National Institute of Standards and Technology，NIST)也推薦將人工智能審計(jì)作為一項(xiàng)黃金標(biāo)準(zhǔn)。

在布魯金斯學(xué)會(huì)研究人工智能治理的亞歷克斯·恩格勒(Alex Engler)表示，我們的想法是，這些審計(jì)工作將像我們?cè)谄渌唢L(fēng)險(xiǎn)行業(yè)看到的審計(jì)一樣行事，比如在化工和建筑行業(yè)。

算法審計(jì)專(zhuān)家黛博拉·拉吉(Deborah Raji)在一篇發(fā)表于 2021 年 6 月的論文中表示，目前的問(wèn)題是沒(méi)有足夠的獨(dú)立承包商來(lái)滿(mǎn)足即將到來(lái)的算法審計(jì)需求，企業(yè)也不愿向第三方開(kāi)放自己的系統(tǒng)。

這就是這些賞金挑戰(zhàn)想要塑造的東西。人工智能社區(qū)寄希望于，這些活動(dòng)能夠引導(dǎo)更多的工程師、研究人員和專(zhuān)家來(lái)發(fā)展所需的審計(jì)技能并積累經(jīng)驗(yàn)。

到目前為止，對(duì)人工智能的有限審計(jì)努力要么來(lái)自學(xué)者，要么來(lái)自科技公司本身。這類(lèi)挑戰(zhàn)賽的目的是創(chuàng)建一個(gè)專(zhuān)門(mén)審計(jì)人工智能的新領(lǐng)域。

“我們正試圖給對(duì)這種工作感興趣的人創(chuàng)建一個(gè)新空間，有的人想從零開(kāi)始，也有人已經(jīng)非常有經(jīng)驗(yàn)但不想在科技公司工作，”魯曼·喬杜里()說(shuō)，她在負(fù)責(zé)機(jī)器學(xué)習(xí)的道德、透明度和問(wèn)責(zé)方面的工作，也是“偏見(jiàn)海盜”的領(lǐng)導(dǎo)者。

她說(shuō)，這些人可能包括想要學(xué)習(xí)一種新技能的黑客和數(shù)據(jù)科學(xué)家。“偏見(jiàn)海盜”團(tuán)隊(duì)希望這項(xiàng)挑戰(zhàn)賽能開(kāi)創(chuàng)此類(lèi)比賽的先河。

非營(yíng)利性人工智能研究實(shí)驗(yàn)室的負(fù)責(zé)人薩拉·胡克()說(shuō)，這樣的挑戰(zhàn)賽不僅創(chuàng)造了機(jī)器學(xué)習(xí)社區(qū)進(jìn)行算法審計(jì)的動(dòng)機(jī)，而且促進(jìn)了“最好的審計(jì)方法，以及應(yīng)該投資哪種類(lèi)型的審計(jì)”的發(fā)展。

蒙特利爾人工智能倫理研究所的創(chuàng)始人阿比謝克·古普塔()說(shuō)，“我們對(duì)系統(tǒng)的關(guān)注越多，我們就越有可能發(fā)現(xiàn)存在缺陷的地方。”

關(guān)鍵詞： 對(duì)不公平型AI說(shuō)不 Twitter聯(lián)合發(fā)起AI偏見(jiàn)賞金挑戰(zhàn)賽 AI偏見(jiàn)賞金挑戰(zhàn)賽 AI偏見(jiàn)賞金