萬(wàn)字長(zhǎng)文，揭秘科技偏見(jiàn)起源

編者注：Lizzie O’Shea是一名律師、作家和博客。她經(jīng)常在美國(guó)國(guó)家電視節(jié)目和電臺(tái)上發(fā)表文章，評(píng)論法律、數(shù)字技術(shù)、企業(yè)責(zé)任和人權(quán)，她的文章也出現(xiàn)在《紐約時(shí)報(bào)》、《衛(wèi)報(bào)》和《悉尼先驅(qū)晨報(bào)》等雜志上。

從引爆F(xiàn)ord Pintos到種族主義算法，所有的有害技術(shù)都是不道德設(shè)計(jì)的產(chǎn)物。然而，同70年代的汽車公司一模一樣，今天的科技公司寧愿責(zé)怪用戶。

1972年春末，Lily Gray在洛杉磯的一條高速公路上駕駛著她的新福特Pinto，她年僅13歲的鄰居Richard Grimshaw坐在副駕駛上。然后汽車拋錨了，被從尾部以時(shí)速50公里的速度撞了出去。Pinto被熊熊大火包圍，Gray在車禍中喪身，Grimshaw受了重傷。他的臉和身體受到了永久性的毀容性燒傷，失去了幾根手指，即使經(jīng)歷了多次手術(shù)也回不到當(dāng)初了。

六年后，在印第安納州，三個(gè)十幾歲的女孩死在一輛被貨車從后面追尾撞擊的福特Pinto里。據(jù)報(bào)道，汽車的車身“像手風(fēng)琴一樣”倒塌，把他們困在里面。隨后，燃料箱破裂并將整個(gè)汽車燃燒成一個(gè)火球。

上述兩起悲傷地事故都是法律訴訟的主題，現(xiàn)在已經(jīng)成為美國(guó)消費(fèi)史上最大的丑聞之一。在這些案件中，最著名的指控是1977年邁克·道伊（Mike Dowie）在《瓊斯母親（Mother Jones）》一書中披露的，福特對(duì)其客戶的生命表現(xiàn)出了冷酷無(wú)情的魯莽。該公司明明知道Pinto的設(shè)計(jì)存在的缺陷使其容易受到燃油泄漏和火災(zāi)的影響，從而引發(fā)火災(zāi)。當(dāng)然，這不是一個(gè)無(wú)法被解決的問(wèn)題，方案包括一些可能的設(shè)計(jì)改變，其中之一是在保險(xiǎn)杠和燃油箱之間插入一個(gè)塑料緩沖墊，花費(fèi)大約一美元。然而由于各種原因，類似于相關(guān)的成本和缺乏嚴(yán)格的安全法規(guī)，福特批量生產(chǎn)的Pinto沒(méi)有緩沖液。

最讓人惱火的是，道伊通過(guò)內(nèi)部備忘錄記錄了福特公司在某一時(shí)刻對(duì)設(shè)計(jì)過(guò)程進(jìn)行成本效益分析的全過(guò)程，燒傷和燒傷死亡被分配了一個(gè)價(jià)格（分別為67000美元和200000美元），這些價(jià)格是根據(jù)實(shí)施各種可能提高Pinto安全性的選擇的成本來(lái)衡量的。事實(shí)證明這是一個(gè)巨大的誤判，但是，撇開(kāi)這一點(diǎn)，這種做法的道德性引發(fā)了公眾的討論。“福特知道Pinto是個(gè)陷阱，” 道伊寫道，“但它已經(jīng)在庭外支付了數(shù)百萬(wàn)美元，以了結(jié)損害賠償訴訟，并準(zhǔn)備再花數(shù)百萬(wàn)美元游說(shuō)反對(duì)安全標(biāo)準(zhǔn)?！?/p>

我們現(xiàn)在很難想象，但在半個(gè)世紀(jì)以前，車禍通常完全歸咎于司機(jī)，盡管汽車在制造過(guò)程中很少納入安全標(biāo)準(zhǔn)。每一個(gè)問(wèn)題都?xì)w因于駕駛汽車的那個(gè)人。汽車行業(yè)竭力游說(shuō)，要求限制其對(duì)道路交通事故的責(zé)任，并將安全視為與汽車銷售完全不相容的一個(gè)命題。1961年，約翰·F·戈登（John F. Gordon）警告說(shuō)：“自稱是專家的一些人提出了激進(jìn)而欠考慮的建議，他們認(rèn)為提高汽車設(shè)計(jì)安全性的唯一可行途徑就是聯(lián)邦法規(guī)?！碑?dāng)時(shí)，戈登是通用汽車公司的總裁，他在全國(guó)安全大會(huì)上發(fā)表了這樣的言論。

他毫不掩飾自己的懷疑，他說(shuō):“有人建議，我們應(yīng)該放棄教導(dǎo)司機(jī)避免交通事故的希望，轉(zhuǎn)而專注于設(shè)計(jì)能夠讓碰撞變得無(wú)害的汽車，這是失敗主義和一廂情愿的令人費(fèi)解的結(jié)合。”他的講話贏得了熱烈的掌聲。強(qiáng)大的商業(yè)委員會(huì)，和美國(guó)資本主義的許多其他領(lǐng)導(dǎo)人一樣，都支持這個(gè)行業(yè)?？藏悹枩荆–ampbellSoup Company）總裁墨菲（W.B.Murphy）公開(kāi)表示了自己的不屑：“這和呼啦圈是一回事。”他談到汽車安全問(wèn)題時(shí)說(shuō)?！傲鶄€(gè)月后，我們可能會(huì)迎來(lái)另一波反彈?！?/p>

這種態(tài)度在一定程度上是監(jiān)管環(huán)境松懈的產(chǎn)物。國(guó)家監(jiān)管機(jī)構(gòu)人手不足，資金不足。在尼克松總統(tǒng)任期內(nèi)，各機(jī)構(gòu)的關(guān)鍵職位仍然空缺。20世紀(jì)60年代末，美國(guó)國(guó)家機(jī)動(dòng)車安全咨詢委員會(huì)（National Motor Vehicle Safety Advisory Council）主席Thomas Malone博士就資金不足的問(wèn)題致函美國(guó)國(guó)家公路交通安全管理局（National Highway Traffic Safety Administration）秘書長(zhǎng)：“聯(lián)邦資金與問(wèn)題的規(guī)模不相稱，授權(quán)和撥款之間的嚴(yán)重差距阻礙了該方案的向前推進(jìn)?！暗?，作為推動(dòng)戰(zhàn)后美國(guó)經(jīng)濟(jì)繁榮的最大產(chǎn)業(yè)之一，美國(guó)政界對(duì)向其施加太大壓力并不感興趣。接受道路安全是個(gè)人責(zé)任的觀點(diǎn)，要比直面行業(yè)問(wèn)題容易得多?！?/p>

由于這些原因，人們繼續(xù)在道路上死亡，盡管已知的技術(shù)完全有可能使汽車和道路更加安全。1966年，美國(guó)國(guó)家科學(xué)院（National Academy of Sciences）將汽車旅行的危險(xiǎn)描述為“現(xiàn)代社會(huì)被忽視的流行病”和“國(guó)家最重要的環(huán)境健康問(wèn)題”。目前還不確定有多少人是因?yàn)镻into油箱著火而喪生或受傷：估計(jì)數(shù)字從數(shù)百到數(shù)千不等。但這起丑聞就像一根避雷針，促使監(jiān)管者重新思考汽車行業(yè)公開(kāi)宣揚(yáng)的所謂常識(shí)，并開(kāi)始考慮他們對(duì)于制造商的要求是否足夠。

福特工程師們用以衡量死亡、重傷與成本及市場(chǎng)價(jià)值的計(jì)算系統(tǒng)是冷酷無(wú)情的，且這種衡量永遠(yuǎn)無(wú)法得到正確的答案。也就是說(shuō)，這本是一場(chǎng)可以預(yù)防的災(zāi)難。且這場(chǎng)福特有意識(shí)引發(fā)的災(zāi)難并不是單一的企業(yè)個(gè)例。

在20世紀(jì)60年代，通用汽車的Corvair也出現(xiàn)了類似的設(shè)計(jì)問(wèn)題，影響了汽車的轉(zhuǎn)向，導(dǎo)致了一百多起訴訟案件。這場(chǎng)悲劇不是從汽車的制造開(kāi)始的，甚至也不是在測(cè)試引發(fā)的失敗。律師兼消費(fèi)者維權(quán)人士Ralph Nader認(rèn)為，這場(chǎng)悲劇“始于通用汽車的主要工程師們對(duì)Corvair的構(gòu)想和開(kāi)發(fā)”，“這是一種全行業(yè)的文化，沒(méi)有考慮到設(shè)計(jì)最終會(huì)對(duì)用戶產(chǎn)生的影響，將道德責(zé)任推卸給了消費(fèi)者。就像Pinto一樣，Corvair也是一個(gè)在最初設(shè)計(jì)上就已經(jīng)被默許的問(wèn)題?！?/p>

當(dāng)然了，這不是要把責(zé)任歸咎于工程師或設(shè)計(jì)師的邪惡。制造這些汽車的人在特定的公司環(huán)境中工作，他們所處的組織由冷酷無(wú)情的主管領(lǐng)導(dǎo)。福特和通用等公司的領(lǐng)導(dǎo)層在與其他公司競(jìng)爭(zhēng)時(shí)忽視了安全問(wèn)題，這甚至不僅僅是汽車行業(yè)所特有的問(wèn)題。還有許多類似的丑聞，涉及到企業(yè)對(duì)設(shè)計(jì)不當(dāng)?shù)南M(fèi)品造成的人類后果漠不關(guān)心。這些丑聞并非單一的個(gè)例，它們發(fā)生在一定的背景下，為了避免再次發(fā)生，需要一種政治策略來(lái)打破產(chǎn)生這些丑聞的可惡邏輯。

哈佛大學(xué)的Latanya Sweeney教授在谷歌上輸入了她的名字；很快她就找到了自己之前發(fā)表的一篇舊論文。然后她又看到一則標(biāo)題為“Latanya Sweeney”的廣告彈出，她很震驚。因?yàn)樗鞔_地知道自己沒(méi)有過(guò)犯罪記錄。她點(diǎn)擊了那條廣告鏈接，然后被導(dǎo)流到一家公司的網(wǎng)站上，該網(wǎng)站出售對(duì)公共記錄的訪問(wèn)權(quán)。她付了那筆錢以獲取自己的“犯罪”材料，然而材料證實(shí)她并沒(méi)有犯罪記錄。當(dāng)她的同事Adam Tanner進(jìn)行類似的搜索時(shí)，來(lái)自同一家公共記錄搜索公司的廣告也映入眼簾，不一樣的是這條廣告沒(méi)有煽動(dòng)性的標(biāo)題。他二人唯一的區(qū)別是，Tanner是白人，Sweeney是非裔美國(guó)人。

Sweeney決定對(duì)這些類型的廣告展開(kāi)研究，看看是否有規(guī)律。她不希望她的研究結(jié)果是令人失望的。但不幸的是，她的研究得出了一個(gè)明確的結(jié)果：“暗示逮捕的廣告往往會(huì)出現(xiàn)與黑人有關(guān)的名字，而中性廣告或無(wú)廣告往往會(huì)出現(xiàn)與白人有關(guān)的名字，無(wú)論該公司是否有與該名字有關(guān)的逮捕記錄。”

換言之，在文字有出現(xiàn)過(guò)“逮捕”一詞的廣告中，與黑人相關(guān)的名字所占比例要高于“白人”的名字。實(shí)際犯罪記錄的存在似乎并不是決定因素。

這是怎么回事呢？要解釋清楚這一點(diǎn)，需要對(duì)在線廣告業(yè)務(wù)進(jìn)行一些拆解。每次你點(diǎn)擊一個(gè)網(wǎng)站，一個(gè)即時(shí)的廣告空間拍賣就會(huì)發(fā)生在競(jìng)爭(zhēng)你的注意力的公司之間。正如我們所知，監(jiān)控資本主義有各種各樣的方法來(lái)確定你對(duì)市場(chǎng)營(yíng)銷人員的價(jià)值，讓平臺(tái)對(duì)你的眼球時(shí)間做出準(zhǔn)確的出價(jià)。這些公司比我們更了解我們的習(xí)慣，他們對(duì)我們的抽象身份有一個(gè)詳細(xì)的描述——我們自我意識(shí)的歷史，由消費(fèi)定義和為消費(fèi)定義——他們利用這些信息在最佳時(shí)刻向我們發(fā)送營(yíng)銷信息。如果任其自生自棄，就會(huì)造成一種新技術(shù)重現(xiàn)現(xiàn)實(shí)世界形式的壓迫的局面。

圍繞廣告空間的選項(xiàng)有多種定制方式。谷歌不僅允許公司定制哪些受眾看到廣告，還允許公司定制廣告本身的內(nèi)容。

Sweeney解釋說(shuō)：谷歌知道廣告客戶可能并不明確哪一個(gè)廣告副本工作的最有效，因此廣告客戶可以為同一個(gè)搜索字符串提供多個(gè)模板，“谷歌算法”會(huì)隨著時(shí)間的推移從廣告的瀏覽者那里了解到哪一個(gè)廣告文本點(diǎn)擊次數(shù)最多。它通過(guò)根據(jù)每個(gè)廣告的點(diǎn)擊歷史分配權(quán)重（或概率）來(lái)實(shí)現(xiàn)這一點(diǎn)。起初，所有可能的廣告副本都是相同的權(quán)重，它們產(chǎn)生點(diǎn)擊的可能性都是相同的。然后隨著時(shí)間的推移，當(dāng)人們傾向于點(diǎn)擊某個(gè)版本的廣告文本而不是其他版本時(shí)，權(quán)重會(huì)發(fā)生變化，因此點(diǎn)擊最多的廣告文本最終會(huì)顯示得更頻繁。這種方法將谷歌作為廣告交付者的財(cái)務(wù)利益與廣告客戶聯(lián)系起來(lái)。

由于算法的設(shè)計(jì)方法，機(jī)器學(xué)會(huì)了將非裔美國(guó)人的名字與犯罪聯(lián)系起來(lái)。即使用戶個(gè)人不點(diǎn)擊廣告，他也會(huì)從其他用戶點(diǎn)擊的內(nèi)容中體驗(yàn)到機(jī)器學(xué)習(xí)的后果，這會(huì)限制顯示給所有后續(xù)用戶的選擇。

對(duì)此，一個(gè)可能的回答是，算法是中立的，它只是廣告的載體，自動(dòng)響應(yīng)人們?nèi)绾问褂盟?strong>算法不是種族主義，而人類卻是種族主義者。但該算法的構(gòu)建方式也證實(shí)了現(xiàn)實(shí)世界中存在的隱含偏見(jiàn)，而且這種情況一而再、再而三地發(fā)生。認(rèn)為非裔美國(guó)人不如白人可信的假設(shè)是一種普遍存在的隱性偏見(jiàn)，從求職者的成功概率到警察在槍口對(duì)準(zhǔn)人時(shí)做出的分秒決定，它在很多方面都具有現(xiàn)實(shí)意義。在斯韋尼的研究中，我們看到這種態(tài)度在數(shù)字技術(shù)世界中被有意或無(wú)意地復(fù)制。這不是一個(gè)謎，也不是一個(gè)深不可測(cè)的結(jié)果。谷歌對(duì)影響自動(dòng)廣告的種族主義并不完全負(fù)責(zé)，但它不能逃避責(zé)任。成百上千的人被活活燒死在Pinto汽車?yán)?，福特并不是唯一的?zé)任方，但公眾輿論的法庭正確地認(rèn)為，如果福特的汽車設(shè)計(jì)不同，很容易就能阻止這些悲慘事故的發(fā)生。

這則廣告之所以帶有種族主義色彩，部分原因在于，設(shè)計(jì)算法并根據(jù)真實(shí)數(shù)據(jù)訓(xùn)練算法的過(guò)程基本上是零透明度的。這些輸入是秘密的，并且沒(méi)有正式的規(guī)則可以適當(dāng)?shù)剡m應(yīng)這些過(guò)程。像斯韋尼這樣的用戶在銷售廣告空間時(shí)，其糟糕的體驗(yàn)不會(huì)出現(xiàn)在這些公司的成本效益分析中。他們甚至沒(méi)有正式的渠道和方式來(lái)投訴這種種族歧視，不想管的人幾乎沒(méi)有辦法知道這件事。有偏見(jiàn)的算法對(duì)我們生活的許多方面產(chǎn)生了相當(dāng)大的影響，而且影響越來(lái)越大。只要它們一直保持隱藏或未經(jīng)檢查，我們就會(huì)不斷允許各種危險(xiǎn)和壓迫的做法嵌入到新技術(shù)中，因?yàn)闄C(jī)器會(huì)不斷學(xué)會(huì)吸收現(xiàn)實(shí)世界中存在的隱含偏見(jiàn)。

當(dāng)我們認(rèn)為掌握并根據(jù)這些信息采取行動(dòng)的權(quán)力就在谷歌手中時(shí)，谷歌沒(méi)有任何責(zé)任的觀點(diǎn)就失去了說(shuō)服力。谷歌的決策者知道廣告客戶，也就是他們的付費(fèi)客戶，計(jì)劃使用的內(nèi)容。因?yàn)樗麄冊(cè)O(shè)計(jì)了這個(gè)系統(tǒng)，所以他們處于最有利的位置來(lái)了解潛在的問(wèn)題以及它可能如何顯現(xiàn)。目前，他們計(jì)算出發(fā)現(xiàn)和解決這些問(wèn)題的成本要高于忽視這些問(wèn)題的成本，而忽略這些問(wèn)題的成本是由其他人承擔(dān)的。我們必須找到改變這種計(jì)算的方法。

谷歌的高管們應(yīng)該為他們的技術(shù)所產(chǎn)生的結(jié)果承擔(dān)責(zé)任。在這種情況下，谷歌提供了一種服務(wù)，它所做的正是其設(shè)計(jì)初衷：最有效地將廣告貨幣化。換句話說(shuō)，將種族主義引入數(shù)字技術(shù)，并沒(méi)有在設(shè)計(jì)過(guò)程中考慮隱性偏見(jiàn)，這并不是一個(gè)缺陷，而是技術(shù)資本主義的一個(gè)特征。

基于這個(gè)原因，也許最可鄙的情況是，這種設(shè)計(jì)歧視的發(fā)生是沒(méi)有實(shí)際理由的。網(wǎng)絡(luò)是一個(gè)可以在結(jié)構(gòu)上最小化、承認(rèn)和消除壓迫態(tài)度的空間。我們不僅可以制定政策防止種族主義廣告的投放，我們還可以設(shè)計(jì)出更好的多樣性表現(xiàn)形式，積極地將偏見(jiàn)最小化。我們可以預(yù)見(jiàn)隱性偏見(jiàn)，并提前找到抵消其影響的方法，我們甚至可以阻止公司利用它的存在。我們可以設(shè)計(jì)和建造數(shù)字基礎(chǔ)設(shè)施，幫助人們社會(huì)化，避免歧視性的隱性偏見(jiàn)。這樣的前景引發(fā)了各種有趣的問(wèn)題，關(guān)于它在實(shí)踐中是如何工作的，我們可以共同著手解決這項(xiàng)任務(wù)。

我們可以宣傳并起草有關(guān)設(shè)計(jì)和工程流程的法律法規(guī)，就像消費(fèi)者權(quán)益倡導(dǎo)者要求聯(lián)邦政府實(shí)施汽車安全法規(guī)一樣。我們需要建立規(guī)則，優(yōu)先考慮消除壓迫的目標(biāo)，而不是將網(wǎng)絡(luò)貨幣化的目標(biāo)。這是一個(gè)難得的機(jī)會(huì)。如果我們只是等待這些問(wèn)題自己出現(xiàn)，或者在它們出現(xiàn)時(shí)零敲碎打地加以解決，那我們的視線只會(huì)拘泥于冰山一角。如果這樣的話，我們就是在鼓勵(lì)一個(gè)行業(yè)固步自封，集中力量反對(duì)透明度和問(wèn)責(zé)制，同時(shí)在出現(xiàn)問(wèn)題時(shí)將責(zé)任歸咎于用戶。目前，我們依靠像Sweeney這樣的人來(lái)發(fā)現(xiàn)這些問(wèn)題的存在，而她只是偶然發(fā)現(xiàn)了這些問(wèn)題。

數(shù)據(jù)科學(xué)家Cathy O 'Neil觀察到，粗心的邏輯、缺乏反饋和不規(guī)范的數(shù)據(jù)輸入（這也是許多算法的共同特點(diǎn)）結(jié)合在一起，這種結(jié)合被她稱為“毀滅數(shù)學(xué)的武器”。她寫道，這些算法共有一種傾向，會(huì)“隨意地生成自己的實(shí)相”?！皵?shù)字化過(guò)程的感知中立性為草率和分裂的人們提供了借口，同時(shí)再將一系列活動(dòng)的管理進(jìn)行外包，種種行為喚醒了潛在的惡?！?/p>

她寫道：“管理者們認(rèn)為這些分?jǐn)?shù)是真實(shí)的，足夠有用，而且這種算法使艱難的決策變得容易。他們可以解雇員工，削減成本，并將他們的決定歸咎于一個(gè)客觀的數(shù)字，不管這個(gè)數(shù)字是準(zhǔn)確的還是不準(zhǔn)確的?！痹诖髷?shù)據(jù)時(shí)代，用于確定復(fù)雜問(wèn)題答案的計(jì)算機(jī)程序創(chuàng)造了令人興奮和變革的可能性，但它們也給糟糕的治理和管理帶來(lái)了準(zhǔn)確性和中立性的過(guò)度粉飾。

透過(guò)Sweeney打開(kāi)的那扇小小的令人不安的舷窗，我們瞥見(jiàn)了一片風(fēng)起云涌的汪洋大海。算法正在以各種各樣的方式被使用，這些方法可能對(duì)人們產(chǎn)生深遠(yuǎn)的影響。一個(gè)例子是依靠自動(dòng)化程序篩選求職者，這可能會(huì)對(duì)有精神病史的人或英語(yǔ)為第二語(yǔ)言的人產(chǎn)生偏見(jiàn)。另一個(gè)例子是大學(xué)入學(xué)標(biāo)準(zhǔn)化考試。招生過(guò)程，尤其是在不需要標(biāo)準(zhǔn)化考試的情況下，可能會(huì)根據(jù)申請(qǐng)人的人口統(tǒng)計(jì)學(xué)特征，使用預(yù)測(cè)的分?jǐn)?shù)作為代理，而不清楚替代數(shù)據(jù)的準(zhǔn)確性。

算法也用于決定假釋申請(qǐng)，假釋申請(qǐng)依賴于案件工作者填寫的表格，而沒(méi)有任何指示這些答復(fù)如何影響算法的輸出。在一個(gè)令人深惡痛絕的例子中，谷歌照片應(yīng)用程序曾將一些黑人的照片貼上大猩猩的標(biāo)簽，該應(yīng)用程序自動(dòng)按主題對(duì)照片進(jìn)行排序。秘密的、專有的算法往往會(huì)以科學(xué)邏輯的形式產(chǎn)生幾乎不加掩飾的偏見(jiàn)。這些問(wèn)題不僅僅是失誤，更像是Corvair轉(zhuǎn)向不良或Pinto燃油箱緩沖不足一樣，不僅僅是不幸的錯(cuò)誤。它們是有缺陷的設(shè)計(jì)過(guò)程產(chǎn)生的惡劣后果。

這些算法決策過(guò)程對(duì)處于不同社會(huì)階層的人們有著不同的影響。正如O’Neil指出的那樣，機(jī)器既便宜又高效，它們的決策更容易強(qiáng)加給窮人。“特權(quán)階層，”她觀察到，“更多的是由人來(lái)處理，而窮人則更多的是由機(jī)器來(lái)處理?！倍遥鎸?duì)這些機(jī)器的人們，幾乎不可能質(zhì)疑或挑戰(zhàn)他們的決定，就算他們知道自己在被如何區(qū)別對(duì)待也沒(méi)有什么辦法。

例如，沃爾瑪為低收入人群創(chuàng)建了商品目錄，相對(duì)于更健康的選擇，這些人被推銷的垃圾食品數(shù)量占比更高。當(dāng)與其他數(shù)據(jù)集交叉引用時(shí)，有關(guān)逮捕的數(shù)據(jù)也可以以壓制性的方式使用。逮捕的證據(jù)可能意味著，自動(dòng)簡(jiǎn)歷分類軟件可能會(huì)先發(fā)制人地將候選人排除在求職考慮之外，或者拒絕讓一個(gè)人獲得消費(fèi)金融服務(wù)，有時(shí)甚至在逮捕已經(jīng)從公共記錄中刪除之后也是如此。機(jī)器學(xué)習(xí)經(jīng)常被用于窮人身上并對(duì)他們進(jìn)行測(cè)試，而社會(huì)上最容易受到傷害的人最終要應(yīng)對(duì)這些后果。

不可否認(rèn)，類別的動(dòng)態(tài)性受到了壓制性算法的影響。技術(shù)，尤其是在精英階層的管理下，反映了支撐社會(huì)分裂的價(jià)值體系。我們目前關(guān)于人工智能危險(xiǎn)的許多討論，都被此類技術(shù)可能導(dǎo)致第三次世界大戰(zhàn)的可能性所主導(dǎo)。無(wú)論這些擔(dān)憂多么有效，其框架揭示了一些更深層次的東西。許多推動(dòng)這些對(duì)話的人都是富有的白人男性，正如研究人員Kate Crawford所指出的那樣，“對(duì)他們來(lái)說(shuō)，最大的威脅可能是一種人工智能頂端捕食者的崛起。但對(duì)于那些已經(jīng)面臨邊緣化或偏見(jiàn)的人來(lái)說(shuō)，威脅就在這里。”

越來(lái)越多復(fù)雜的算法網(wǎng)絡(luò)產(chǎn)生了各種各樣的社會(huì)、經(jīng)濟(jì)和文化后果。抽象識(shí)別總是依賴于基于數(shù)據(jù)的分析，或者與抽象身份相關(guān)的識(shí)別。這是一種數(shù)據(jù)歧視的做法。也就是說(shuō)，為了營(yíng)銷的目的，社區(qū)和個(gè)人被分割成不同的受眾，往往是基于對(duì)具體和不完整的數(shù)據(jù)的膚淺假設(shè)，這種假設(shè)具有高度分裂效應(yīng)和加速影響。正如Adam Greenfield所言：“當(dāng)代技術(shù)從來(lái)就不是獨(dú)立、獨(dú)立、獨(dú)立的產(chǎn)物。網(wǎng)絡(luò)收集和交換數(shù)據(jù)，這些數(shù)據(jù)由于路徑依賴而流向不同的方向，而市場(chǎng)功能和社會(huì)偏見(jiàn)放大了這一點(diǎn)。機(jī)器的決策功能不僅具有再現(xiàn)傳統(tǒng)社會(huì)斷層的能力，而且還具有加劇階級(jí)斷層的能力。”

到了1978年，在聲討者和監(jiān)管機(jī)構(gòu)的雙重壓力下，福特同意自愿召回1971年至1976年間生產(chǎn)的所有Pinto。就在幾個(gè)月前，陪審團(tuán)裁定Richard Grimshaw損失1.26億美元，雖然該裁決被初審法官減少了一些，但仍然數(shù)額可觀。Grimshaw的決定在上訴中得到了確認(rèn)，法院指出，“福特管理層的行為應(yīng)該受到極端的譴責(zé)。”調(diào)查發(fā)現(xiàn)，管理層“為了最大化公司利潤(rùn)，故意漠視公共安全……危及成千上萬(wàn)名平托購(gòu)買者的生命”。幾個(gè)月后，福特因印第安納州兩名少女的死亡而被提起刑事訴訟。福特在這起案件中被判無(wú)罪。但它最終支付了隨后針對(duì)它提出的與Pinto有關(guān)的索賠。到1980年，這款車就停產(chǎn)了。

Pinto丑聞不應(yīng)被視為福特工程師們的偶發(fā)性德道失誤，他們?cè)谠O(shè)計(jì)過(guò)程中未能正確地評(píng)價(jià)人類的生命。盡管對(duì)參與設(shè)計(jì)過(guò)程的每個(gè)人來(lái)說(shuō)，深思熟慮和了解他們的工作是很重要的，但也必須承認(rèn)這些工程師和設(shè)計(jì)師是在業(yè)務(wù)驅(qū)動(dòng)的環(huán)境中工作的。福特公司的執(zhí)行領(lǐng)導(dǎo)做出了關(guān)鍵決定，忽略了提供給他們的重要信息。福特還在一個(gè)競(jìng)爭(zhēng)激烈的市場(chǎng)中運(yùn)作，在這個(gè)市場(chǎng)上，監(jiān)管機(jī)構(gòu)要么坐視不管，要么更糟，被行業(yè)所俘獲。改變這種情況需要記者、活動(dòng)家和律師的共同努力，還需要當(dāng)局制定新的規(guī)章制度，以預(yù)測(cè)危險(xiǎn)設(shè)計(jì)的風(fēng)險(xiǎn)，并創(chuàng)造條件，使工程師能夠在不危及其就業(yè)的情況下進(jìn)行符合道德標(biāo)準(zhǔn)的工作。在資本主義制度下，保護(hù)人類的生命和尊嚴(yán)不受底線的影響是一場(chǎng)永無(wú)止境的戰(zhàn)斗。

計(jì)算機(jī)代碼本身就是一種法律形式。它由人類書寫，像其他權(quán)力分配系統(tǒng)一樣，它控制著人類的行為。它不是一個(gè)客觀的過(guò)程或自然的力量，它表達(dá)了編碼器和用戶之間的一種權(quán)力關(guān)系，反映了編碼器工作的系統(tǒng)?！按a永遠(yuǎn)找不到，” 勞倫斯·萊斯格（Lawrence Lessig）提醒我們：“這是唯一的辦法，也是我們唯一的辦法。”“讓自由市場(chǎng)來(lái)決定這些事情意味著，數(shù)字技術(shù)有可能在一個(gè)不可思議的過(guò)程的掩護(hù)下，重現(xiàn)歧視。” Joy Buolamwini是算法公正聯(lián)盟（Algorithmic Justice League）的創(chuàng)始人之一，該組織旨在宣傳和挑戰(zhàn)算法中的偏見(jiàn)。在她看來(lái)，只有圍繞一個(gè)特定的目標(biāo)和意圖組織起來(lái)，我們才能做到這一點(diǎn)。

目前已經(jīng)存在了一些關(guān)于歧視的法律禁令，這些禁令將捕捉到其中一些例子，因?yàn)樗鼈凅w現(xiàn)在有偏見(jiàn)的代碼中。但這些限制還遠(yuǎn)遠(yuǎn)不夠，執(zhí)行這些限制也需要監(jiān)管機(jī)構(gòu)不斷更新權(quán)力。要發(fā)現(xiàn)這些問(wèn)題，還需要對(duì)科技公司征收更高的關(guān)稅。我們需要要求立法者和公共機(jī)構(gòu)，在民主權(quán)威的名義下，介入這些市場(chǎng)，并對(duì)行業(yè)發(fā)布和執(zhí)行設(shè)計(jì)要求。Nader在1965年對(duì)汽車工業(yè)進(jìn)行評(píng)述時(shí)寫道：“一個(gè)民主政府在解決相互競(jìng)爭(zhēng)的利益和決定（改善交通安全）時(shí)所需的一切方面，遠(yuǎn)比那些追求越來(lái)越高利潤(rùn)的公司更有能力?！苯裉斓目萍脊竞驼彩侨绱?。

重要的是，開(kāi)發(fā)這種技術(shù)的人們?cè)诟淖冊(cè)O(shè)計(jì)文化方面也扮演著重要的角色。倫理設(shè)計(jì)考慮可以作為一種工業(yè)和政治組織工具，充當(dāng)?shù)钟訆Z性商業(yè)實(shí)踐的壁壘。世界上最大的計(jì)算機(jī)科學(xué)家和工程師組織，計(jì)算機(jī)械協(xié)會(huì)（the Association for Computing Machinery）主席Cherri M. Pancake寫道：“技術(shù)專家是第一道也是最后一道防御技術(shù)濫用的防線。”

2018年，該組織發(fā)布了一份最新的道德規(guī)范，要求開(kāi)發(fā)者識(shí)別可能的有害副作用或誤用其工作的可能性，考慮不同用戶群體的需求，并特別注意避免對(duì)特殊群體的權(quán)利剝奪。在ACM收到的關(guān)于代碼的反饋中，有一位年輕的程序員這樣評(píng)論：“現(xiàn)在我知道如果老板要求我再做類似的事情，我該怎么告訴他?！苯鉀Q設(shè)計(jì)中涉及的倫理問(wèn)題不是一項(xiàng)簡(jiǎn)單的任務(wù)，但也不是不可能，為技術(shù)人員創(chuàng)造空間，讓他們考慮各種選擇，并充分利用它們，是其中的一個(gè)重要組成部分。

隨著越來(lái)越多的大型科技公司員工以道德為理由與老板展開(kāi)較量，我們已經(jīng)可以看到這種做法在實(shí)踐中是什么樣子了。微軟員工組織起來(lái)要求他們的公司取消與移民和海關(guān)執(zhí)法部門以及其他直接幫助他們的客戶的合同。他們寫道：“作為微軟從中獲利的技術(shù)研發(fā)人員，我們拒絕與之串通一氣。我們是一個(gè)不斷壯大的運(yùn)動(dòng)的一部分，這個(gè)運(yùn)動(dòng)包括了整個(gè)行業(yè)的許多人，他們認(rèn)識(shí)到，那些創(chuàng)造強(qiáng)大技術(shù)的人必須承擔(dān)重大責(zé)任，確保他們所創(chuàng)造的東西是用于造福，而不是有害。拒絕開(kāi)發(fā)有害技術(shù)的道德和最終政治決定不是基于個(gè)人，而是基于集體和工業(yè)?！?/p>

谷歌也發(fā)生了類似的員工運(yùn)動(dòng)，4000名工人代表軍方和高級(jí)工程師簽署了一份反對(duì)某個(gè)項(xiàng)目的請(qǐng)?jiān)笗芙^從事特定項(xiàng)目的工作，該工作將使谷歌贏得一份另多方敏感的軍事合同。這種集體組織具有通過(guò)自組織改變技術(shù)生產(chǎn)文化的巨大潛力，比任何自上而下的紀(jì)律或服從形式更能夠有效地提出并解決倫理問(wèn)題。

數(shù)字時(shí)代的設(shè)計(jì)過(guò)程需要讓工程師更容易地考慮用戶的興趣。但是，我們?nèi)绾卫斫庥脩舻呐d趣可能是一個(gè)復(fù)雜的問(wèn)題，將這些興趣納入設(shè)計(jì)過(guò)程需要時(shí)間和精力。當(dāng)我們開(kāi)發(fā)技術(shù)并發(fā)掘其潛力時(shí)，如果我們要避免造成傷害，我們可能還必須限制我們的技術(shù)能力。

這是一個(gè)特別重要的考慮因素，因?yàn)槲覀円?jiàn)證了物聯(lián)網(wǎng)的飛速發(fā)展。越來(lái)越多的日常設(shè)備都安裝了網(wǎng)絡(luò)連接，你可以買一個(gè)冰箱、烤箱或者一個(gè)連接到互聯(lián)網(wǎng)的家庭氣候系統(tǒng)，從而可以在物體和人之間傳輸數(shù)據(jù)。正在開(kāi)發(fā)的產(chǎn)品范圍（必須說(shuō)，通常從過(guò)度到無(wú)用）也揭示了這種技術(shù)的潛在積極性，例如它可以為家庭中有流動(dòng)性問(wèn)題的人提供幫助，為幫助治療各種形式的殘疾而建造的技術(shù)正在取得驚人的進(jìn)展。廠商還有更加方便的承諾：如果你的智能手提箱丟了，你立馬可以上網(wǎng)追蹤它的位置。

但智能設(shè)備也有一個(gè)令人不安的方面。當(dāng)我們把更多的智能家居設(shè)備帶到我們的家里，以我們無(wú)法控制的方式與外界交流時(shí)，物聯(lián)網(wǎng)可以說(shuō)正在變成一個(gè)巨大的監(jiān)視裝置。這是弱勢(shì)群體面臨的一個(gè)特殊問(wèn)題。正如Elise Thomas的觀點(diǎn)，他討論了關(guān)于技術(shù)和家庭暴力的話題：技術(shù)的進(jìn)步對(duì)家庭暴力的目標(biāo)來(lái)說(shuō)是福也是禍。新的“智能”技術(shù)可以讓他們更容易地獲得幫助并記錄下虐待行為，但同樣，它也可能被濫用，監(jiān)控他們的活動(dòng)、竊聽(tīng)他們的對(duì)話、甚至實(shí)時(shí)跟蹤他們的位置……

從前，一個(gè)電話號(hào)碼就足以讓人喪命。那么，當(dāng)我們進(jìn)入一個(gè)有權(quán)使用智能設(shè)備跟蹤每一個(gè)動(dòng)作、聽(tīng)到每一次呼吸、讀取屏幕上每一個(gè)心跳的世界時(shí)，對(duì)于家庭暴力的目標(biāo)來(lái)說(shuō)，這意味著什么呢？

物聯(lián)網(wǎng)對(duì)家庭暴力幸存者的影響是深遠(yuǎn)的。隨著越來(lái)越多的生活設(shè)備連接到網(wǎng)絡(luò)，且我們無(wú)法控制這些數(shù)據(jù)流，其他人更容易訪問(wèn)我們的大量信息?？纱┐骷夹g(shù)可以被黑客攻擊，汽車和電話可以被跟蹤，來(lái)自恒溫器的數(shù)據(jù)可以顯示是否有人在家。

這種深度和廣度的數(shù)據(jù)對(duì)于任何經(jīng)歷過(guò)虐待關(guān)系的人來(lái)說(shuō)都是可怕的，也就是說(shuō)，很多很多的人被再一次放置在危險(xiǎn)之中。在美國(guó)，超過(guò)三分之一的女性和四分之一以上的男性一生中經(jīng)歷過(guò)強(qiáng)奸、身體暴力或親密伴侶的跟蹤。

技術(shù)濫用現(xiàn)在是選擇使用暴力的人的標(biāo)準(zhǔn)做法。在2014年一項(xiàng)針對(duì)家庭暴力幸存者的服務(wù)提供商的調(diào)查中，97%的人報(bào)告說(shuō)，他們的用戶因?yàn)E用技術(shù)而遭受虐待者的騷擾、監(jiān)控和威脅。這通常是電話騷擾和濫用，如短信和社交媒體發(fā)帖。但60%的服務(wù)提供商也報(bào)告說(shuō)，濫用者通過(guò)技術(shù)手段對(duì)兒童和幸存者進(jìn)行了監(jiān)視或竊聽(tīng)。濫用者通過(guò)給孩子送禮物或在孩子的物品上安裝裝置來(lái)達(dá)到這一目的，甚至有11%的人報(bào)告說(shuō)，有隱藏的“間諜”技術(shù)的玩具。

調(diào)查還發(fā)現(xiàn)，45%的項(xiàng)目報(bào)告了濫用者試圖通過(guò)技術(shù)找到幸存者的案例。這些發(fā)現(xiàn)得到了另一項(xiàng)研究的支持，該研究發(fā)現(xiàn)85%的受訪庇護(hù)所與施虐者使用GPS跟蹤他們的幸存者一起工作，75%的受訪幸存者使用隱藏的智能手機(jī)應(yīng)用程序遠(yuǎn)程竊聽(tīng)他們的談話。近一半接受調(diào)查的收容所禁止使用Facebook，因?yàn)樗麄儞?dān)心會(huì)向跟蹤者透露位置信息。

這些社會(huì)問(wèn)題不是科技公司有義務(wù)必須去解決的，但它們是科技公司所塑造的社會(huì)中不可否認(rèn)的一個(gè)特征。它們應(yīng)該在開(kāi)發(fā)的早期階段被考慮，并在設(shè)計(jì)過(guò)程中被適應(yīng)。我們經(jīng)常被告知，將越來(lái)越多的個(gè)人設(shè)備連接到互聯(lián)網(wǎng)是多么方便和未來(lái)主義。但不是每個(gè)人都有這種感覺(jué)，大量個(gè)人數(shù)據(jù)的生成，以及我們無(wú)法控制這些數(shù)據(jù)的收集和存儲(chǔ)方式，都會(huì)產(chǎn)生嚴(yán)重的后果，尤其是對(duì)某些群體而言。然而，社會(huì)大部門的經(jīng)驗(yàn)，特別是那些易受傷害的部門的經(jīng)驗(yàn)，通常似乎不在設(shè)計(jì)過(guò)程中。

這種方法最終會(huì)影響到每個(gè)人，而不僅僅是那些有特定弱點(diǎn)的人：隨著技術(shù)資本主義找到了了解我們個(gè)人生活的新方法，我們可以預(yù)測(cè)未來(lái)政府的間諜能夠找到他們自己的方式進(jìn)入這個(gè)信息寶庫(kù)。在2016年2月提交給美國(guó)參議院的證詞中，時(shí)任國(guó)家情報(bào)局局長(zhǎng)的詹姆斯·克拉珀（James Clapper）很好地表達(dá)了這一點(diǎn)。克拉珀說(shuō)：“未來(lái)，情報(bào)部門可能會(huì)利用物聯(lián)網(wǎng)進(jìn)行識(shí)別、監(jiān)視、監(jiān)測(cè)、定位跟蹤，并瞄準(zhǔn)招聘，或獲取網(wǎng)絡(luò)或用戶證書?！泵绹?guó)經(jīng)常利用產(chǎn)業(yè)創(chuàng)新為自己的利益重新調(diào)整用途。作家埃夫根尼·莫羅佐夫（Evgeny Morozov）簡(jiǎn)明扼要地說(shuō)：“如果你想知道‘智慧城市’或‘智慧家庭’中的‘智慧’意味著什么，那么我可以告訴你是作為革命性技術(shù)營(yíng)銷的監(jiān)視之眼?！?/p>

公司對(duì)用戶體驗(yàn)的漠不關(guān)心部分源于對(duì)可用性和實(shí)用性的特定理解，Pinto丑聞爆發(fā)時(shí)，汽車行業(yè)也處于類似的心態(tài)。Ralph Nader在《任何速度駕駛都是不安全的（safe at Any Speed）》一書中指出，福特公司基本上對(duì)花錢提高安全性不感興趣，大約166美元用于研究每一起交通事故，其中四分之一來(lái)自工業(yè)。

相比之下，航空業(yè)和政府在每名乘客死亡后的安全工作上共投入了5.3萬(wàn)美元。盡管汽車公司樂(lè)于投資于制造更快或更具未來(lái)感的汽車，但當(dāng)安全特性威脅到美學(xué)設(shè)計(jì)原則時(shí)，汽車行業(yè)卻抵制了它們?？萍脊緢?jiān)持把所有東西都連接到物聯(lián)網(wǎng)上，并在設(shè)計(jì)產(chǎn)品時(shí)考慮到某種特定的用戶，它們也采用了類似的模式。他們喜歡談?wù)摲?wù)客戶，但是這個(gè)目的是通過(guò)一個(gè)特定的和狹窄的框架來(lái)理解的。

其中一個(gè)最明顯的原因是，設(shè)計(jì)我們數(shù)字技術(shù)的人來(lái)自特定的人群。硅谷白人男性比例過(guò)高是眾所周知的。據(jù)調(diào)查報(bào)道中心透露，2016年硅谷10家大型科技公司沒(méi)有雇傭一名黑人女性。其中3家公司根本沒(méi)有黑人員工，6家公司沒(méi)有一位女性高管。

也有一些公司做得比其他公司好，許多大公司都發(fā)布了多樣性報(bào)告，這是與過(guò)去幾年相比的一個(gè)明顯變化。但是白人，尤其是男性，無(wú)論是相對(duì)于人口還是相對(duì)于整個(gè)私營(yíng)部門而言，在科技行業(yè)中的比例仍然過(guò)高。這種趨勢(shì)在行政領(lǐng)導(dǎo)層中更為極端。正因?yàn)槿绱?，我們看到網(wǎng)絡(luò)設(shè)備的設(shè)計(jì)方法對(duì)家庭暴力等威脅漠不關(guān)心，盡管它是社區(qū)中普遍存在的問(wèn)題。考慮到在座的特定人群，這些公司做出的決定不可避免地會(huì)顯示出特定的偏見(jiàn)，而且任何人想要糾正這些偏見(jiàn)的可能性都更低。

這也有一個(gè)類動(dòng)態(tài)。Adam Greenfield指出，物聯(lián)網(wǎng)是由一群特定的人來(lái)設(shè)計(jì)的，他們將Uber、Airbnb和Venmo等服務(wù)完全融入了自己的生活，盡管這并不能反映一種普遍的體驗(yàn)。他們擁抱了數(shù)字化、個(gè)性化、最優(yōu)化和商品化的世界:“這些主張對(duì)他們來(lái)說(shuō)變得正常，因此對(duì)其他人來(lái)說(shuō)也變得正常。然而事實(shí)上，有相當(dāng)一部分人從未使用過(guò)這些服務(wù)，甚至從未聽(tīng)說(shuō)過(guò)它們。但他們并不是由技術(shù)發(fā)展服務(wù)的群體。

一位記者注意到，2018年的消費(fèi)電子展似乎“更多的是為1%的富人提供更好的生活條件，而不是解決未滿足需求的真正的創(chuàng)新突破?！绷硪晃辉u(píng)論人士則更為直率:“舊金山的科技文化專注于解決一個(gè)問(wèn)題：我母親不再為我做什么？參與設(shè)計(jì)過(guò)程的人往往來(lái)自富裕的經(jīng)歷，以及特定的性別，這更普遍地影響著技術(shù)的發(fā)展，對(duì)我們所有人都產(chǎn)生了影響?！?/p>

程序員隊(duì)伍中的多樣性對(duì)于改變這種文化至關(guān)重要。這不僅僅是渠道問(wèn)題，也是技術(shù)公司內(nèi)部的問(wèn)題，需要改變招聘實(shí)踐、問(wèn)責(zé)流程和與工作條件相關(guān)的政策。2018年谷歌罷工事件中，該公司2萬(wàn)名員工停止工作，抗議該公司如何處理不當(dāng)性行為案件，并強(qiáng)調(diào)其對(duì)職場(chǎng)女性的影響。工人們幾乎立刻就贏得了一些權(quán)利，但還有更多的工作要做。它是一個(gè)鼓舞人心的例子，說(shuō)明了培養(yǎng)多樣化勞動(dòng)力存在的復(fù)雜障礙，以及如何通過(guò)組織來(lái)消除這些障礙。如果科技公司忽視這一點(diǎn)，他們將面臨危險(xiǎn)。目前，該行業(yè)缺乏多樣性，這是一個(gè)亟待改變的問(wèn)題，為實(shí)現(xiàn)這一點(diǎn)而提出的建議引起了廣泛和主流的關(guān)注。雖然這方面的成功前景是一個(gè)值得反思的有趣話題，但它們已經(jīng)成為大量討論和活動(dòng)的焦點(diǎn)。我想談一個(gè)更廣泛的問(wèn)題。

僅改變開(kāi)發(fā)人員的多樣性是遠(yuǎn)遠(yuǎn)不夠的，我們需要改變圍繞道德設(shè)計(jì)的文化。那些敦促程序員快速行動(dòng)并打破現(xiàn)狀的高管們，顯然是在期待其他人來(lái)收拾殘局。我們需要論證的是，這種模式應(yīng)該是建立考慮周到的程序，尊重設(shè)計(jì)的影響，并對(duì)用戶的身份進(jìn)行批判性思考。倫理困境不應(yīng)該被認(rèn)為高于程序員的薪酬等級(jí)，它們不應(yīng)該被外包給其他人，但這需要程序員有足夠的技能和能力去駕馭他們。這將意味著擴(kuò)大現(xiàn)有的道德教育項(xiàng)目，使其成為主流。但要將這些計(jì)劃付諸實(shí)施，科技公司還必須為適應(yīng)這些審議過(guò)程提供空間。這也可能意味著優(yōu)先考慮人類參與決策和調(diào)節(jié)，而不是自動(dòng)化過(guò)程，即使自動(dòng)化過(guò)程成本更高、效率更低。

創(chuàng)建一種更重視授權(quán)人員和限制傷害風(fēng)險(xiǎn)的編程文化是解決其中一些問(wèn)題的必要步驟。隨著時(shí)間的推移，這類工作可能會(huì)擴(kuò)大到有關(guān)政治權(quán)力的問(wèn)題，并最終培育出一種文化，這種文化崇尚和平的技術(shù)，并挑戰(zhàn)其在監(jiān)獄、警務(wù)和軍事等暴力和壓迫行業(yè)的普遍性。

當(dāng)然，人們是自愿購(gòu)買和使用現(xiàn)有產(chǎn)品的，我們尊重他們做出這些選擇的權(quán)利，但不可能認(rèn)為這些人中的每一個(gè)人都完全了解最新技術(shù)的性質(zhì)和含義。三星在其智能電視隱私政策中加入了一項(xiàng)警告，提醒消費(fèi)者“要知道，如果你說(shuō)的話包括個(gè)人或其他敏感信息，這些信息將在通過(guò)你的語(yǔ)音識(shí)別捕獲并傳輸給第三方的數(shù)據(jù)中。”

即使是芭比娃娃也不能遠(yuǎn)離網(wǎng)絡(luò)：美泰公司發(fā)布了一款芭比娃娃，它使用Wi-Fi將數(shù)據(jù)發(fā)送回公司進(jìn)行研發(fā)。但她也有自己的弱點(diǎn)，安全研究員Matt Jakubowski報(bào)告說(shuō)，盡管制造商采取了保護(hù)消費(fèi)者隱私的重大措施，但他們還是能夠破解這個(gè)娃娃。他說(shuō)：“直到我們能用我們的服務(wù)器替換她的服務(wù)器，讓她說(shuō)出我們想要的一切，這只是時(shí)間問(wèn)題?！?/p>

在20世紀(jì)60年代對(duì)汽車工業(yè)的分析中，Ralph Nader認(rèn)為，保密是對(duì)提高汽車安全最有害的政策之一?！斑@一行業(yè)秘密不僅阻礙了對(duì)知識(shí)的搜索以拯救生命……而且還保護(hù)了汽車制造商不被要求對(duì)他們正在做或不做的事情負(fù)責(zé)?！蔽覀兛梢钥吹?，如今，當(dāng)算法被用作人類決策的替代品而沒(méi)有適當(dāng)?shù)耐该鞫然騿?wèn)責(zé)時(shí)，類似的力量正在發(fā)揮作用。政府使用的專有算法通常出于安全原因保密，或出于商業(yè)原因由制造公司保密，因此他們可以收取產(chǎn)品使用費(fèi)。透明度和問(wèn)責(zé)制的缺失破壞了機(jī)會(huì)平等，掩蓋了結(jié)果的不平等。我們需要強(qiáng)制打開(kāi)“黑匣子”算法。

DNA證據(jù)分析算法在刑事案件中的應(yīng)用是一個(gè)很好的例子。DNA證據(jù)正成為一個(gè)高度復(fù)雜的領(lǐng)域，因?yàn)樵絹?lái)越小的樣本都可以用來(lái)檢測(cè)DNA的存在。因此，樣本幾乎總是顯示DNA混合，在那里可以對(duì)個(gè)體進(jìn)行多次匹配。這可能發(fā)生在不同的人在數(shù)小時(shí)甚至數(shù)天內(nèi)接觸到的物體上。每個(gè)人對(duì)混合物的貢獻(xiàn)程度取決于許多因素，例如他們釋放DNA物質(zhì)的速度，而不僅僅是他們接觸的順序。這種復(fù)雜的樣品越來(lái)越難以分析，尤其是人類實(shí)驗(yàn)室的技術(shù)人員，并且已經(jīng)產(chǎn)生了后來(lái)被懷疑的結(jié)果。在這種情況下，政府官員越來(lái)越依賴計(jì)算機(jī)程序來(lái)分析這些樣本，而這些程序通常由私營(yíng)公司提供。

如果沒(méi)有這些計(jì)劃如何運(yùn)作的透明度，那就會(huì)有很大的不公正的可能性。DNA證據(jù)對(duì)陪審團(tuán)來(lái)說(shuō)很有說(shuō)服力，計(jì)算機(jī)化的結(jié)果生成過(guò)程只會(huì)加強(qiáng)這種趨勢(shì)。在紐約市，一些辯護(hù)律師反對(duì)使用這些證據(jù)，理由是這種方法沒(méi)有被科學(xué)界認(rèn)為是可靠的。辯護(hù)律師被拒絕訪問(wèn)程序代碼，因此無(wú)法確定進(jìn)入算法的邏輯輸入。在科學(xué)和數(shù)學(xué)研究者以及法醫(yī)專家的幫助下，法律援助律師成功地對(duì)軟件進(jìn)行了逆向工程。這是來(lái)自公眾擁護(hù)者的巨大努力，并且最終取得了成果。在聽(tīng)取了廣泛的專家證詞后，法官認(rèn)為這種證據(jù)是不可靠的，因此是不可接受的。但這項(xiàng)裁決并不是計(jì)算機(jī)DNA檢測(cè)的終結(jié)，它仍然被美國(guó)各地的司法管轄區(qū)用作證據(jù)。

如果公共決定是關(guān)于一個(gè)人的——尤其是涉及到一個(gè)人的自由——人們應(yīng)該有權(quán)知道這個(gè)決定是如何達(dá)成的。在沒(méi)有證據(jù)法的情況下，我們不再在秘密法庭里完成定罪，因?yàn)檫@被認(rèn)為是不公平的。律師對(duì)專家證言進(jìn)行嚴(yán)格的質(zhì)證，并仔細(xì)評(píng)估證人的證件是否足以支持他們得出的結(jié)論。正義必須得到伸張。在這種情況下，黑盒算法產(chǎn)生的DNA證據(jù)具有很高的影響力，并且在科學(xué)上存在缺陷。構(gòu)建這些算法的更透明的過(guò)程對(duì)于防止錯(cuò)誤邏輯進(jìn)入我們的司法系統(tǒng)至關(guān)重要。計(jì)算機(jī)程序應(yīng)該像專家證人一樣被對(duì)待，我們應(yīng)該對(duì)程序的假設(shè)進(jìn)行類似程度的審查，而不是把它當(dāng)作客觀真理的惰性提供者。

沒(méi)有理由說(shuō)，這些方案不能由一個(gè)公共當(dāng)局制定或使用公共資金，或不能接受該機(jī)構(gòu)的審計(jì)?？赡軙?huì)有報(bào)告指導(dǎo)方針、確定項(xiàng)目是否產(chǎn)生有偏見(jiàn)的結(jié)果的認(rèn)證過(guò)程，或其他任何數(shù)量的監(jiān)管制度。LRMix Studio提供了另一種選擇：它是一個(gè)開(kāi)源軟件產(chǎn)品，可以解釋復(fù)雜的法醫(yī)DNA檔案。類似的開(kāi)源工具也被開(kāi)發(fā)出來(lái)，用于將樣本與DNA數(shù)據(jù)庫(kù)進(jìn)行匹配，以降低誤報(bào)和漏報(bào)的風(fēng)險(xiǎn)。為了達(dá)到科學(xué)界可接受的可靠性標(biāo)準(zhǔn)，特別是在持續(xù)的基礎(chǔ)上，這種透明度是必不可少的。

當(dāng)然，有一種危險(xiǎn)，那就是讓這些算法透明化會(huì)給人們一個(gè)顛覆它們的機(jī)會(huì)。例如，專業(yè)的罪犯可能會(huì)學(xué)會(huì)如何避免在犯罪現(xiàn)場(chǎng)丟失DNA。但這些問(wèn)題并不新穎，它們不能排除其他收集證據(jù)的方法，也不能形成一個(gè)足夠好的借口來(lái)鞏固一個(gè)充滿偏見(jiàn)的世界。反對(duì)自證其罪的特權(quán)和獲得法律顧問(wèn)的權(quán)利被認(rèn)為是刑事司法系統(tǒng)正常運(yùn)作的關(guān)鍵，它二者都使有罪的人更容易自由行走。盡管如此，我們還是認(rèn)為這是正確執(zhí)行司法所必需的。在刑事司法系統(tǒng)中，用于輔助決策的計(jì)算機(jī)程序也應(yīng)該如此。

正如我們對(duì)預(yù)算決策或公共資源分配的透明度的期望一樣，用于公共決策目的的算法應(yīng)可供審查，以確保邏輯和數(shù)據(jù)輸入是公平的。越來(lái)越多的人呼吁各國(guó)政府拒絕在公共決策過(guò)程中使用黑盒算法，并向公眾開(kāi)放所有代碼供審查。這些都是很好的出發(fā)點(diǎn)，并且可以作為長(zhǎng)期目標(biāo)的一部分，這種審查不僅僅應(yīng)當(dāng)應(yīng)用于公共機(jī)構(gòu)。

目前，私營(yíng)企業(yè)處于研究復(fù)雜算法的中心，這些算法被頻繁應(yīng)用于機(jī)器學(xué)習(xí)。由于谷歌、Facebook和亞馬遜等公司的數(shù)據(jù)熱潮，研究學(xué)院已經(jīng)無(wú)法與龐大的資源競(jìng)爭(zhēng)。這一點(diǎn)尤其正確，因?yàn)榭萍夹袠I(yè)大舉投資于機(jī)器學(xué)習(xí)，將其熟練的專業(yè)人員吸引到私營(yíng)企業(yè)，在很大程度上將公眾排除在這些發(fā)展的利益之外。微軟研究院副總裁彼得·李（Peter Lee）表示，2017年聘請(qǐng)頂級(jí)研究員的成本與在NFL簽下一名四分衛(wèi)的成本大致相同。正如《連線》雜志所觀察到的，“自那以后，人才市場(chǎng)只會(huì)變得越來(lái)越熱……大公司現(xiàn)在正在收購(gòu)那些尚未起步的人工智能初創(chuàng)企業(yè)?！?/p>

機(jī)器學(xué)習(xí)的邏輯輸入非常復(fù)雜，甚至個(gè)別的工程師也很難解釋機(jī)器如何產(chǎn)生特定的響應(yīng)。在這種情況下，嚴(yán)格的測(cè)試和標(biāo)準(zhǔn)是至關(guān)重要的，以便在問(wèn)題發(fā)生之前發(fā)現(xiàn)問(wèn)題。盡管最近出現(xiàn)了一些重要的旨在行業(yè)自律的舉措，但這些舉措還不夠。我們需要公共的、民主負(fù)責(zé)的當(dāng)局的干預(yù)。我們需要開(kāi)始思考，如何像技術(shù)發(fā)展的所有領(lǐng)域一樣，將公正和公平的原則注入機(jī)器學(xué)習(xí)，并使之觸手可及，以便分享這些進(jìn)步帶來(lái)的好處。我們需要了解權(quán)力集中是如何阻礙這一目標(biāo)實(shí)現(xiàn)的。

在道伊關(guān)于Pinto災(zāi)難的文件中，他討論了福特和國(guó)家公路交通安全局（NHTS）就起草和實(shí)施行業(yè)新標(biāo)準(zhǔn)進(jìn)行談判的所有方式。道伊概述了福特如何能夠拖延數(shù)年而不實(shí)施標(biāo)準(zhǔn)，如果不進(jìn)行昂貴的重新設(shè)計(jì)，福特將難以滿足這些標(biāo)準(zhǔn)。NHTS最終發(fā)現(xiàn)Pinto有一個(gè)安全缺陷，這促使福特召回了它。但隨后對(duì)丑聞的分析揭示了NHTS發(fā)現(xiàn)的安全缺陷是如何操縱標(biāo)準(zhǔn)測(cè)試的結(jié)果。除此之外，NHTS增加了碰撞試驗(yàn)的速度，它使用了一種不同類型的車輛作為與Pinto發(fā)生碰撞的“子彈車”，以最大程度地與燃料箱接觸，并確保前燈被打開(kāi)以提供可能的點(diǎn)火源。

這意味著，這些對(duì)標(biāo)準(zhǔn)測(cè)試過(guò)程的修改是為了回應(yīng)道伊的文章和訴訟引發(fā)的公眾憤怒。福特被要求遵守其他公司不遵守的標(biāo)準(zhǔn)，而它自己卻不知道這些標(biāo)準(zhǔn)是必須遵守的。福特從未承認(rèn)自己做錯(cuò)了什么。

然而，我們的教訓(xùn)是：隨著我們對(duì)一個(gè)行業(yè)和技術(shù)了解的更多，我們需要在安全和責(zé)任方面更新我們的期望。我們需要組織活動(dòng)家、律師和記者，突出設(shè)計(jì)不當(dāng)?shù)募夹g(shù)對(duì)人類的影響，并迫使行業(yè)適應(yīng)重視安全和工作的設(shè)計(jì)文化，以減輕偏見(jiàn)。我們需要要求政府干預(yù)這一行業(yè)，以建立公開(kāi)確定的標(biāo)準(zhǔn)和方法，讓公司在違反規(guī)定時(shí)承擔(dān)責(zé)任。隨著我們更多地了解問(wèn)題并嘗試解決方案，這些標(biāo)準(zhǔn)必須不斷更新并響應(yīng)不斷變化的環(huán)境。

為什么我們不應(yīng)該進(jìn)行人工智能的碰撞測(cè)試？或者機(jī)器學(xué)習(xí)的認(rèn)證過(guò)程？為什么我們不應(yīng)該有一個(gè)專家小組，要求他們保持獨(dú)立于行業(yè)，他們可以在代碼裝運(yùn)前提供測(cè)試和解決偏差的指導(dǎo)，或者在產(chǎn)品銷售前提供安全風(fēng)險(xiǎn)，并且在成功地通過(guò)網(wǎng)絡(luò)時(shí)調(diào)查實(shí)例？我們需要更廣泛的、更具代表性的測(cè)試樣本，以確保設(shè)計(jì)師從平均用戶群之外獲得反饋。我們需要將適當(dāng)?shù)姆答佈h(huán)和有意義的呼吁渠道結(jié)合起來(lái)，為那些需要自動(dòng)化決策的人服務(wù)，這樣就不會(huì)留下錯(cuò)誤供用戶獨(dú)自面對(duì)和解決。我們必須找到避免對(duì)相對(duì)未知的現(xiàn)有數(shù)據(jù)進(jìn)行私有化的方法，以避免從現(xiàn)有數(shù)據(jù)集中導(dǎo)入偏見(jiàn)，并低估我們知識(shí)的局限性。我們需要更多的人來(lái)監(jiān)督自動(dòng)化決策，我們必須停止不加思考地使用后者來(lái)替代前者。我們需要制定關(guān)于最佳實(shí)踐算法和設(shè)計(jì)過(guò)程的公共指南，并授權(quán)機(jī)構(gòu)以負(fù)責(zé)任的方式監(jiān)控標(biāo)準(zhǔn)。

“汽車的監(jiān)管必須經(jīng)歷三個(gè)階段，”納德?tīng)枌懙馈！肮娨庾R(shí)和行動(dòng)要求的階段，立法的階段，以及持續(xù)管理的階段。”我們今天應(yīng)該對(duì)技術(shù)資本主義采取類似的方法，在這種方法中，我們審視行業(yè)，圍繞變革的要求團(tuán)結(jié)起來(lái)，并制定持續(xù)問(wèn)責(zé)的程序。這樣的監(jiān)管過(guò)程一定是不完美的：它們可能很繁瑣，容易受到行業(yè)捕獲和誤導(dǎo)。但這同樣適用于許多對(duì)我們健康至關(guān)重要的行業(yè)，如食品安全監(jiān)測(cè)、醫(yī)療產(chǎn)品監(jiān)管和汽車行業(yè)。

算法、技術(shù)設(shè)備和人工智能，如果設(shè)計(jì)得不好，就會(huì)像不衛(wèi)生的飯菜或有故障的起搏器一樣讓我們面臨風(fēng)險(xiǎn)。如果被政府使用，它們甚至可能會(huì)損害管理我們社會(huì)保障的行政程序或有關(guān)我們個(gè)人自由的司法決定。我們需要將它們視為設(shè)計(jì)和可修改的產(chǎn)品，并拒絕技術(shù)精英們提出的否認(rèn)對(duì)其影響負(fù)責(zé)的論點(diǎn)，不要讓用戶被權(quán)力指責(zé)。(來(lái)源：獵云網(wǎng))

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。