編者注：Lizzie O’Shea是一名律師、作家和博客。她經(jīng)常在美國國家電視節(jié)目和電臺上發(fā)表文章，評論法律、數(shù)字技術、企業(yè)責任和人權，她的文章也出現(xiàn)在《紐約時報》、《衛(wèi)報》和《悉尼先驅晨報》等雜志上。

從引爆F(xiàn)ord Pintos到種族主義算法，所有的有害技術都是不道德設計的產(chǎn)物。然而，同70年代的汽車公司一模一樣，今天的科技公司寧愿責怪用戶。

1972年春末，Lily Gray在洛杉磯的一條高速公路上駕駛著她的新福特Pinto，她年僅13歲的鄰居Richard Grimshaw坐在副駕駛上。然后汽車拋錨了，被從尾部以時速50公里的速度撞了出去。Pinto被熊熊大火包圍，Gray在車禍中喪身，Grimshaw受了重傷。他的臉和身體受到了永久性的毀容性燒傷，失去了幾根手指，即使經(jīng)歷了多次手術也回不到當初了。

六年后，在印第安納州，三個十幾歲的女孩死在一輛被貨車從后面追尾撞擊的福特Pinto里。據(jù)報道，汽車的車身“像手風琴一樣”倒塌，把他們困在里面。隨后，燃料箱破裂并將整個汽車燃燒成一個火球。

上述兩起悲傷地事故都是法律訴訟的主題，現(xiàn)在已經(jīng)成為美國消費史上最大的丑聞之一。在這些案件中，最著名的指控是1977年邁克·道伊（Mike Dowie）在《瓊斯母親（Mother Jones）》一書中披露的，福特對其客戶的生命表現(xiàn)出了冷酷無情的魯莽。該公司明明知道Pinto的設計存在的缺陷使其容易受到燃油泄漏和火災的影響，從而引發(fā)火災。當然，這不是一個無法被解決的問題，方案包括一些可能的設計改變，其中之一是在保險杠和燃油箱之間插入一個塑料緩沖墊，花費大約一美元。然而由于各種原因，類似于相關的成本和缺乏嚴格的安全法規(guī)，福特批量生產(chǎn)的Pinto沒有緩沖液。

最讓人惱火的是，道伊通過內部備忘錄記錄了福特公司在某一時刻對設計過程進行成本效益分析的全過程，燒傷和燒傷死亡被分配了一個價格（分別為67000美元和200000美元），這些價格是根據(jù)實施各種可能提高Pinto安全性的選擇的成本來衡量的。事實證明這是一個巨大的誤判，但是，撇開這一點，這種做法的道德性引發(fā)了公眾的討論?！案Ｌ刂繮into是個陷阱，” 道伊寫道，“但它已經(jīng)在庭外支付了數(shù)百萬美元，以了結損害賠償訴訟，并準備再花數(shù)百萬美元游說反對安全標準?！?/p>

我們現(xiàn)在很難想象，但在半個世紀以前，車禍通常完全歸咎于司機，盡管汽車在制造過程中很少納入安全標準。每一個問題都歸因于駕駛汽車的那個人。汽車行業(yè)竭力游說，要求限制其對道路交通事故的責任，并將安全視為與汽車銷售完全不相容的一個命題。1961年，約翰·F·戈登（John F. Gordon）警告說：“自稱是專家的一些人提出了激進而欠考慮的建議，他們認為提高汽車設計安全性的唯一可行途徑就是聯(lián)邦法規(guī)?！碑敃r，戈登是通用汽車公司的總裁，他在全國安全大會上發(fā)表了這樣的言論。

他毫不掩飾自己的懷疑，他說:“有人建議，我們應該放棄教導司機避免交通事故的希望，轉而專注于設計能夠讓碰撞變得無害的汽車，這是失敗主義和一廂情愿的令人費解的結合?！彼闹v話贏得了熱烈的掌聲。強大的商業(yè)委員會，和美國資本主義的許多其他領導人一樣，都支持這個行業(yè)。坎貝爾湯公司（CampbellSoup Company）總裁墨菲（W.B.Murphy）公開表示了自己的不屑：“這和呼啦圈是一回事?！彼劦狡嚢踩珕栴}時說?！傲鶄€月后，我們可能會迎來另一波反彈?！?/p>

這種態(tài)度在一定程度上是監(jiān)管環(huán)境松懈的產(chǎn)物。國家監(jiān)管機構人手不足，資金不足。在尼克松總統(tǒng)任期內，各機構的關鍵職位仍然空缺。20世紀60年代末，美國國家機動車安全咨詢委員會（National Motor Vehicle Safety Advisory Council）主席Thomas Malone博士就資金不足的問題致函美國國家公路交通安全管理局（National Highway Traffic Safety Administration）秘書長：“聯(lián)邦資金與問題的規(guī)模不相稱，授權和撥款之間的嚴重差距阻礙了該方案的向前推進?！暗牵鳛橥苿討?zhàn)后美國經(jīng)濟繁榮的最大產(chǎn)業(yè)之一，美國政界對向其施加太大壓力并不感興趣。接受道路安全是個人責任的觀點，要比直面行業(yè)問題容易得多。”

由于這些原因，人們繼續(xù)在道路上死亡，盡管已知的技術完全有可能使汽車和道路更加安全。1966年，美國國家科學院（National Academy of Sciences）將汽車旅行的危險描述為“現(xiàn)代社會被忽視的流行病”和“國家最重要的環(huán)境健康問題”。目前還不確定有多少人是因為Pinto油箱著火而喪生或受傷：估計數(shù)字從數(shù)百到數(shù)千不等。但這起丑聞就像一根避雷針，促使監(jiān)管者重新思考汽車行業(yè)公開宣揚的所謂常識，并開始考慮他們對于制造商的要求是否足夠。

福特工程師們用以衡量死亡、重傷與成本及市場價值的計算系統(tǒng)是冷酷無情的，且這種衡量永遠無法得到正確的答案。也就是說，這本是一場可以預防的災難。且這場福特有意識引發(fā)的災難并不是單一的企業(yè)個例。

在20世紀60年代，通用汽車的Corvair也出現(xiàn)了類似的設計問題，影響了汽車的轉向，導致了一百多起訴訟案件。這場悲劇不是從汽車的制造開始的，甚至也不是在測試引發(fā)的失敗。律師兼消費者維權人士Ralph Nader認為，這場悲劇“始于通用汽車的主要工程師們對Corvair的構想和開發(fā)”，“這是一種全行業(yè)的文化，沒有考慮到設計最終會對用戶產(chǎn)生的影響，將道德責任推卸給了消費者。就像Pinto一樣，Corvair也是一個在最初設計上就已經(jīng)被默許的問題?！?/p>

當然了，這不是要把責任歸咎于工程師或設計師的邪惡。制造這些汽車的人在特定的公司環(huán)境中工作，他們所處的組織由冷酷無情的主管領導。福特和通用等公司的領導層在與其他公司競爭時忽視了安全問題，這甚至不僅僅是汽車行業(yè)所特有的問題。還有許多類似的丑聞，涉及到企業(yè)對設計不當?shù)南M品造成的人類后果漠不關心。這些丑聞并非單一的個例，它們發(fā)生在一定的背景下，為了避免再次發(fā)生，需要一種政治策略來打破產(chǎn)生這些丑聞的可惡邏輯。

哈佛大學的Latanya Sweeney教授在谷歌上輸入了她的名字；很快她就找到了自己之前發(fā)表的一篇舊論文。然后她又看到一則標題為“Latanya Sweeney”的廣告彈出，她很震驚。因為她明確地知道自己沒有過犯罪記錄。她點擊了那條廣告鏈接，然后被導流到一家公司的網(wǎng)站上，該網(wǎng)站出售對公共記錄的訪問權。她付了那筆錢以獲取自己的“犯罪”材料，然而材料證實她并沒有犯罪記錄。當她的同事Adam Tanner進行類似的搜索時，來自同一家公共記錄搜索公司的廣告也映入眼簾，不一樣的是這條廣告沒有煽動性的標題。他二人唯一的區(qū)別是，Tanner是白人，Sweeney是非裔美國人。

Sweeney決定對這些類型的廣告展開研究，看看是否有規(guī)律。她不希望她的研究結果是令人失望的。但不幸的是，她的研究得出了一個明確的結果：“暗示逮捕的廣告往往會出現(xiàn)與黑人有關的名字，而中性廣告或無廣告往往會出現(xiàn)與白人有關的名字，無論該公司是否有與該名字有關的逮捕記錄。”

換言之，在文字有出現(xiàn)過“逮捕”一詞的廣告中，與黑人相關的名字所占比例要高于“白人”的名字。實際犯罪記錄的存在似乎并不是決定因素。

這是怎么回事呢？要解釋清楚這一點，需要對在線廣告業(yè)務進行一些拆解。每次你點擊一個網(wǎng)站，一個即時的廣告空間拍賣就會發(fā)生在競爭你的注意力的公司之間。正如我們所知，監(jiān)控資本主義有各種各樣的方法來確定你對市場營銷人員的價值，讓平臺對你的眼球時間做出準確的出價。這些公司比我們更了解我們的習慣，他們對我們的抽象身份有一個詳細的描述——我們自我意識的歷史，由消費定義和為消費定義——他們利用這些信息在最佳時刻向我們發(fā)送營銷信息。如果任其自生自棄，就會造成一種新技術重現(xiàn)現(xiàn)實世界形式的壓迫的局面。

圍繞廣告空間的選項有多種定制方式。谷歌不僅允許公司定制哪些受眾看到廣告，還允許公司定制廣告本身的內容。

Sweeney解釋說：谷歌知道廣告客戶可能并不明確哪一個廣告副本工作的最有效，因此廣告客戶可以為同一個搜索字符串提供多個模板，“谷歌算法”會隨著時間的推移從廣告的瀏覽者那里了解到哪一個廣告文本點擊次數(shù)最多。它通過根據(jù)每個廣告的點擊歷史分配權重（或概率）來實現(xiàn)這一點。起初，所有可能的廣告副本都是相同的權重，它們產(chǎn)生點擊的可能性都是相同的。然后隨著時間的推移，當人們傾向于點擊某個版本的廣告文本而不是其他版本時，權重會發(fā)生變化，因此點擊最多的廣告文本最終會顯示得更頻繁。這種方法將谷歌作為廣告交付者的財務利益與廣告客戶聯(lián)系起來。

由于算法的設計方法，機器學會了將非裔美國人的名字與犯罪聯(lián)系起來。即使用戶個人不點擊廣告，他也會從其他用戶點擊的內容中體驗到機器學習的后果，這會限制顯示給所有后續(xù)用戶的選擇。

對此，一個可能的回答是，算法是中立的，它只是廣告的載體，自動響應人們如何使用它；算法不是種族主義，而人類卻是種族主義者。但該算法的構建方式也證實了現(xiàn)實世界中存在的隱含偏見，而且這種情況一而再、再而三地發(fā)生。認為非裔美國人不如白人可信的假設是一種普遍存在的隱性偏見，從求職者的成功概率到警察在槍口對準人時做出的分秒決定，它在很多方面都具有現(xiàn)實意義。在斯韋尼的研究中，我們看到這種態(tài)度在數(shù)字技術世界中被有意或無意地復制。這不是一個謎，也不是一個深不可測的結果。谷歌對影響自動廣告的種族主義并不完全負責，但它不能逃避責任。成百上千的人被活活燒死在Pinto汽車里，福特并不是唯一的責任方，但公眾輿論的法庭正確地認為，如果福特的汽車設計不同，很容易就能阻止這些悲慘事故的發(fā)生。

這則廣告之所以帶有種族主義色彩，部分原因在于，設計算法并根據(jù)真實數(shù)據(jù)訓練算法的過程基本上是零透明度的。這些輸入是秘密的，并且沒有正式的規(guī)則可以適當?shù)剡m應這些過程。像斯韋尼這樣的用戶在銷售廣告空間時，其糟糕的體驗不會出現(xiàn)在這些公司的成本效益分析中。他們甚至沒有正式的渠道和方式來投訴這種種族歧視，不想管的人幾乎沒有辦法知道這件事。有偏見的算法對我們生活的許多方面產(chǎn)生了相當大的影響，而且影響越來越大。只要它們一直保持隱藏或未經(jīng)檢查，我們就會不斷允許各種危險和壓迫的做法嵌入到新技術中，因為機器會不斷學會吸收現(xiàn)實世界中存在的隱含偏見。

當我們認為掌握并根據(jù)這些信息采取行動的權力就在谷歌手中時，谷歌沒有任何責任的觀點就失去了說服力。谷歌的決策者知道廣告客戶，也就是他們的付費客戶，計劃使用的內容。因為他們設計了這個系統(tǒng)，所以他們處于最有利的位置來了解潛在的問題以及它可能如何顯現(xiàn)。目前，他們計算出發(fā)現(xiàn)和解決這些問題的成本要高于忽視這些問題的成本，而忽略這些問題的成本是由其他人承擔的。我們必須找到改變這種計算的方法。

谷歌的高管們應該為他們的技術所產(chǎn)生的結果承擔責任。在這種情況下，谷歌提供了一種服務，它所做的正是其設計初衷：最有效地將廣告貨幣化。換句話說，將種族主義引入數(shù)字技術，并沒有在設計過程中考慮隱性偏見，這并不是一個缺陷，而是技術資本主義的一個特征。

基于這個原因，也許最可鄙的情況是，這種設計歧視的發(fā)生是沒有實際理由的。網(wǎng)絡是一個可以在結構上最小化、承認和消除壓迫態(tài)度的空間。我們不僅可以制定政策防止種族主義廣告的投放，我們還可以設計出更好的多樣性表現(xiàn)形式，積極地將偏見最小化。我們可以預見隱性偏見，并提前找到抵消其影響的方法，我們甚至可以阻止公司利用它的存在。我們可以設計和建造數(shù)字基礎設施，幫助人們社會化，避免歧視性的隱性偏見。這樣的前景引發(fā)了各種有趣的問題，關于它在實踐中是如何工作的，我們可以共同著手解決這項任務。

我們可以宣傳并起草有關設計和工程流程的法律法規(guī)，就像消費者權益倡導者要求聯(lián)邦政府實施汽車安全法規(guī)一樣。我們需要建立規(guī)則，優(yōu)先考慮消除壓迫的目標，而不是將網(wǎng)絡貨幣化的目標。這是一個難得的機會。如果我們只是等待這些問題自己出現(xiàn)，或者在它們出現(xiàn)時零敲碎打地加以解決，那我們的視線只會拘泥于冰山一角。如果這樣的話，我們就是在鼓勵一個行業(yè)固步自封，集中力量反對透明度和問責制，同時在出現(xiàn)問題時將責任歸咎于用戶。目前，我們依靠像Sweeney這樣的人來發(fā)現(xiàn)這些問題的存在，而她只是偶然發(fā)現(xiàn)了這些問題。

數(shù)據(jù)科學家Cathy O 'Neil觀察到，粗心的邏輯、缺乏反饋和不規(guī)范的數(shù)據(jù)輸入（這也是許多算法的共同特點）結合在一起，這種結合被她稱為“毀滅數(shù)學的武器”。她寫道，這些算法共有一種傾向，會“隨意地生成自己的實相”?！皵?shù)字化過程的感知中立性為草率和分裂的人們提供了借口，同時再將一系列活動的管理進行外包，種種行為喚醒了潛在的惡?！?/p>

她寫道：“管理者們認為這些分數(shù)是真實的，足夠有用，而且這種算法使艱難的決策變得容易。他們可以解雇員工，削減成本，并將他們的決定歸咎于一個客觀的數(shù)字，不管這個數(shù)字是準確的還是不準確的。”在大數(shù)據(jù)時代，用于確定復雜問題答案的計算機程序創(chuàng)造了令人興奮和變革的可能性，但它們也給糟糕的治理和管理帶來了準確性和中立性的過度粉飾。

透過Sweeney打開的那扇小小的令人不安的舷窗，我們瞥見了一片風起云涌的汪洋大海。算法正在以各種各樣的方式被使用，這些方法可能對人們產(chǎn)生深遠的影響。一個例子是依靠自動化程序篩選求職者，這可能會對有精神病史的人或英語為第二語言的人產(chǎn)生偏見。另一個例子是大學入學標準化考試。招生過程，尤其是在不需要標準化考試的情況下，可能會根據(jù)申請人的人口統(tǒng)計學特征，使用預測的分數(shù)作為代理，而不清楚替代數(shù)據(jù)的準確性。

算法也用于決定假釋申請，假釋申請依賴于案件工作者填寫的表格，而沒有任何指示這些答復如何影響算法的輸出。在一個令人深惡痛絕的例子中，谷歌照片應用程序曾將一些黑人的照片貼上大猩猩的標簽，該應用程序自動按主題對照片進行排序。秘密的、專有的算法往往會以科學邏輯的形式產(chǎn)生幾乎不加掩飾的偏見。這些問題不僅僅是失誤，更像是Corvair轉向不良或Pinto燃油箱緩沖不足一樣，不僅僅是不幸的錯誤。它們是有缺陷的設計過程產(chǎn)生的惡劣后果。

這些算法決策過程對處于不同社會階層的人們有著不同的影響。正如O’Neil指出的那樣，機器既便宜又高效，它們的決策更容易強加給窮人。“特權階層，”她觀察到，“更多的是由人來處理，而窮人則更多的是由機器來處理。”而且，面對這些機器的人們，幾乎不可能質疑或挑戰(zhàn)他們的決定，就算他們知道自己在被如何區(qū)別對待也沒有什么辦法。

例如，沃爾瑪為低收入人群創(chuàng)建了商品目錄，相對于更健康的選擇，這些人被推銷的垃圾食品數(shù)量占比更高。當與其他數(shù)據(jù)集交叉引用時，有關逮捕的數(shù)據(jù)也可以以壓制性的方式使用。逮捕的證據(jù)可能意味著，自動簡歷分類軟件可能會先發(fā)制人地將候選人排除在求職考慮之外，或者拒絕讓一個人獲得消費金融服務，有時甚至在逮捕已經(jīng)從公共記錄中刪除之后也是如此。機器學習經(jīng)常被用于窮人身上并對他們進行測試，而社會上最容易受到傷害的人最終要應對這些后果。

不可否認，類別的動態(tài)性受到了壓制性算法的影響。技術，尤其是在精英階層的管理下，反映了支撐社會分裂的價值體系。我們目前關于人工智能危險的許多討論，都被此類技術可能導致第三次世界大戰(zhàn)的可能性所主導。無論這些擔憂多么有效，其框架揭示了一些更深層次的東西。許多推動這些對話的人都是富有的白人男性，正如研究人員Kate Crawford所指出的那樣，“對他們來說，最大的威脅可能是一種人工智能頂端捕食者的崛起。但對于那些已經(jīng)面臨邊緣化或偏見的人來說，威脅就在這里?！?/p>

越來越多復雜的算法網(wǎng)絡產(chǎn)生了各種各樣的社會、經(jīng)濟和文化后果。抽象識別總是依賴于基于數(shù)據(jù)的分析，或者與抽象身份相關的識別。這是一種數(shù)據(jù)歧視的做法。也就是說，為了營銷的目的，社區(qū)和個人被分割成不同的受眾，往往是基于對具體和不完整的數(shù)據(jù)的膚淺假設，這種假設具有高度分裂效應和加速影響。正如Adam Greenfield所言：“當代技術從來就不是獨立、獨立、獨立的產(chǎn)物。網(wǎng)絡收集和交換數(shù)據(jù)，這些數(shù)據(jù)由于路徑依賴而流向不同的方向，而市場功能和社會偏見放大了這一點。機器的決策功能不僅具有再現(xiàn)傳統(tǒng)社會斷層的能力，而且還具有加劇階級斷層的能力。”

到了1978年，在聲討者和監(jiān)管機構的雙重壓力下，福特同意自愿召回1971年至1976年間生產(chǎn)的所有Pinto。就在幾個月前，陪審團裁定Richard Grimshaw損失1.26億美元，雖然該裁決被初審法官減少了一些，但仍然數(shù)額可觀。Grimshaw的決定在上訴中得到了確認，法院指出，“福特管理層的行為應該受到極端的譴責。”調查發(fā)現(xiàn)，管理層“為了最大化公司利潤，故意漠視公共安全……危及成千上萬名平托購買者的生命”。幾個月后，福特因印第安納州兩名少女的死亡而被提起刑事訴訟。福特在這起案件中被判無罪。但它最終支付了隨后針對它提出的與Pinto有關的索賠。到1980年，這款車就停產(chǎn)了。

Pinto丑聞不應被視為福特工程師們的偶發(fā)性德道失誤，他們在設計過程中未能正確地評價人類的生命。盡管對參與設計過程的每個人來說，深思熟慮和了解他們的工作是很重要的，但也必須承認這些工程師和設計師是在業(yè)務驅動的環(huán)境中工作的。福特公司的執(zhí)行領導做出了關鍵決定，忽略了提供給他們的重要信息。福特還在一個競爭激烈的市場中運作，在這個市場上，監(jiān)管機構要么坐視不管，要么更糟，被行業(yè)所俘獲。改變這種情況需要記者、活動家和律師的共同努力，還需要當局制定新的規(guī)章制度，以預測危險設計的風險，并創(chuàng)造條件，使工程師能夠在不危及其就業(yè)的情況下進行符合道德標準的工作。在資本主義制度下，保護人類的生命和尊嚴不受底線的影響是一場永無止境的戰(zhàn)斗。

計算機代碼本身就是一種法律形式。它由人類書寫，像其他權力分配系統(tǒng)一樣，它控制著人類的行為。它不是一個客觀的過程或自然的力量，它表達了編碼器和用戶之間的一種權力關系，反映了編碼器工作的系統(tǒng)?！按a永遠找不到，” 勞倫斯·萊斯格（Lawrence Lessig）提醒我們：“這是唯一的辦法，也是我們唯一的辦法?！薄白屪杂墒袌鰜頉Q定這些事情意味著，數(shù)字技術有可能在一個不可思議的過程的掩護下，重現(xiàn)歧視。” Joy Buolamwini是算法公正聯(lián)盟（Algorithmic Justice League）的創(chuàng)始人之一，該組織旨在宣傳和挑戰(zhàn)算法中的偏見。在她看來，只有圍繞一個特定的目標和意圖組織起來，我們才能做到這一點。

目前已經(jīng)存在了一些關于歧視的法律禁令，這些禁令將捕捉到其中一些例子，因為它們體現(xiàn)在有偏見的代碼中。但這些限制還遠遠不夠，執(zhí)行這些限制也需要監(jiān)管機構不斷更新權力。要發(fā)現(xiàn)這些問題，還需要對科技公司征收更高的關稅。我們需要要求立法者和公共機構，在民主權威的名義下，介入這些市場，并對行業(yè)發(fā)布和執(zhí)行設計要求。Nader在1965年對汽車工業(yè)進行評述時寫道：“一個民主政府在解決相互競爭的利益和決定（改善交通安全）時所需的一切方面，遠比那些追求越來越高利潤的公司更有能力。”今天的科技公司和政府也是如此。

重要的是，開發(fā)這種技術的人們在改變設計文化方面也扮演著重要的角色。倫理設計考慮可以作為一種工業(yè)和政治組織工具，充當?shù)钟訆Z性商業(yè)實踐的壁壘。世界上最大的計算機科學家和工程師組織，計算機械協(xié)會（the Association for Computing Machinery）主席Cherri M. Pancake寫道：“技術專家是第一道也是最后一道防御技術濫用的防線?！?/p>

2018年，該組織發(fā)布了一份最新的道德規(guī)范，要求開發(fā)者識別可能的有害副作用或誤用其工作的可能性，考慮不同用戶群體的需求，并特別注意避免對特殊群體的權利剝奪。在ACM收到的關于代碼的反饋中，有一位年輕的程序員這樣評論：“現(xiàn)在我知道如果老板要求我再做類似的事情，我該怎么告訴他?！苯鉀Q設計中涉及的倫理問題不是一項簡單的任務，但也不是不可能，為技術人員創(chuàng)造空間，讓他們考慮各種選擇，并充分利用它們，是其中的一個重要組成部分。

隨著越來越多的大型科技公司員工以道德為理由與老板展開較量，我們已經(jīng)可以看到這種做法在實踐中是什么樣子了。微軟員工組織起來要求他們的公司取消與移民和海關執(zhí)法部門以及其他直接幫助他們的客戶的合同。他們寫道：“作為微軟從中獲利的技術研發(fā)人員，我們拒絕與之串通一氣。我們是一個不斷壯大的運動的一部分，這個運動包括了整個行業(yè)的許多人，他們認識到，那些創(chuàng)造強大技術的人必須承擔重大責任，確保他們所創(chuàng)造的東西是用于造福，而不是有害。拒絕開發(fā)有害技術的道德和最終政治決定不是基于個人，而是基于集體和工業(yè)?！?/p>

谷歌也發(fā)生了類似的員工運動，4000名工人代表軍方和高級工程師簽署了一份反對某個項目的請愿書，拒絕從事特定項目的工作，該工作將使谷歌贏得一份另多方敏感的軍事合同。這種集體組織具有通過自組織改變技術生產(chǎn)文化的巨大潛力，比任何自上而下的紀律或服從形式更能夠有效地提出并解決倫理問題。

數(shù)字時代的設計過程需要讓工程師更容易地考慮用戶的興趣。但是，我們如何理解用戶的興趣可能是一個復雜的問題，將這些興趣納入設計過程需要時間和精力。當我們開發(fā)技術并發(fā)掘其潛力時，如果我們要避免造成傷害，我們可能還必須限制我們的技術能力。

這是一個特別重要的考慮因素，因為我們見證了物聯(lián)網(wǎng)的飛速發(fā)展。越來越多的日常設備都安裝了網(wǎng)絡連接，你可以買一個冰箱、烤箱或者一個連接到互聯(lián)網(wǎng)的家庭氣候系統(tǒng)，從而可以在物體和人之間傳輸數(shù)據(jù)。正在開發(fā)的產(chǎn)品范圍（必須說，通常從過度到無用）也揭示了這種技術的潛在積極性，例如它可以為家庭中有流動性問題的人提供幫助，為幫助治療各種形式的殘疾而建造的技術正在取得驚人的進展。廠商還有更加方便的承諾：如果你的智能手提箱丟了，你立馬可以上網(wǎng)追蹤它的位置。

但智能設備也有一個令人不安的方面。當我們把更多的智能家居設備帶到我們的家里，以我們無法控制的方式與外界交流時，物聯(lián)網(wǎng)可以說正在變成一個巨大的監(jiān)視裝置。這是弱勢群體面臨的一個特殊問題。正如Elise Thomas的觀點，他討論了關于技術和家庭暴力的話題：技術的進步對家庭暴力的目標來說是福也是禍。新的“智能”技術可以讓他們更容易地獲得幫助并記錄下虐待行為，但同樣，它也可能被濫用，監(jiān)控他們的活動、竊聽他們的對話、甚至實時跟蹤他們的位置……

從前，一個電話號碼就足以讓人喪命。那么，當我們進入一個有權使用智能設備跟蹤每一個動作、聽到每一次呼吸、讀取屏幕上每一個心跳的世界時，對于家庭暴力的目標來說，這意味著什么呢？

物聯(lián)網(wǎng)對家庭暴力幸存者的影響是深遠的。隨著越來越多的生活設備連接到網(wǎng)絡，且我們無法控制這些數(shù)據(jù)流，其他人更容易訪問我們的大量信息?？纱┐骷夹g可以被黑客攻擊，汽車和電話可以被跟蹤，來自恒溫器的數(shù)據(jù)可以顯示是否有人在家。

這種深度和廣度的數(shù)據(jù)對于任何經(jīng)歷過虐待關系的人來說都是可怕的，也就是說，很多很多的人被再一次放置在危險之中。在美國，超過三分之一的女性和四分之一以上的男性一生中經(jīng)歷過強奸、身體暴力或親密伴侶的跟蹤。

技術濫用現(xiàn)在是選擇使用暴力的人的標準做法。在2014年一項針對家庭暴力幸存者的服務提供商的調查中，97%的人報告說，他們的用戶因濫用技術而遭受虐待者的騷擾、監(jiān)控和威脅。這通常是電話騷擾和濫用，如短信和社交媒體發(fā)帖。但60%的服務提供商也報告說，濫用者通過技術手段對兒童和幸存者進行了監(jiān)視或竊聽。濫用者通過給孩子送禮物或在孩子的物品上安裝裝置來達到這一目的，甚至有11%的人報告說，有隱藏的“間諜”技術的玩具。

調查還發(fā)現(xiàn)，45%的項目報告了濫用者試圖通過技術找到幸存者的案例。這些發(fā)現(xiàn)得到了另一項研究的支持，該研究發(fā)現(xiàn)85%的受訪庇護所與施虐者使用GPS跟蹤他們的幸存者一起工作，75%的受訪幸存者使用隱藏的智能手機應用程序遠程竊聽他們的談話。近一半接受調查的收容所禁止使用Facebook，因為他們擔心會向跟蹤者透露位置信息。

這些社會問題不是科技公司有義務必須去解決的，但它們是科技公司所塑造的社會中不可否認的一個特征。它們應該在開發(fā)的早期階段被考慮，并在設計過程中被適應。我們經(jīng)常被告知，將越來越多的個人設備連接到互聯(lián)網(wǎng)是多么方便和未來主義。但不是每個人都有這種感覺，大量個人數(shù)據(jù)的生成，以及我們無法控制這些數(shù)據(jù)的收集和存儲方式，都會產(chǎn)生嚴重的后果，尤其是對某些群體而言。然而，社會大部門的經(jīng)驗，特別是那些易受傷害的部門的經(jīng)驗，通常似乎不在設計過程中。

這種方法最終會影響到每個人，而不僅僅是那些有特定弱點的人：隨著技術資本主義找到了了解我們個人生活的新方法，我們可以預測未來政府的間諜能夠找到他們自己的方式進入這個信息寶庫。在2016年2月提交給美國參議院的證詞中，時任國家情報局局長的詹姆斯·克拉珀（James Clapper）很好地表達了這一點?？死暾f：“未來，情報部門可能會利用物聯(lián)網(wǎng)進行識別、監(jiān)視、監(jiān)測、定位跟蹤，并瞄準招聘，或獲取網(wǎng)絡或用戶證書。”美國經(jīng)常利用產(chǎn)業(yè)創(chuàng)新為自己的利益重新調整用途。作家埃夫根尼·莫羅佐夫（Evgeny Morozov）簡明扼要地說：“如果你想知道‘智慧城市’或‘智慧家庭’中的‘智慧’意味著什么，那么我可以告訴你是作為革命性技術營銷的監(jiān)視之眼?！?/p>

公司對用戶體驗的漠不關心部分源于對可用性和實用性的特定理解，Pinto丑聞爆發(fā)時，汽車行業(yè)也處于類似的心態(tài)。Ralph Nader在《任何速度駕駛都是不安全的（safe at Any Speed）》一書中指出，福特公司基本上對花錢提高安全性不感興趣，大約166美元用于研究每一起交通事故，其中四分之一來自工業(yè)。

相比之下，航空業(yè)和政府在每名乘客死亡后的安全工作上共投入了5.3萬美元。盡管汽車公司樂于投資于制造更快或更具未來感的汽車，但當安全特性威脅到美學設計原則時，汽車行業(yè)卻抵制了它們。科技公司堅持把所有東西都連接到物聯(lián)網(wǎng)上，并在設計產(chǎn)品時考慮到某種特定的用戶，它們也采用了類似的模式。他們喜歡談論服務客戶，但是這個目的是通過一個特定的和狹窄的框架來理解的。

其中一個最明顯的原因是，設計我們數(shù)字技術的人來自特定的人群。硅谷白人男性比例過高是眾所周知的。據(jù)調查報道中心透露，2016年硅谷10家大型科技公司沒有雇傭一名黑人女性。其中3家公司根本沒有黑人員工，6家公司沒有一位女性高管。

也有一些公司做得比其他公司好，許多大公司都發(fā)布了多樣性報告，這是與過去幾年相比的一個明顯變化。但是白人，尤其是男性，無論是相對于人口還是相對于整個私營部門而言，在科技行業(yè)中的比例仍然過高。這種趨勢在行政領導層中更為極端。正因為如此，我們看到網(wǎng)絡設備的設計方法對家庭暴力等威脅漠不關心，盡管它是社區(qū)中普遍存在的問題?？紤]到在座的特定人群，這些公司做出的決定不可避免地會顯示出特定的偏見，而且任何人想要糾正這些偏見的可能性都更低。

這也有一個類動態(tài)。Adam Greenfield指出，物聯(lián)網(wǎng)是由一群特定的人來設計的，他們將Uber、Airbnb和Venmo等服務完全融入了自己的生活，盡管這并不能反映一種普遍的體驗。他們擁抱了數(shù)字化、個性化、最優(yōu)化和商品化的世界:“這些主張對他們來說變得正常，因此對其他人來說也變得正常。然而事實上，有相當一部分人從未使用過這些服務，甚至從未聽說過它們。但他們并不是由技術發(fā)展服務的群體。

一位記者注意到，2018年的消費電子展似乎“更多的是為1%的富人提供更好的生活條件，而不是解決未滿足需求的真正的創(chuàng)新突破?！绷硪晃辉u論人士則更為直率:“舊金山的科技文化專注于解決一個問題：我母親不再為我做什么？參與設計過程的人往往來自富裕的經(jīng)歷，以及特定的性別，這更普遍地影響著技術的發(fā)展，對我們所有人都產(chǎn)生了影響。”

程序員隊伍中的多樣性對于改變這種文化至關重要。這不僅僅是渠道問題，也是技術公司內部的問題，需要改變招聘實踐、問責流程和與工作條件相關的政策。2018年谷歌罷工事件中，該公司2萬名員工停止工作，抗議該公司如何處理不當性行為案件，并強調其對職場女性的影響。工人們幾乎立刻就贏得了一些權利，但還有更多的工作要做。它是一個鼓舞人心的例子，說明了培養(yǎng)多樣化勞動力存在的復雜障礙，以及如何通過組織來消除這些障礙。如果科技公司忽視這一點，他們將面臨危險。目前，該行業(yè)缺乏多樣性，這是一個亟待改變的問題，為實現(xiàn)這一點而提出的建議引起了廣泛和主流的關注。雖然這方面的成功前景是一個值得反思的有趣話題，但它們已經(jīng)成為大量討論和活動的焦點。我想談一個更廣泛的問題。

僅改變開發(fā)人員的多樣性是遠遠不夠的，我們需要改變圍繞道德設計的文化。那些敦促程序員快速行動并打破現(xiàn)狀的高管們，顯然是在期待其他人來收拾殘局。我們需要論證的是，這種模式應該是建立考慮周到的程序，尊重設計的影響，并對用戶的身份進行批判性思考。倫理困境不應該被認為高于程序員的薪酬等級，它們不應該被外包給其他人，但這需要程序員有足夠的技能和能力去駕馭他們。這將意味著擴大現(xiàn)有的道德教育項目，使其成為主流。但要將這些計劃付諸實施，科技公司還必須為適應這些審議過程提供空間。這也可能意味著優(yōu)先考慮人類參與決策和調節(jié)，而不是自動化過程，即使自動化過程成本更高、效率更低。

創(chuàng)建一種更重視授權人員和限制傷害風險的編程文化是解決其中一些問題的必要步驟。隨著時間的推移，這類工作可能會擴大到有關政治權力的問題，并最終培育出一種文化，這種文化崇尚和平的技術，并挑戰(zhàn)其在監(jiān)獄、警務和軍事等暴力和壓迫行業(yè)的普遍性。

當然，人們是自愿購買和使用現(xiàn)有產(chǎn)品的，我們尊重他們做出這些選擇的權利，但不可能認為這些人中的每一個人都完全了解最新技術的性質和含義。三星在其智能電視隱私政策中加入了一項警告，提醒消費者“要知道，如果你說的話包括個人或其他敏感信息，這些信息將在通過你的語音識別捕獲并傳輸給第三方的數(shù)據(jù)中。”

即使是芭比娃娃也不能遠離網(wǎng)絡：美泰公司發(fā)布了一款芭比娃娃，它使用Wi-Fi將數(shù)據(jù)發(fā)送回公司進行研發(fā)。但她也有自己的弱點，安全研究員Matt Jakubowski報告說，盡管制造商采取了保護消費者隱私的重大措施，但他們還是能夠破解這個娃娃。他說：“直到我們能用我們的服務器替換她的服務器，讓她說出我們想要的一切，這只是時間問題。”

在20世紀60年代對汽車工業(yè)的分析中，Ralph Nader認為，保密是對提高汽車安全最有害的政策之一?！斑@一行業(yè)秘密不僅阻礙了對知識的搜索以拯救生命……而且還保護了汽車制造商不被要求對他們正在做或不做的事情負責?！蔽覀兛梢钥吹?，如今，當算法被用作人類決策的替代品而沒有適當?shù)耐该鞫然騿栘煏r，類似的力量正在發(fā)揮作用。政府使用的專有算法通常出于安全原因保密，或出于商業(yè)原因由制造公司保密，因此他們可以收取產(chǎn)品使用費。透明度和問責制的缺失破壞了機會平等，掩蓋了結果的不平等。我們需要強制打開“黑匣子”算法。

DNA證據(jù)分析算法在刑事案件中的應用是一個很好的例子。DNA證據(jù)正成為一個高度復雜的領域，因為越來越小的樣本都可以用來檢測DNA的存在。因此，樣本幾乎總是顯示DNA混合，在那里可以對個體進行多次匹配。這可能發(fā)生在不同的人在數(shù)小時甚至數(shù)天內接觸到的物體上。每個人對混合物的貢獻程度取決于許多因素，例如他們釋放DNA物質的速度，而不僅僅是他們接觸的順序。這種復雜的樣品越來越難以分析，尤其是人類實驗室的技術人員，并且已經(jīng)產(chǎn)生了后來被懷疑的結果。在這種情況下，政府官員越來越依賴計算機程序來分析這些樣本，而這些程序通常由私營公司提供。

如果沒有這些計劃如何運作的透明度，那就會有很大的不公正的可能性。DNA證據(jù)對陪審團來說很有說服力，計算機化的結果生成過程只會加強這種趨勢。在紐約市，一些辯護律師反對使用這些證據(jù)，理由是這種方法沒有被科學界認為是可靠的。辯護律師被拒絕訪問程序代碼，因此無法確定進入算法的邏輯輸入。在科學和數(shù)學研究者以及法醫(yī)專家的幫助下，法律援助律師成功地對軟件進行了逆向工程。這是來自公眾擁護者的巨大努力，并且最終取得了成果。在聽取了廣泛的專家證詞后，法官認為這種證據(jù)是不可靠的，因此是不可接受的。但這項裁決并不是計算機DNA檢測的終結，它仍然被美國各地的司法管轄區(qū)用作證據(jù)。

如果公共決定是關于一個人的——尤其是涉及到一個人的自由——人們應該有權知道這個決定是如何達成的。在沒有證據(jù)法的情況下，我們不再在秘密法庭里完成定罪，因為這被認為是不公平的。律師對專家證言進行嚴格的質證，并仔細評估證人的證件是否足以支持他們得出的結論。正義必須得到伸張。在這種情況下，黑盒算法產(chǎn)生的DNA證據(jù)具有很高的影響力，并且在科學上存在缺陷。構建這些算法的更透明的過程對于防止錯誤邏輯進入我們的司法系統(tǒng)至關重要。計算機程序應該像專家證人一樣被對待，我們應該對程序的假設進行類似程度的審查，而不是把它當作客觀真理的惰性提供者。

沒有理由說，這些方案不能由一個公共當局制定或使用公共資金，或不能接受該機構的審計。可能會有報告指導方針、確定項目是否產(chǎn)生有偏見的結果的認證過程，或其他任何數(shù)量的監(jiān)管制度。LRMix Studio提供了另一種選擇：它是一個開源軟件產(chǎn)品，可以解釋復雜的法醫(yī)DNA檔案。類似的開源工具也被開發(fā)出來，用于將樣本與DNA數(shù)據(jù)庫進行匹配，以降低誤報和漏報的風險。為了達到科學界可接受的可靠性標準，特別是在持續(xù)的基礎上，這種透明度是必不可少的。

當然，有一種危險，那就是讓這些算法透明化會給人們一個顛覆它們的機會。例如，專業(yè)的罪犯可能會學會如何避免在犯罪現(xiàn)場丟失DNA。但這些問題并不新穎，它們不能排除其他收集證據(jù)的方法，也不能形成一個足夠好的借口來鞏固一個充滿偏見的世界。反對自證其罪的特權和獲得法律顧問的權利被認為是刑事司法系統(tǒng)正常運作的關鍵，它二者都使有罪的人更容易自由行走。盡管如此，我們還是認為這是正確執(zhí)行司法所必需的。在刑事司法系統(tǒng)中，用于輔助決策的計算機程序也應該如此。

正如我們對預算決策或公共資源分配的透明度的期望一樣，用于公共決策目的的算法應可供審查，以確保邏輯和數(shù)據(jù)輸入是公平的。越來越多的人呼吁各國政府拒絕在公共決策過程中使用黑盒算法，并向公眾開放所有代碼供審查。這些都是很好的出發(fā)點，并且可以作為長期目標的一部分，這種審查不僅僅應當應用于公共機構。

目前，私營企業(yè)處于研究復雜算法的中心，這些算法被頻繁應用于機器學習。由于谷歌、Facebook和亞馬遜等公司的數(shù)據(jù)熱潮，研究學院已經(jīng)無法與龐大的資源競爭。這一點尤其正確，因為科技行業(yè)大舉投資于機器學習，將其熟練的專業(yè)人員吸引到私營企業(yè)，在很大程度上將公眾排除在這些發(fā)展的利益之外。微軟研究院副總裁彼得·李（Peter Lee）表示，2017年聘請頂級研究員的成本與在NFL簽下一名四分衛(wèi)的成本大致相同。正如《連線》雜志所觀察到的，“自那以后，人才市場只會變得越來越熱……大公司現(xiàn)在正在收購那些尚未起步的人工智能初創(chuàng)企業(yè)?！?/p>

機器學習的邏輯輸入非常復雜，甚至個別的工程師也很難解釋機器如何產(chǎn)生特定的響應。在這種情況下，嚴格的測試和標準是至關重要的，以便在問題發(fā)生之前發(fā)現(xiàn)問題。盡管最近出現(xiàn)了一些重要的旨在行業(yè)自律的舉措，但這些舉措還不夠。我們需要公共的、民主負責的當局的干預。我們需要開始思考，如何像技術發(fā)展的所有領域一樣，將公正和公平的原則注入機器學習，并使之觸手可及，以便分享這些進步帶來的好處。我們需要了解權力集中是如何阻礙這一目標實現(xiàn)的。

在道伊關于Pinto災難的文件中，他討論了福特和國家公路交通安全局（NHTS）就起草和實施行業(yè)新標準進行談判的所有方式。道伊概述了福特如何能夠拖延數(shù)年而不實施標準，如果不進行昂貴的重新設計，福特將難以滿足這些標準。NHTS最終發(fā)現(xiàn)Pinto有一個安全缺陷，這促使福特召回了它。但隨后對丑聞的分析揭示了NHTS發(fā)現(xiàn)的安全缺陷是如何操縱標準測試的結果。除此之外，NHTS增加了碰撞試驗的速度，它使用了一種不同類型的車輛作為與Pinto發(fā)生碰撞的“子彈車”，以最大程度地與燃料箱接觸，并確保前燈被打開以提供可能的點火源。

這意味著，這些對標準測試過程的修改是為了回應道伊的文章和訴訟引發(fā)的公眾憤怒。福特被要求遵守其他公司不遵守的標準，而它自己卻不知道這些標準是必須遵守的。福特從未承認自己做錯了什么。

然而，我們的教訓是：隨著我們對一個行業(yè)和技術了解的更多，我們需要在安全和責任方面更新我們的期望。我們需要組織活動家、律師和記者，突出設計不當?shù)募夹g對人類的影響，并迫使行業(yè)適應重視安全和工作的設計文化，以減輕偏見。我們需要要求政府干預這一行業(yè)，以建立公開確定的標準和方法，讓公司在違反規(guī)定時承擔責任。隨著我們更多地了解問題并嘗試解決方案，這些標準必須不斷更新并響應不斷變化的環(huán)境。

為什么我們不應該進行人工智能的碰撞測試？或者機器學習的認證過程？為什么我們不應該有一個專家小組，要求他們保持獨立于行業(yè)，他們可以在代碼裝運前提供測試和解決偏差的指導，或者在產(chǎn)品銷售前提供安全風險，并且在成功地通過網(wǎng)絡時調查實例？我們需要更廣泛的、更具代表性的測試樣本，以確保設計師從平均用戶群之外獲得反饋。我們需要將適當?shù)姆答佈h(huán)和有意義的呼吁渠道結合起來，為那些需要自動化決策的人服務，這樣就不會留下錯誤供用戶獨自面對和解決。我們必須找到避免對相對未知的現(xiàn)有數(shù)據(jù)進行私有化的方法，以避免從現(xiàn)有數(shù)據(jù)集中導入偏見，并低估我們知識的局限性。我們需要更多的人來監(jiān)督自動化決策，我們必須停止不加思考地使用后者來替代前者。我們需要制定關于最佳實踐算法和設計過程的公共指南，并授權機構以負責任的方式監(jiān)控標準。

“汽車的監(jiān)管必須經(jīng)歷三個階段，”納德爾寫道?！肮娨庾R和行動要求的階段，立法的階段，以及持續(xù)管理的階段。”我們今天應該對技術資本主義采取類似的方法，在這種方法中，我們審視行業(yè)，圍繞變革的要求團結起來，并制定持續(xù)問責的程序。這樣的監(jiān)管過程一定是不完美的：它們可能很繁瑣，容易受到行業(yè)捕獲和誤導。但這同樣適用于許多對我們健康至關重要的行業(yè)，如食品安全監(jiān)測、醫(yī)療產(chǎn)品監(jiān)管和汽車行業(yè)。

算法、技術設備和人工智能，如果設計得不好，就會像不衛(wèi)生的飯菜或有故障的起搏器一樣讓我們面臨風險。如果被政府使用，它們甚至可能會損害管理我們社會保障的行政程序或有關我們個人自由的司法決定。我們需要將它們視為設計和可修改的產(chǎn)品，并拒絕技術精英們提出的否認對其影響負責的論點，不要讓用戶被權力指責。(來源：獵云網(wǎng))

生成海報

免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。