谷歌“審核員”大揭秘：時(shí)薪15美元，還會(huì)被淘汰

　　據(jù)外媒報(bào)道，在美國(guó)有這樣一群人，他們每天都在查看Youtube視頻中是否含有暴力、仇恨言論等內(nèi)容，并以此對(duì)這些視頻作出不同的評(píng)級(jí)。這些人就是谷歌所謂的“廣告質(zhì)量評(píng)級(jí)員”，也是幫助谷歌彌補(bǔ)機(jī)器算法不足的臨時(shí)工！然而他們的待遇卻從未得到過(guò)提升，一直拿著15美元的時(shí)薪，還要時(shí)時(shí)面對(duì)被人工智能淘汰的風(fēng)險(xiǎn)。

　　谷歌旗下的視頻網(wǎng)站Youtube每天投放數(shù)百萬(wàn)條廣告。谷歌用自動(dòng)化的系統(tǒng)安排廣告投放，廣告客戶并不知曉也不能決定自己廣告伴隨哪些視頻展示。不過(guò)，最近這種不確定性給谷歌帶來(lái)麻煩。許多報(bào)告顯示Youtube竟然會(huì)在宣傳仇恨和恐怖主義的視頻上投放廣告。由于這個(gè)原因，沃爾瑪、百事可樂(lè)和Verizon等廣告客戶紛紛拋棄這個(gè)平臺(tái)，谷歌更廣泛的廣告網(wǎng)絡(luò)也遭遇信任危機(jī)。

　　谷歌回應(yīng)稱媒體夸大了廣告丑聞。公司發(fā)言人表示，伴隨極端視頻展示的廣告不到廣告主總展示次數(shù)的千分之一。谷歌全球銷售與運(yùn)營(yíng)副總裁菲利普·辛德勒（Philipp Schindler）也稱廣告問(wèn)題只涉及到非常非常小的一部分視頻。但廣告評(píng)級(jí)員透露谷歌正通過(guò)加大人工評(píng)級(jí)員隊(duì)伍建設(shè)來(lái)防治問(wèn)題惡化。

　　廣告收入占到谷歌總收入的九成，因此找到問(wèn)題視頻，杜絕廣告丑聞顯得尤為關(guān)鍵。但每天有將近60萬(wàn)小時(shí)的新視頻被上傳到Y(jié)outube，需要一個(gè)城市的人口全天候觀看才能保證完全的人工審查。這顯然不現(xiàn)實(shí)。谷歌稱正在努力開(kāi)發(fā)用人工智能來(lái)幫助識(shí)別問(wèn)題視頻。“這一問(wèn)題無(wú)法用人力解決，也不應(yīng)該由人力解決。”辛德勒在最近接受彭博社采訪時(shí)說(shuō)。

　　問(wèn)題是，AI的訓(xùn)練離不開(kāi)人工。因此，谷歌在現(xiàn)階段仍然依賴人工分級(jí)來(lái)識(shí)別并標(biāo)記令人反感的視頻，從而構(gòu)建數(shù)據(jù)庫(kù)用于AI學(xué)習(xí)。八名現(xiàn)職和前評(píng)級(jí)員對(duì)《連線》雜志表示谷歌一度變得越來(lái)越依賴人工評(píng)級(jí)員的工作，與谷歌公司溝通不足以及工作缺乏穩(wěn)定性都損害了他們做好自己工作的能力。

　　人工評(píng)級(jí)

　　科技企業(yè)一直以來(lái)都有雇傭內(nèi)容管理員的傳統(tǒng)。隨著人們?cè)诰W(wǎng)上上傳和分享的內(nèi)容越來(lái)越多，這一職位對(duì)互聯(lián)網(wǎng)巨頭而言也變得越來(lái)越重要�！哆B線》采訪到的評(píng)級(jí)員表示，除了對(duì)視頻進(jìn)行審查，他們還會(huì)檢視評(píng)論區(qū)，標(biāo)記言辭粗魯?shù)幕��?dòng)留言。評(píng)級(jí)員們檢查谷歌廣告網(wǎng)絡(luò)涵蓋的各種網(wǎng)站，以確保他們符合公司的質(zhì)量標(biāo)準(zhǔn)。他們按類別（比如“零售”或“新聞”）給網(wǎng)站分類，然后點(diǎn)擊頁(yè)面廣告中的鏈接，看其是否運(yùn)行正常。而且，正如“廣告質(zhì)量評(píng)級(jí)員”這一名稱所示，他們還對(duì)廣告本身的質(zhì)量進(jìn)行評(píng)級(jí)。

　　在三月份的廣告丑聞?wù)兄驴蛻舻种浦�后，谷歌要求評(píng)級(jí)員們暫緩其他工作，集中人手處理“高優(yōu)先級(jí)評(píng)級(jí)項(xiàng)目”。這一新項(xiàng)目意味著幾乎完全專注于Youtube上，根據(jù)客戶投訴檢查視頻乃至整個(gè)播放列表。“這是一個(gè)巨大轉(zhuǎn)變。”一位廣告評(píng)級(jí)員說(shuō)。

　　評(píng)級(jí)員表示龐大的工作量意味著數(shù)量和速度被放到比精確度更優(yōu)先度位置。某些情況下，系統(tǒng)會(huì)要求在不到兩分鐘內(nèi)審查完幾小時(shí)長(zhǎng)度的視頻。不堪重負(fù)的評(píng)級(jí)者們紛紛在匿名論壇上交流各種增效法門。比如查看RapMV的歌詞以快速檢索褻瀆詞語(yǔ)，或以10s快進(jìn)速覽全片。谷歌使用計(jì)時(shí)器監(jiān)督每個(gè)視頻的審查時(shí)間，這也增加了評(píng)級(jí)員的壓力。“我擔(dān)心如果我一下子審查太多視頻，會(huì)被解雇。”一位評(píng)級(jí)員告訴《連線》雜志。

　　除了簡(jiǎn)單標(biāo)記視頻良莠，評(píng)級(jí)員還被要求對(duì)視頻標(biāo)題和內(nèi)容做更細(xì)致的評(píng)級(jí)，并進(jìn)行分類，例如包含“褻瀆”、“仇恨言論”或“其他”等“不適當(dāng)言論”。又或包含“恐怖主義”、“戰(zhàn)爭(zhēng)與沖突”、“死亡悲劇”或“其他”等“暴力”內(nèi)容。此外的分類還有“毒品”和“性/裸露”（具體分類為“虐待”、“裸體”和“其他”）。系統(tǒng)還為評(píng)級(jí)員提供了“其他敏感內(nèi)容”選項(xiàng)，宣揚(yáng)極端政治觀點(diǎn)的視頻即可歸為此類。（AdAge最近報(bào)道稱，谷歌現(xiàn)在允許客戶拒絕在“性暗示”和“聳人聽(tīng)聞”的視頻上投放廣告。）

　　不過(guò)評(píng)級(jí)員表示，并非所有的材料都能被恰當(dāng)?shù)胤珠T別類。在這種時(shí)候，評(píng)級(jí)者就將視頻標(biāo)注為“無(wú)法評(píng)級(jí)”。比如一名評(píng)級(jí)員因不懂西班牙語(yǔ)而將一段西語(yǔ)Rap標(biāo)為“無(wú)法評(píng)級(jí)”，不過(guò)他同時(shí)盡責(zé)地附上一句評(píng)論，表示對(duì)話內(nèi)容有可能帶有侮辱性。（最近的評(píng)級(jí)員招募顯示，谷歌正在優(yōu)先聘用雙語(yǔ)應(yīng)聘者。并在評(píng)級(jí)系統(tǒng)中提供“未知語(yǔ)言”的選項(xiàng)。）

　　多位評(píng)級(jí)員表示他們被要求觀看令人震驚的視頻。一位評(píng)級(jí)員談到一個(gè)男人在卡車?yán)餁⒐返囊曨l，視頻中的人將卡車點(diǎn)燃，然后走出卡車朝自己腦袋開(kāi)了一槍。在評(píng)級(jí)員論壇上，還有更多聳人聽(tīng)聞的視頻內(nèi)容，包括虐待婦女、兒童和動(dòng)物的視頻。有人表示他們每看幾個(gè)視頻就得休息一下才能緩過(guò)勁兒來(lái)。評(píng)級(jí)員無(wú)從得知谷歌如何分發(fā)每個(gè)人的任務(wù)內(nèi)容，每個(gè)人都是在評(píng)級(jí)之前才能看到視頻的標(biāo)題和縮略圖。其他一些評(píng)級(jí)員經(jīng)�？吹降囊曨l還包括談?wù)撾娮佑螒�、政治和陰謀論的視頻。

　　總而言之，極盡其詳?shù)墓ぷ鞣秶�和分�?jí)的微妙差別都顯示谷歌仍然需要人工協(xié)助來(lái)處理Youtube的廣告問(wèn)題。“我們的信息來(lái)源眾多，但你們是我們最重要的來(lái)源之一。”谷歌在給評(píng)級(jí)員的文件中如此說(shuō)道。谷歌高管和代表多次強(qiáng)調(diào)只有機(jī)器智能才能解決Youtube這種規(guī)模的問(wèn)題，但在谷歌實(shí)現(xiàn)真正實(shí)用的機(jī)器算法之前，這些工作仍然依賴人工完成。

　　“我們一直依靠技術(shù)和人工評(píng)級(jí)的結(jié)合來(lái)分析被標(biāo)記給我們的內(nèi)容，因?yàn)閷?duì)視頻內(nèi)容的理解可能因人而異。”谷歌發(fā)言人Chi Hea Cho說(shuō)。“近來(lái)，我們?cè)黾恿巳耸謥?lái)加速評(píng)級(jí)工作。人工評(píng)級(jí)幫助訓(xùn)練我們的算法，使之隨時(shí)間推移而不斷改進(jìn)。”

　　人力資源

　　人工廣告評(píng)級(jí)員項(xiàng)目始于2004年，效仿谷歌搜索引擎的搜索質(zhì)量改進(jìn)項(xiàng)目而設(shè)立。廣告評(píng)級(jí)最初服務(wù)于谷歌的核心廣告業(yè)務(wù)：AdWords。AdWords負(fù)責(zé)生成與用戶搜索結(jié)果和AdSense相匹配的廣告。AdSense是谷歌面向網(wǎng)站站長(zhǎng)的廣告服務(wù)，讓客戶在第三方網(wǎng)站上投放廣告。最初代理招聘的機(jī)構(gòu)ABE支付給廣告評(píng)級(jí)員每小時(shí)20美元的薪酬。評(píng)級(jí)員可以一天干8小時(shí)，還可以加班賺錢。2006年，WorkForceLogic收購(gòu)了ABE之后，有評(píng)級(jí)員表示工作待遇略有下降。之后另一家名叫ZeroChaos的公司在2012年吞并了WorkForceLogic，如今所有的廣告評(píng)級(jí)員都?xì)wZeroChaos管理。

　　沒(méi)有時(shí)間限制的廣告評(píng)級(jí)工作對(duì)那些喜歡靈活工作條件的人群很有吸引力，其中包括剛開(kāi)始工作的大學(xué)畢業(yè)生、退休工、閑居的老人和殘障人士。評(píng)級(jí)員只需要一臺(tái)臺(tái)式電腦和移動(dòng)設(shè)備就可隨時(shí)隨地進(jìn)行工作，每周最低工時(shí)不得低于10小時(shí)。

　　但這份工作本質(zhì)上的不穩(wěn)定性可能會(huì)給許多從業(yè)者帶來(lái)風(fēng)險(xiǎn)。“我們大多數(shù)人都喜歡這份工作，但我們沒(méi)有機(jī)會(huì)成為永久的全職員工。”一位廣告評(píng)級(jí)員告訴《連線》雜志。

　　ZeroChaos是數(shù)家專門向科技企業(yè)提供臨時(shí)工的機(jī)構(gòu)之一，《連線》所采訪到的員工便來(lái)自于它。ZeroChaos以一年期合同簽員工，連續(xù)工作兩年后不得留職。（今年4月，ZeroChaos已經(jīng)廢除了最長(zhǎng)兩年的連續(xù)雇傭期限。）評(píng)級(jí)員待遇沒(méi)有指望得到提升，永遠(yuǎn)都是15美元的時(shí)薪。每周工時(shí)上限為29個(gè)小時(shí)，無(wú)帶薪休假。每周工作超過(guò)25小時(shí)的員工可申請(qǐng)公司福利，但另一方面公司又無(wú)法保證有足夠多的任務(wù)讓他們干滿這么長(zhǎng)時(shí)間。公司經(jīng)常毫無(wú)預(yù)兆地突然終止合同，沒(méi)有事先警告也沒(méi)有解雇理由。有員工才入職一周便收到解雇郵件。

　　“谷歌努力與提供良好工作條件的供應(yīng)商合作。”Cho說(shuō)。“當(dāng)問(wèn)題引起我們的注意時(shí)，我們會(huì)就員工的憂慮向供應(yīng)商提出警告，并同他們合作解決任何問(wèn)題。我們會(huì)進(jìn)一步研究這個(gè)問(wèn)題。”ZeroChaos則拒絕就此置評(píng)。

　　評(píng)級(jí)員稱與谷歌缺乏溝通加劇了評(píng)級(jí)員的工作不安全感。評(píng)級(jí)員們無(wú)緣得見(jiàn)他們所服務(wù)的幕后雇主，即便在面試環(huán)節(jié)也是如此。谷歌會(huì)向“谷歌廣告評(píng)級(jí)管理小組”發(fā)送例行郵件，告之評(píng)級(jí)員僅將其用于與任務(wù)相關(guān)的問(wèn)題。員工發(fā)往谷歌郵箱的郵件只會(huì)收到自動(dòng)回復(fù)。“由于收到的報(bào)告數(shù)量龐大，管理員不會(huì)回復(fù)單獨(dú)的問(wèn)題報(bào)告。不過(guò)我們對(duì)收到的報(bào)告進(jìn)行監(jiān)控，以盡快發(fā)現(xiàn)系統(tǒng)級(jí)別的問(wèn)題。”谷歌回復(fù)道。“如果您需要個(gè)性化的回復(fù)，或?qū)δ愕膸�戶采取特定行�?dòng)，請(qǐng)聯(lián)系您的合同管理員。”

　　“來(lái)自谷歌的交流完全不存在。”一位前評(píng)級(jí)員說(shuō)。“谷歌是出了名的難溝通。”

　　“位于網(wǎng)絡(luò)另一頭的山景城的人就像幕后的巫師。我們非常希望與他們溝通，成為真正的同事，但不可能。”另一位評(píng)級(jí)員說(shuō)。

　　另一方面，谷歌只是通知評(píng)級(jí)員他們?cè)谧鲋匾�工作，此外便沒(méi)有更詳細(xì)說(shuō)明。

　　“我們無(wú)法對(duì)每個(gè)任務(wù)的目的都作出解釋，但這些任務(wù)對(duì)我們而言的重要性是毋庸置疑的。”谷歌在給評(píng)級(jí)員們的培訓(xùn)材料中說(shuō)。“你不會(huì)經(jīng)常能聽(tīng)到你工作的結(jié)果。實(shí)際上，有時(shí)你的工作看起來(lái)可能仿佛一個(gè)黑洞……不過(guò)即便你不總是能看到工作的成效，你的工作確實(shí)非常重要，并且許多谷歌員工會(huì)十分十分密切地檢查它。”

　　有時(shí)候這些檢查也會(huì)密切地讓評(píng)級(jí)員吃不消。谷歌會(huì)將評(píng)級(jí)員審查過(guò)的材料偽裝成未分級(jí)材料，分配給評(píng)級(jí)員進(jìn)二次審查，以衡量其績(jī)效。“我們用測(cè)試來(lái)評(píng)估你的表現(xiàn)。分?jǐn)?shù)過(guò)低可能導(dǎo)致您的任務(wù)終止。”

　　根據(jù)佐治亞理工大學(xué)研究員馬克·里德?tīng)枺∕ark Riedl）的說(shuō)法，將已知問(wèn)題經(jīng)過(guò)偽裝“明知故問(wèn)”是眾包研究中的常見(jiàn)做法。研究人員通過(guò)這種手段排除那些不負(fù)責(zé)任的蒙混過(guò)關(guān)者或機(jī)器作弊行為。這種做法經(jīng)常被戲稱為圖靈測(cè)試。

　　里德?tīng)栒J(rèn)為在真人團(tuán)體中使用這種手法存在不妥：“工人不是機(jī)器。我們需要認(rèn)識(shí)到那些員工是人類，我們有倫理和道德責(zé)任來(lái)設(shè)計(jì)任務(wù)以尊重工作者的尊嚴(yán)。”

　　同時(shí)也需要指出的是并非所有評(píng)級(jí)員都對(duì)待遇心有不滿。15美元的時(shí)薪仍然比大多數(shù)城市的最低工資要高。一位員工感謝ZeroChaos給他工作的機(jī)會(huì)，此前他曾因犯罪前科被麥當(dāng)勞拒聘。許多評(píng)級(jí)員在窮困潦倒接近無(wú)家可歸，要靠食品補(bǔ)助券度日的時(shí)候得到這份工作，并對(duì)此心存感激。

　　其他人表示，評(píng)級(jí)員工作的靈活性并不意味著能被充分利用。隨時(shí)隨地在家工作確實(shí)是極大的便利，但ZeroChaos FAQ禁止員工同時(shí)為其他公司工作。一名前評(píng)級(jí)員希望在從事當(dāng)前工作的業(yè)余時(shí)間重拾廣告評(píng)審的工作補(bǔ)貼家用，卻被ZeroChaos拒絕。“如果我可以同時(shí)做兩份工作，收入會(huì)很可觀。現(xiàn)在我每周比失業(yè)階段多掙40美元，不過(guò)這是不可持續(xù)的。”

　　人機(jī)關(guān)系

　　《連線》雜志采訪到的廣告評(píng)級(jí)員表示，雇傭臨時(shí)工來(lái)承擔(dān)培訓(xùn)AI系統(tǒng)所需的重復(fù)性任務(wù)，是整個(gè)科技行業(yè)的大公司都在采用的做法。一位評(píng)級(jí)員講述了早些年自己參與微軟Bing搜索引擎的評(píng)估工作，當(dāng)時(shí)的人工評(píng)審員需要每小時(shí)瀏覽多達(dá)80多頁(yè)的搜索結(jié)果。評(píng)級(jí)人員透露，LinkedIn（數(shù)據(jù)注解）和Facebook（評(píng)估粉絲頁(yè)面贊助商的帖子）也雇傭臨時(shí)工進(jìn)行類似的任務(wù)。

　�。ㄎ④浘芙^對(duì)此置評(píng)。LinkedIn無(wú)法確認(rèn)存在此類項(xiàng)目，F(xiàn)acebook沒(méi)有回復(fù)置評(píng)請(qǐng)求。）

　　評(píng)級(jí)員工作整體的不穩(wěn)定性和普遍的非自愿解雇現(xiàn)象讓許多現(xiàn)職和離職工人感到不滿，他們表示自己工作的不穩(wěn)定性也會(huì)讓谷歌等幕后雇主失去熟練員工的積累。“他們白花時(shí)間訓(xùn)練新員工，然后又趕他們出門。”一位前雇員說(shuō)。

　　不過(guò)，對(duì)科技公司而言，不斷使用新的臨時(shí)工做人工評(píng)估反而可能是提升AI智能的最佳做法。AI專家稱定期更換人工數(shù)據(jù)來(lái)源更適合培訓(xùn)AI。“AI需要眾多觀察事情的角度，特別是在引人反感的內(nèi)容等方面。”人工智能創(chuàng)業(yè)公司NaraLogicsCEO亞娜·艾格斯（Jana Eggers）說(shuō)。她還引用最高法院和色情的著名故事。聯(lián)邦法官稱自己不知道如何界定色情，但“讓我看一眼我就知道了”（I know it when I seeit）。同理，給機(jī)器更多的視角會(huì)得到更好的結(jié)果。

　　盡管AI研究人員普遍認(rèn)為，訓(xùn)練人員的不良習(xí)氣不會(huì)隨著訓(xùn)練數(shù)據(jù)一同傳染給AI。但工作環(huán)境和個(gè)人經(jīng)驗(yàn)之外，一些更微妙的影響實(shí)難控制。“人們經(jīng)常聽(tīng)到的觀點(diǎn)講大量不同的數(shù)據(jù)是培訓(xùn)AI模型的途徑。”康奈爾大學(xué)AI教授巴特·塞爾曼（Bart Selman）說(shuō)。“這是一個(gè)很好的指導(dǎo)方針，但當(dāng)涉及道德判斷時(shí)，群體中根深蒂固的偏見(jiàn)也是需要注意的。”例如，人們往往認(rèn)為男人比女人更能勝任某些工作（或相反）。“如果使用來(lái)自一個(gè)特定群體的數(shù)據(jù)來(lái)訓(xùn)練AI，人群中隱藏的偏見(jiàn)也會(huì)一并被AI習(xí)得。”同理，使用一群焦慮的臨時(shí)工來(lái)訓(xùn)練AI，臨時(shí)工特有的偏見(jiàn)也可能被吸收到系統(tǒng)中。

　　“你不會(huì)想通過(guò)讓機(jī)器觀察普通人在日常生活中的做法來(lái)訓(xùn)練AI倫理模塊。”塞爾曼說(shuō)。“你想從那些對(duì)偏見(jiàn)和倫理問(wèn)題有更深入思考的人身上獲得數(shù)據(jù)。”

　　眾所周知，谷歌山景城總部向來(lái)以待遇優(yōu)越著稱，從風(fēng)景如畫的園區(qū)內(nèi)設(shè)免費(fèi)自助餐廳，到游泳池和桌球室可謂是應(yīng)有盡有。這些廣告評(píng)級(jí)員們的待遇與之形成了最鮮明的對(duì)比，而他們存在的意義似乎只是在培訓(xùn)公司的機(jī)器并取代自己！