今年三月，當(dāng)微軟發(fā)布的Tay聊天機(jī)器人被玩壞后迅速下線，這引發(fā)了關(guān)于人工智能的廣泛討論。同樣引發(fā)人們激烈討論人工智能的，是今年2月谷歌無人車引發(fā)的事故。我們是否應(yīng)該設(shè)計(jì)最小化不良行為的智能學(xué)習(xí)機(jī)器呢？　

　　雖然剛才提到的兩項(xiàng)意外相對(duì)來說都是小事故，我們從中看到了一個(gè)大問題：在復(fù)雜環(huán)境中，要控制適應(yīng)性學(xué)習(xí)機(jī)器是非常難的。著名的控制論專家NorbertWiener在50年前就已經(jīng)警告過我們這是個(gè)麻煩事：“如果我們?yōu)榱俗约旱哪康?，要使用一種我們沒法有效干涉其內(nèi)在運(yùn)行機(jī)制的機(jī)械代理…我們最好確認(rèn)再確認(rèn)，機(jī)器所設(shè)定的目標(biāo)真的是我們最初想要達(dá)到的目標(biāo)，而不只是我們最初目標(biāo)的近似模擬?！?/p>

　　學(xué)習(xí)機(jī)器的問題在于，他們基于自己所見到的數(shù)據(jù)進(jìn)行自我訓(xùn)練，“訓(xùn)練數(shù)據(jù)”沒法完全代表未來將要遇到的情景。有一種情況叫做“邊緣案例”或者“Rumsfeldian未知數(shù)”，因?yàn)樗鼈兪孪仁菬o法預(yù)知的。人類通常在面對(duì)這種“邊緣案例”的時(shí)候，表現(xiàn)得都還不錯(cuò)，不需要進(jìn)行事先“訓(xùn)練”，例如通過應(yīng)用常識(shí)、尋找類比或者研究樣本等方式。

　　目前來說，這些讓人頭痛的問題還沒有解決之道。但是，系統(tǒng)的設(shè)計(jì)者很有必要評(píng)估一下每一項(xiàng)應(yīng)用在未來邊緣案例中的風(fēng)險(xiǎn)，系統(tǒng)可能發(fā)生的最壞的情況。

　　首先，訓(xùn)練中的錯(cuò)誤分析是很有必要的，可以幫助我們理解系統(tǒng)所學(xué)到的是什么。這不是小事。舉個(gè)例子，在一個(gè)最近的項(xiàng)目中，研究人員評(píng)估了一天中不同時(shí)間段的電視觀眾，發(fā)現(xiàn)系統(tǒng)的預(yù)測(cè)在某一些時(shí)段、某一些區(qū)域內(nèi)錯(cuò)得特別離譜。

　　一項(xiàng)錯(cuò)誤的細(xì)節(jié)分析顯示，系統(tǒng)不知道在某些時(shí)段、某些地區(qū)有特殊的體育節(jié)目。通過加入此項(xiàng)信息并對(duì)系統(tǒng)進(jìn)行重新訓(xùn)練，系統(tǒng)在問題案例中的表現(xiàn)大大改善，而在其他案例中的表現(xiàn)沒有變化。這說明系統(tǒng)學(xué)會(huì)了在之前出錯(cuò)的案例中運(yùn)用新的知識(shí)。雖然這不能解決整個(gè)問題，但這是一個(gè)改善系統(tǒng)的例子。

　　另一種策略是利用互聯(lián)網(wǎng)上可以獲得的人類智能，來創(chuàng)造出機(jī)器有可能范錯(cuò)的邊緣案例。眾籌是一種常用的獲得、處理邊緣案例的方法。我的一些同事設(shè)立了一個(gè)叫做“超越機(jī)器”的系統(tǒng)，人類被要求指出機(jī)器預(yù)測(cè)將會(huì)出錯(cuò)的地方。每一次人類都能成功指出錯(cuò)誤案例，機(jī)器可以更好地學(xué)習(xí)這些案例，從而在未來正確應(yīng)對(duì)類似案例。

　　還有其他的方法，有一些是自動(dòng)化的方法，這為學(xué)習(xí)過程增添了難度，難度是為了誘導(dǎo)機(jī)器出錯(cuò)。舉個(gè)例子，我們可以人為地創(chuàng)造難度案例，只要稍微調(diào)整一下真實(shí)訓(xùn)練案例，目標(biāo)就是為了誘導(dǎo)機(jī)器犯錯(cuò)。在系統(tǒng)對(duì)于自己的預(yù)測(cè)非常自信的時(shí)候，這樣的方法尤其有用，因?yàn)闄C(jī)器無法區(qū)分真實(shí)的案例和經(jīng)過調(diào)整的案例。這說明機(jī)器的學(xué)習(xí)效果還不夠強(qiáng)，我們還不該放心地將其用于自動(dòng)化應(yīng)用。此類策略的目標(biāo)是引入目前數(shù)據(jù)中沒有的新案例，有時(shí)候新案例甚至?xí)行┢婀?，從而?xùn)練系統(tǒng)更加完善和強(qiáng)大。

　　另外，我們還需要評(píng)估最差情況下的犯錯(cuò)成本。這在金融行業(yè)的風(fēng)險(xiǎn)評(píng)估中是一個(gè)很大的專業(yè)領(lǐng)域，使用嚴(yán)重性概念和頻率來將風(fēng)險(xiǎn)量化為金錢或其他類似的單位。要使用這種框架，我們需要梳理各種結(jié)果可能有的損失分布，包括邊緣案例在內(nèi)，即便是我們沒法預(yù)先預(yù)計(jì)這些事件。如果這些分布沒法可靠地進(jìn)行評(píng)估，我們可能應(yīng)該判斷認(rèn)為，目前系統(tǒng)還沒準(zhǔn)備好進(jìn)行自動(dòng)化功能應(yīng)用。