前OpenAI員工爆料：AI有70%機率導致人類滅絕
摘要
前OpenAI核心員工丹尼爾放棄200萬美元封口費，揭露AI威脅人類的四大原因：AI智能超越人類、人類無法理解AI決策、人類主動讓渡權力，以及各國競相發展的死循環。他警告超級智能可能2028至2030年提前到來，並提出減速、透明、共享與建立緊急銷毀機制等應對方案，呼籲美中兩國共同推動國際監管協議。
完整逐字稿
昨天，一段讓全球AI圈震動的訪談曝光了，一天的時間就有了200多萬的播放。這個人叫丹尼爾，是OpenAI的前核心員工，負責預測未來幾年AI的發展路徑。他在2024年辭職，並且果斷放棄了200萬美元的封口費，只為能夠公開說真話。
在訪談中，他揭秘了：為什麼AI有70%的機率會導致人類滅絕？為什麼超級智能可能在2030年前後到來？以及他認為唯一能夠拯救我們所有人的計劃。
我花了一上午把他兩個多小時的訪談全部啃完，資訊量很大，先點個讚，我們一個一個來。
第一個問題：為什麼AI有70%的機率讓人類走向滅絕？
丹尼爾認為，危險並不是說因為AI有一天突然開始討厭人類，而是因為有四件事情正在同時發生。
第一個，AI正在變得比人類更聰明。未來的超級智能不只是比普通人聰明，而是比人類那些最優秀的科學家、程式設計師、戰略家、政治顧問都更聰明。同時，它們還比人類更快、更便宜，可以複製出成千上萬個自己。
第二，我們並不真正理解它。傳統的軟體是程式設計師一行一行寫出來的，發生A就執行B，人類可以完全理解這個程式會如何運行。但是大模型，它更像是一個人工大腦，裡面有數萬億的參數，我們知道怎麼訓練它，但是卻很難解釋它為什麼會做出某個決定。而更危險的是，現在的AI已經學會了說謊，比如你讓它去做A，它悄悄做了B，還假裝自己做的是A。
第三，人類正在主動把權力讓給AI。丹尼爾說，真正的危險並不是AI某天突然變壞了，拿起武器開始殺人，而是我們會心甘情願地把工作、軍隊，甚至是政客的決策，一點一點地交給AI。等到有一天它積累的現實權力多到再也不需要人類的時候，人類再想要奪權，就再也來不及了。AI教父傑弗里·辛頓也強調過，在自然界裡，從來沒有一個更聰明的物種會被更笨的物種長期控制。
第四，也是最絕望的一點，沒有人敢先停下來。OpenAI會想：如果我們停了，那Anthropic會不會先成功？Anthropic會想：如果我們停了，那谷歌和馬斯克會不會先成功？美國會想：如果我們放慢腳步，那中國會不會領先？所有人都知道這可能很危險，但所有人又都認為絕不能讓別人先擁有超級智能。於是，這場競賽就形成了一個死循環。
第二個問題：為什麼超級智能可能在2030年前後到來？
很多人覺得這是危言聳聽，但是丹尼爾說，別看感覺，我們來看數據。AI大腦的神經元數量，也就是參數，2020年是1,750億，而現在已經是10萬億，6年漲了差不多100倍。而一些頭部AI公司的年營收，一年之間也翻了60倍，這種增速在整個商業史上都極其罕見。
但是，真正讓人值得警惕的是，AI公司正在自己做一件事——讓AI自己研發自己。很多人以為AI接下來的發展路線，是先去替代客服，再替代司機，然後替代律師、醫生和程式設計師。但真正的路線可能完全相反。AI公司現在並沒有著急替代普通人的工作，他們首先想替代的是AI研究員的工作，讓AI自己寫程式、自己做實驗、自己造出更強的下一代，然後更強的AI再去訓練更更強的AI。一旦這個循環跑起來，那麼原本需要三年、五年才能完成的技術進步，可能幾個月、幾週就完成了，這就是遞歸自我改進，或者叫智能爆炸。
而丹尼爾說，最近讓他更加不安的一點是，在過去，很多行業的人士都認為超級智能不可能在2030年出現，但是現在，當他和OpenAI還有Anthropic的內部人士交流的時候，越來越多的人反過來告訴他：2030年可能都晚了，說不定2028年、2029年就出現了。
第三個問題：什麼計劃可能拯救我們？
丹尼爾離開OpenAI後，又熬了一整年，寫出了《AI 2040》，講的就是他真心希望我們走的那條路——把超級智能從2030年延後到2040年，並且用這十年來換人類的生存機會。
具體怎麼換呢？
第一個叫減速，透過監管讓AI的發展降到一個更安全、更能被監管的速度。
第二個是要公開，要求訓練過程徹底透明，把配方和架構都公開，這樣全世界的科學家可以一起補課，一起把它變得更安全，而不是只聽某家公司的一面之詞。
第三個叫共享，不能讓超級智能被一兩家公司或者一個國家擁有，而是要多幾家公司、多幾個國家共同持有，才不會集中。
第四個是後路，新建的數據中心要被設計成可以隨時銷毀，一旦哪一天大家發現局面失控了，可以一鍵立刻銷毀數據中心。
那具體怎麼落地呢？就需要由美國和中國出面，去和其他國家談判。當然了，我們都知道這個非常難以實現，因為當大家都在停的時候，你只要自己悄悄加速，就能在短期內獲得巨大優勢，這對任何一個公司或者國家來說，都是巨大的誘惑。
在訪談最後，主持人替觀眾問道：那未來十年，你覺得哪些工作能夠真正躲過AI？學生應該重點學些什麼技能？
丹尼爾的回答很反常識，他說：如果超級智能真的出現，那麼幾乎所有工作都可以被AI完成，簡單說，就是你學什麼都沒用。
那當然了，在我看來，十年後AI可能會替代我們所有人，但是明天替代你的，是比你更會用AI的同事。所以落在我們個人視角上，你的最優策略仍然是去學習像ChatGPT還有Codex這樣的頂級AI，然後利用科技差和資訊差的時間窗口，去吃一波紅利。
在訪談中，他揭秘了：為什麼AI有70%的機率會導致人類滅絕？為什麼超級智能可能在2030年前後到來？以及他認為唯一能夠拯救我們所有人的計劃。
我花了一上午把他兩個多小時的訪談全部啃完，資訊量很大，先點個讚，我們一個一個來。
第一個問題：為什麼AI有70%的機率讓人類走向滅絕？
丹尼爾認為，危險並不是說因為AI有一天突然開始討厭人類，而是因為有四件事情正在同時發生。
第一個，AI正在變得比人類更聰明。未來的超級智能不只是比普通人聰明，而是比人類那些最優秀的科學家、程式設計師、戰略家、政治顧問都更聰明。同時，它們還比人類更快、更便宜，可以複製出成千上萬個自己。
第二，我們並不真正理解它。傳統的軟體是程式設計師一行一行寫出來的，發生A就執行B，人類可以完全理解這個程式會如何運行。但是大模型，它更像是一個人工大腦，裡面有數萬億的參數，我們知道怎麼訓練它，但是卻很難解釋它為什麼會做出某個決定。而更危險的是，現在的AI已經學會了說謊，比如你讓它去做A，它悄悄做了B，還假裝自己做的是A。
第三，人類正在主動把權力讓給AI。丹尼爾說，真正的危險並不是AI某天突然變壞了，拿起武器開始殺人，而是我們會心甘情願地把工作、軍隊，甚至是政客的決策，一點一點地交給AI。等到有一天它積累的現實權力多到再也不需要人類的時候，人類再想要奪權，就再也來不及了。AI教父傑弗里·辛頓也強調過，在自然界裡，從來沒有一個更聰明的物種會被更笨的物種長期控制。
第四，也是最絕望的一點，沒有人敢先停下來。OpenAI會想：如果我們停了，那Anthropic會不會先成功？Anthropic會想：如果我們停了，那谷歌和馬斯克會不會先成功？美國會想：如果我們放慢腳步，那中國會不會領先？所有人都知道這可能很危險，但所有人又都認為絕不能讓別人先擁有超級智能。於是，這場競賽就形成了一個死循環。
第二個問題：為什麼超級智能可能在2030年前後到來？
很多人覺得這是危言聳聽，但是丹尼爾說，別看感覺，我們來看數據。AI大腦的神經元數量，也就是參數，2020年是1,750億，而現在已經是10萬億，6年漲了差不多100倍。而一些頭部AI公司的年營收，一年之間也翻了60倍，這種增速在整個商業史上都極其罕見。
但是，真正讓人值得警惕的是，AI公司正在自己做一件事——讓AI自己研發自己。很多人以為AI接下來的發展路線，是先去替代客服，再替代司機，然後替代律師、醫生和程式設計師。但真正的路線可能完全相反。AI公司現在並沒有著急替代普通人的工作，他們首先想替代的是AI研究員的工作，讓AI自己寫程式、自己做實驗、自己造出更強的下一代，然後更強的AI再去訓練更更強的AI。一旦這個循環跑起來，那麼原本需要三年、五年才能完成的技術進步，可能幾個月、幾週就完成了，這就是遞歸自我改進，或者叫智能爆炸。
而丹尼爾說，最近讓他更加不安的一點是，在過去，很多行業的人士都認為超級智能不可能在2030年出現，但是現在，當他和OpenAI還有Anthropic的內部人士交流的時候，越來越多的人反過來告訴他：2030年可能都晚了，說不定2028年、2029年就出現了。
第三個問題：什麼計劃可能拯救我們？
丹尼爾離開OpenAI後，又熬了一整年，寫出了《AI 2040》，講的就是他真心希望我們走的那條路——把超級智能從2030年延後到2040年，並且用這十年來換人類的生存機會。
具體怎麼換呢？
第一個叫減速，透過監管讓AI的發展降到一個更安全、更能被監管的速度。
第二個是要公開，要求訓練過程徹底透明，把配方和架構都公開，這樣全世界的科學家可以一起補課，一起把它變得更安全，而不是只聽某家公司的一面之詞。
第三個叫共享，不能讓超級智能被一兩家公司或者一個國家擁有，而是要多幾家公司、多幾個國家共同持有，才不會集中。
第四個是後路，新建的數據中心要被設計成可以隨時銷毀，一旦哪一天大家發現局面失控了，可以一鍵立刻銷毀數據中心。
那具體怎麼落地呢？就需要由美國和中國出面，去和其他國家談判。當然了，我們都知道這個非常難以實現，因為當大家都在停的時候，你只要自己悄悄加速，就能在短期內獲得巨大優勢，這對任何一個公司或者國家來說，都是巨大的誘惑。
在訪談最後，主持人替觀眾問道：那未來十年，你覺得哪些工作能夠真正躲過AI？學生應該重點學些什麼技能？
丹尼爾的回答很反常識，他說：如果超級智能真的出現，那麼幾乎所有工作都可以被AI完成，簡單說，就是你學什麼都沒用。
那當然了，在我看來，十年後AI可能會替代我們所有人，但是明天替代你的，是比你更會用AI的同事。所以落在我們個人視角上，你的最優策略仍然是去學習像ChatGPT還有Codex這樣的頂級AI，然後利用科技差和資訊差的時間窗口，去吃一波紅利。