Ilya出走記：SSI的超級安全革命

　 阿里云優惠券 先領券再下單

圖片｜OpenAI官網

©自象限原創

作者丨羅輯、程心

和OpenAI分道揚鑣以后，Ilya“神秘而偉大”的事業終于揭開了面紗。

6月20日，前OpenAI核心創始人 Ilya Stuskever，在官宣離職一個月后，Ilya在社交媒體平臺公開了最新的動向：將成立新的實驗室Superintellgence（以下簡稱SSI），構建安全的超級智能。

▲圖源：社交媒體X截圖

這個名，明眼人一看就知道是沖著OpenAI去的。

2023年12月，在OpenAI十年的Ilya官宣離職引起了整個AI圈的軒然大波。雖然離職的具體原因撲朔迷離，但在Ilya離職前后，OpenAI負責模型安全的由Ilya主導的超級對齊(Superalignment)實驗室宣布解散，外界紛紛推測，Ilya一直以來的理念是謹慎地發展人工智能，與Altman大刀闊斧地推進技術的戰略相左。

而SSI，首先堅持了OpenAI成為非營利組織獨立實驗室的初衷，其次踐行了Ilya一直以來對模型安全的謹慎態度。并且Ilya還補充道：我們將以一個焦點、一個目標、一個產品，直接追求安全的超級智能。

▲圖源：社交媒體X截圖

截至發稿前，Sam Altman并未回應，并沒有讓吃瓜群眾們預想的“Altman假惺惺的表示祝福”成真。

而之所以業內如此重視Ilya在這個節點成立SSI，并不只是因為這個人，更是大模型的發展已經到了不得不重視模型安全的重要節點。

在剛剛過去的北京智源大會上，楊植麟、張鵬等一線創業者也曾討論過這個問題，我們對模型安全的重視程度遠遠小于它的重要程度，而SSI的成立，或許會開辟一條與OpenAI完全相反的路。

用Ilya的眼睛，看AI的危險

似乎Ilya對模型安全是執拗的，甚至被人暗指“沒必要”。“如果不是因為他是OpenAI的技術首腦，曾一手打造了GPT、DALLE-E等明星產品，SSI根本不會受到如此大的關注。”

但他們卻忽略了，Ilya對人工智能技術的重要性，并不是從OpenAI開始的，而是從他的老師辛頓就奠定了他的話語權。

從80年代就開始戰斗在人工智能最前線的辛頓，被譽為“深度學習之父”。作為教授的他桃李滿天下（包括吳恩達），在他年輕一代的學生中，Ilya是最得意的門生之一。

▲圖源：辛頓和Ilya合影

2023年5月初，辛頓辭去他在谷歌擔任了十多年的職位，表示作出這個決定是為了可以自由討論“人工智能的危險”。此后，他頻繁接受媒體采訪，不遺余力地對人工智能可能操縱人類發出警報。

盡管人類可以賦予人工智能一些倫理原則，但辛頓仍然感到緊張，“因為到目前為止，我還想象不到更智能的事物被一些沒它們智能的事物所控制的例子。打個比方，假設青蛙創造了人類，那么你認為現在誰會占據主動權，是人，還是青蛙？”

師從辛頓的Ilya，幾乎完全繼承了被辛頓“蒸餾”過的，對于人工智能的謹慎，以及在謹慎之下的小心翼翼。

Ilya之于OpenAI，許多網友都認為他的個人貢獻要大于Sam Altman。如果說SamAltman是OpenAI的面子，那Ilya就是OpenAI的里子，或者說是技術靈魂。

私底下的Ilya很內向但卻并不膽怯。他之所以如此，很多人好奇，他作為影響這個世界技術變革的人，一定看到了什么。

但卻沒有人知道。

Ilya在OpenAI打造的超級對齊實驗室，目的就是為了通過可控的技術手段使得AI發展的路徑可控，確保AGI的發展符合人類利益。

一些前OpenAI員工透露,Ilya對超級對齊實驗室的工作非常重視，并親自參與其中。他希望通過這一實驗室的工作，為未來的AGI系統設計出可靠的對齊方案。

想要理解何為“超級對齊”，就要演示一下現在的對齊技術，通過RHLF注入，能夠實現兩種對齊：一種是價值觀的對齊：比如不要建立男女的性別對立、不要歧視同性戀等等；另一種是話題層面的對齊：明確國家的邊界、不讓搞黃色、不能詐騙等等。但Ilya所謂的超級對齊，卻并不是這么簡單。

有人還記得人工智能的三原則么？

其中之一便是“無條件服從人類”，而價值觀和話題的對齊是遠遠不足以完成這個目標的，Ilya他認為技術的本質類似于人類的生物進化，如果進化的開始，是一個沒有“無條件對人類的愛”的 AI，那等它長成AGI以后，也一定不可控。

對應了他在X中發表的：直接追求安全的超級智能。

沒錯，超級對齊的本質其實是通過讓大模型產生“對人類無條件的愛”。

這聽起來似乎很扯淡，但或許SSI的本質就是如此。

人，AI安全的最后一道防線

那么問題來了，大部分人做不到。

是的，可能大部分公司都是OpenAI而非SSI。那么除了大模型公司在內部致力于構建一個安全、可信的大模型之外，這兩年隨著技術和應用的發展，社會各界也對AI和大模型的安全作出了許多努力。

2021年11月，聯合國教科文組織就曾通過《人工智能倫理問題建議書》，希望為人工智能的發展，以及預防其潛在風險提供建議。

今年3月份，聯合國教科文組織總干事奧德蕾·阿祖萊還在公開呼吁，希望各國盡快實施這項建議，為人工智能發展設立倫理標準。

而隨著中國AI大模型的蓬勃發展，中國企業也越來越多地參與到了這類國際AI安全準則的制定中。

比如今年4月在日內瓦召開的聯合國科技大會上，世界數字技術院（WDTA）發布了《生成式人工智能應用安全測試標準》和《大語言模型安全測試方法》兩項國際標準。

而這兩項標準，由來自百度、騰訊、螞蟻集團、科大訊飛等眾多中國企業的專家學者共同參與編制而成。

在國際組織通過編制規范指導AI安全發展的同時，各地政府的法案也在相繼落地。

5月21日，歐洲的《人工智能法案》正式獲得了歐洲理事會的批準。這項法案最早由歐盟委員會在2021年提出，作為全球首個AI法案，它通過構建廣泛適用的人工智能監管機制，為人工智能技術的發展提供了法律框架，為全球的AI監管提供了可借鑒的法律基礎。

國內AI安全相關的政策則落地在2023年7月，國家網信辦聯合國家發改委、工信部等七部門，公布了《生成式人工智能服務管理暫行辦法》，該辦法就生成式人工智能可能面臨的安全問題提出了一系列明確的約束規范。

當然，法律規定的社會的下限，大模型安全的上線仍然需要在產業界尋找答案。

我們前面提到，大模型在公司內部訓練的過程中，需要通過數據、算法、學習框架等多個維度保證大模型的安全可靠。

但其實在公司外部，完成訓練的大模型要推向市場，還存在一套由第三方完成的大模型安全測試評估框架，目前主流的安全性測評方法主要有固定數據集測評和紅隊模型測評兩類。

2023年，OpenAI在GPT-4發布之前就曾對其進行了六個多月的評估、測試及改進。在這輪測試中，OpenAI就邀請了AI領域專家參與紅隊測試（Red Teaming） 以識別安全風險。

固定數據集測評，則是由研究人員針對大模型的各類安全風險制定風險評估矩陣，類似績效考核打分。

研究人員通過人類標注數據的方式采集安全性評估數據，然后以測試模型在這些數據集上的表現評估模型的安全程度。

2023年底，OpenAI在官網公布了名叫“Preparedness Framework”的安全評估框架，是這類固定數據集測評的范本之一。

▲OpenAI安全評估模型的計分卡，圖源：OpenAI官網

在國內，清華大學計算機系的黃民烈研究團隊在2023年3月就發布了大模型安全分類體系，該團隊從系統層面和模型層面出發，打造更可控、可信的大模型安全框架，是國內較早參與到模型安全評估體系的團隊之一。

除此之外，螞蟻安全實驗室也推出了大模型安全檢測平臺“蟻鑒2.0”和大模型風險防御平臺“天鑒”兩大產品。

在具體能力上，風險監測平臺可以診療檢測、定位問題；風險防御平臺可以對風險進行防治。

比如在大模型生成可控問題上，螞蟻安全實驗室提出了如通過SFT、RLHF/RRHF、RLAIF等技術和高質量標注做人類對齊；在圖像方面做風險抑制，進行可控調試；為大模型外掛千萬級安全知識庫生成和檢索等等方式。

在模型層面的問題之外，使用模型帶來的安全問題也同樣重要。

6月11日，蘋果在WWDC上推出了其全新的 AI 系統“Apple Intelligence”。為了保護用戶隱私和數據安全，蘋果將大模型的工作分為兩類。

其中簡單的任務在手機設備端執行，保證數據不離開手機。如果是需要調用云端算力的復雜任務，蘋果打造了一套具備芯片級別隱私和安全保護的服務器——“Private Cloud Compute”。這套服務器可以實現加密傳輸，服務器只識別數據，不收集數據，且在任務完成后，該數據也會被立即刪除。

其中關鍵的一點是，Apple Intelligence集成了GPT-4o作為第三方大模型支持。為了保證數據安全和用戶的知情權，蘋果設置Siri啟用Chat GPT時會向用戶提出申請。

也就是說，在蘋果的安全框架里，雖然企業會做好一切前期準備，但用戶自己才是安全防范的最后一道防火墻。

就像OpenAI一直都在官網提醒用戶，“在使用 GPT-4 輸出的內容時應格外小心，特別是在高風險場景下（如醫學、化學等領域），需要人工核查事實準確性或者避免使用 AI 給出的答案。”

所以，雖然身處AI時代，工具已經如此強大，但在一切工具就緒之后，我們仍應記住，我們自己才是保護自己的最后一道防線。

申請創業報道，分享創業好點子。點擊此處，共同探討創業新機遇！