OpenAI 希望諮詢精英數學家以避免再次失誤

在將一系列驚人的數學結果轉化為聲譽危機後,OpenAI 正在諮詢人類數學家,以幫助其找到一條不那麼災難性的前進道路。該公司於週一宣布成立一個新的獨立數學家小組,負責為其及其他人工智能公司在與數學研究及更廣泛的數學社群互動方面提供建議,包括如何呈現和發布新結果。這一突如其來的舉措令許多數學家感到驚訝。研究人員告訴《邊緣》,這個小組是一個良好的第一步,但許多人表示他們對其實際作用、影響力以及 OpenAI 是否會真正聽取其意見等基本問題仍感到困惑,還對如此小的知名研究者小組能否代表更廣泛的數學社群表示擔憂。

這個九人小組由研究人員描述為該領域的名人,成員來自包括斯坦福、哈佛、牛津和劍橋等機構,其中有多位菲爾茲獎得主和麥克阿瑟“天才獎”獲得者。該小組將在新澤西州普林斯頓的高級研究所(IAS)舉行會議,該所是世界上最受尊敬的數學研究中心之一,曾是阿爾伯特·愛因斯坦、約翰·馮·諾依曼和 J·羅伯特·奧本海默等人物的智力家園。OpenAI 表示,這個名為數學與人工智能諮詢小組(AGMAI)的團體將獨立運作,擁有提供公司未要求的建議、公開評論其對數學影響的自由,並將其建議公開,儘管它並未提供這可能涉及的具體細節。該小組似乎將獲得 OpenAI 研究的早期訪問權,以履行其任務。OpenAI 表示,成員不會獲得報酬,並且該小組可以根據需要更改其成員資格。

“它的價值取決於其成員能夠行使自己的判斷並挑戰我們的判斷,”該公司表示。“該小組將就新興結果的審查和溝通提供建議:他們將幫助 OpenAI 評估其重要性,建議如何協調其傳播,並就數學研究的學術和專業標準提供建議。它還將就我們的工具如何支持數學研究和學習提供建議。”儘管強調獨立性,但該小組實際上將擁有多少影響力或為何成立仍不清楚。瑞士蘇黎世聯邦理工學院的研究人員西蒙·馬查多表示,整件事似乎“籠罩在神秘之中”,他質疑這九名成員是如何被選中的。

該小組的簡陋網站表示,它“在 OpenAI 接觸其部分成員以建立外部諮詢委員會後成立”,但在與該公司的討論後,數學家們決定成立一個獨立小組並邀請其他人加入。目前尚不清楚哪些成員最初是被 OpenAI 接觸的,或者其餘成員是如何被選中的。在週二發表的一篇網誌文章中,諮詢小組成員馬丁·海爾爾詳細闡述了該小組的起源及其背後的思考,回應他所稱的圍繞其成立的“虛假資訊的洪流”。“顯然,人工智能已經對數學研究產生了深遠的影響,並提出了許多正確歸屬思想、優先權、人類對思想理解等問題,”他寫道,並補充說社群中沒有必要“採取硬性的‘鴕鳥’方式,簡單地忽視人工智能實驗室並原則上拒絕與他們交談。”

雖然承認該小組是因應 OpenAI 的接觸而成立,海爾爾強調並非所有成員都曾被該公司聯繫,並且所形成的組織“真正獨立於 OpenAI 和任何其他所謂的‘前沿’人工智能實驗室。”除了“明顯的保密要求”外,他表示成員並未簽署任何限制性協議來約束他們可以公開發言的內容,並補充說他們沒有獲得任何財務補償,並依賴 IAS 提供技術支持。“另一個基本事實是,我們的總體目標是盡可能代表數學社群的利益,”海爾爾寫道,他是倫敦帝國學院和洛桑聯邦理工學院(EPFL)的數學教授。雖然指出該小組幾乎不是社群的代表性樣本,但他表示他“絕對確信我們九個人都非常認真對待這一點,並且是出於善意行事。”無論成員是如何被選中的,該小組目前由一批精英學術數學家組成。由於該小組規模小,進一步引發了關於其是否具備評估所有來自數學前沿的專業知識的問題,因為在數學的前沿運作需要高度專業化的技能和知識。

即將成為蘇格蘭赫瑞瓦特大學數學教授的 Francesco Fournier-Facio 形容自己對這個小組的看法相當「矛盾」,他表示與數學家之間的更大互動「只會讓事情變得更好」。但他質疑這個小組是否完全反映了那些因 OpenAI 追求數學獎項而受到影響的社群的工作和生計。他告訴《邊緣》,「這感覺像是一座象牙塔。」

Machado 同樣質疑這個小組的成員是否完全理解,或能夠針對更廣泛的數學社群在人工智能方面的擔憂發聲。他表示:「他們是了不起的數學家,但我不知道他們是否是我想在更政治問題上代表我的人。」對於處於類似精英地位的數學家來說,Machado 說:「我認為他們所面對的現實與大多數數學家目前所面對的現實非常不同。」這個小組能否贏得數學家的信任,最終將決定它在應對 OpenAI 最近在宣布結果方面的失誤,以及更重要的是,減輕該公司即將宣布的內容所帶來的影響的有效性。

在他的網誌中,Hairer 表示,成員「如果相信人工智能實驗室不會試圖以適合他們公關機器的方式來扭曲我們所說的話,那將是非常天真的,這種公關機器的規模遠超過我們可能想出來的任何東西。」儘管如此,Hairer 辯稱,既然 OpenAI 顯然正在努力,特別是在如此多批評該公司行為和溝通不善之後,不參與將是虛偽的。他表示,該小組尚未確定其打算提供的建議,但它正在回應一個明確的問題:「事實是,人工智能公司在最近幾個月內產生了一些高知名度的數學結果,而它們的發布和傳播遠遠低於可接受的數學實踐,無論這是如何定義的。」

目前,Hairer 表示該小組正在通過與同事的對話、公開反饋表單以及在 Proofs and Prompts 上的討論來收集意見,這是一個已經成為數學家面對人工智能對該領域影響的關鍵論壇的網誌。但該小組最大的挑戰可能還在前面。當宣布顧問小組時,OpenAI 隨意透露了其新未發布模型的消息——該模型已經解決了 Navier-Stokes 千禧獎問題——現在「已經解決了超過 100 個長期存在的開放問題,涵蓋大多數數學領域。」它之前曾表示正在接近另一個千禧獎問題。

在其網站上,該小組表示,處理這一瓶頸是其首要任務:「我們目前面臨的非常具體挑戰是就如何協調發布大量重要數學結果提供建議,這些結果據報導是由他們的內部模型產生的。」部分原因是,這項新努力旨在與數學家互動,承認其嘗試所帶來的巨大公關災難,該公司發現自己不得不抵禦指控,指責其搶先研究人員的成果,未能給予其模型所依賴的人類工作的信用,甚至從使用其模型的人那裡竊取成果。這些爭議使許多數學家懷疑該公司是否理解——甚至尊重——它所闖入的學科和社群。

在過去幾個月裡,隨著有如此多的文章討論數學家想要什麼,倫敦帝國學院的數學教授 Kevin Buzzard 想知道為什麼 OpenAI 感覺需要這樣一個精英團體來理解社群的需求。他說:「這不是難定理的證明,而是對我們學科的更好理解。對我來說,並不完全清楚你是否需要一個由傑出人士組成的委員會來強調這一點。」