·山姆·奧特曼表示，新的進步不會來自于讓模型變得更大，“我認為我們正處于巨型模型時代的末尾”。他的說法表明，GPT-4可能是OpenAI“使模型更大并為其提供更多數(shù)據(jù)”戰(zhàn)略中的最后一個重大進展。

(資料圖片)

人工智能開發(fā)機構OpenAI的首席執(zhí)行官山姆·奧特曼最近表示，ChatGPT的研究策略——巨型AI模型模式已經(jīng)結束，目前尚不清楚未來的進步究竟來自何處。

近年來，OpenAI通過采用現(xiàn)有的機器學習算法并將其擴展到以前無法想象的規(guī)模，取得了一系列令人印象深刻的進步。GPT-4是其推出的最新模型，可能使用了數(shù)萬億個文本單詞和數(shù)千個強大的計算機芯片訓練，整個過程耗資超過1億美元。

奧特曼上周在麻省理工學院舉行的一次活動中告訴觀眾，新的進步不會來自于讓模型變得更大?！拔艺J為我們正處于巨型模型時代的末尾。”他說，“我們會以其他方式讓它們變得更好?！?/p>

科技媒體《連線》4月17日報道稱，奧特曼的聲明表明，在開發(fā)和部署新AI算法的競賽中出現(xiàn)了意想不到的轉折。未來人工智能的進步將需要新的想法。

自OpenAI于去年11月推出ChatGPT以來，微軟利用底層技術為其必應搜索引擎添加了聊天機器人，而谷歌則推出了聊天機器人Bard。與此同時，包括Anthropic、AI21、Cohere和Character.AI在內的眾多資金充足的初創(chuàng)公司正在投入大量資源來構建更大的算法，以努力趕上OpenAI的技術。在中國，大批企業(yè)爭相公布大模型產(chǎn)品，試圖盡快擠入這個賽道。

奧特曼的聲明表明，GPT-4可能是OpenAI“使模型更大并為其提供更多數(shù)據(jù)”戰(zhàn)略中的最后一個重大進展。他沒有提出什么樣的研究策略或技術可能會取代它。在描述GPT-4的論文中，OpenAI估計，擴大模型規(guī)模的收益在遞減。奧特曼表示，企業(yè)可以建造的數(shù)據(jù)中心數(shù)量和建造速度也存在物理限制。

Cohere的聯(lián)合創(chuàng)始人尼克·弗羅斯特（Nick Frosst）表示，奧特曼的想法聽起來是對的。他也認為，Transformer（GPT-4及其競爭對手的核心機器學習模型類型）的進展超出了擴展范圍?！坝泻芏喾椒梢宰孴ransformer變得更好、更有用，而且很多方法不涉及向模型添加參數(shù)?！彼f，新的AI模型設計或架構，以及基于人類反饋的進一步調整是許多研究人員已經(jīng)在探索的有前途的方向。

在ChatGPT首次亮相后，技術專家推測GPT-4出現(xiàn)時將成為規(guī)模和復雜性令人眩暈的典范。然而，當OpenAI最終宣布GPT-4時，并沒有透露它的參數(shù)規(guī)模有多大——也許是因為規(guī)模不再是最重要的。在麻省理工學院的活動上，奧特曼被問及訓練GPT-4是否花費了1億美元，他回答說：“不止于此?！?/p>

在這個活動中，奧特曼也證實OpenAI目前沒有訓練GPT-5。他在回應呼吁暫停更高級AI訓練的公開信時表示， “這封信的早期版本聲稱OpenAI目前正在訓練GPT-5。我們沒有，而且一段時間內不會?！?/p>

作者：方曉來源：澎湃新聞