大型語言模型向人們展示了一條通向通用人工智能的嶄新路徑。復旦大學MOSS語言模型開發(fā)者、自然語言處理實驗室邱錫鵬教授近日在發(fā)表在大學公眾號上的一篇深度訪談中預測，未來5到10年，人們會像現(xiàn)在接受搜索引擎一樣，接受通用人工智能。

長期以來，巨頭公司都在致力于打造通用型人工智能（AGI），ChatGPT如此強大的語言模型讓技術人員看到了希望。所謂AGI，是指人工智能可以理解或學習人類能完成的任何智力任務的能力。

(資料圖片)

邱錫鵬表示：“中國要想站在大型語言模型或者將來的通用人工智能等技術的最前沿，就必須要建設自己的語言模型基座。”

他表示，MOSS的定位是自然語言處理領域乃至是通用人工智能領域最前沿的探索。“也許工業(yè)界更看重它的落地性能，而我們更看重它的下一代發(fā)展，即如何實現(xiàn)通用人工智能。”邱錫鵬表示。

據(jù)介紹，復旦MOSS開發(fā)近百人的團隊中，大型語言模型基座研究相關的學生超過30人。

業(yè)內(nèi)普遍相信，AGI能夠解決世界上面臨的最難的問題，將會成為AI史上最重要的技術發(fā)展，有可能重塑人類發(fā)展的軌跡。

早在2019年，微軟和OpenAI在合作之初就曾表示，雙方的目標是讓通用人工智能與人合作，共同解決目前棘手的跨領域、跨專業(yè)的問題，包括氣候變化、個人健康、以及教育等全球的挑戰(zhàn)。

OpenAI首席執(zhí)行官山姆·阿爾特曼（Sam Altman）日前在《福布斯》雜志的采訪中談及公司是否已經(jīng)接近實現(xiàn)通用人工智能的問題時表示否認，但他稱“朝著AGI的方向發(fā)展是驅動OpenAI所有行動的推動力”。

阿爾特曼說道：“我不認為我們已經(jīng)快要實現(xiàn)AGI了。我最近一直在思考我們?nèi)绾沃繟GI會何時實現(xiàn)的問題。在過去五年多里，我對AGI的認知是它不會一蹴而就，將是一個漸進的過程，或者說是緩慢起飛，但我?guī)缀跛械男袆颖澈蠖际鞘芩寗印?rdquo;

邱錫鵬認為，國外開發(fā)者不太可能以中文為主去發(fā)展他們的模型，中國要想開發(fā)一個大型語言模型的基座，用于國內(nèi)的信息處理，就必須建設一個中文能力非常強的大型語言模型。

盡管MOSS在參數(shù)規(guī)模上和ChatGPT相比小一個量級，但邱錫鵬表示，開發(fā)MOSS模型，是想在百億規(guī)模參數(shù)上探索和驗證ChatGPT的技術路線，以證明中國團隊在技術實現(xiàn)上并不落后于國外。“我們想證明，在有限的資源下，也能做出類ChatGPT模型。”他說道。

與ChatGPT相比，MOSS除了參數(shù)較小之外，迭代能力也有所不同。在邱錫鵬看來，用戶量越大，交互數(shù)據(jù)越多，模型的迭代能力就越強。ChatGPT作為新一輪人工智能賽跑的領跑者，已經(jīng)基于模型和大量數(shù)據(jù)實現(xiàn)了“飛輪效應”，拉開了與其他大模型在事實類知識儲備上的差距。

不過他強調(diào)，人們在關注大型語言模型的時候，更應該看重它的理解能力、學習能力以及思維能力，而不是看重它的事實類知識儲備。“如果從邏輯類能力來看，我覺得MOSS的表現(xiàn)其實還不錯。”邱錫鵬表示。

在他看來，規(guī)模較小的模型也可以找到特定的應用場景，例如可以在企業(yè)內(nèi)部私有部署，經(jīng)過一些數(shù)據(jù)微調(diào)就可以轉化為生產(chǎn)力。

在構建MOSS的數(shù)據(jù)語料方面，邱錫鵬表示，團隊已經(jīng)開始自己構造一些高質(zhì)量的中文數(shù)據(jù)，但仍需要時間。此外，MOSS還會開放接口并實現(xiàn)開源，把研究成果無償?shù)胤窒斫o學術界，在合法合規(guī)的前提下把研究成果開放給業(yè)界。