2月25日，上海人工智能實(shí)驗(yàn)室聯(lián)合商湯科技發(fā)布通用視覺開源平臺OpenGVLab，面向?qū)W術(shù)界和產(chǎn)業(yè)界開放其超高效預(yù)訓(xùn)練模型、超大規(guī)模公開數(shù)據(jù)集，以及業(yè)內(nèi)首個針對通用視覺模型的評測基準(zhǔn)。此舉將為全球開發(fā)者提升各類下游視覺任務(wù)模型訓(xùn)練提供重要支持，推動AI技術(shù)的規(guī)?；瘧?yīng)用落地，并促進(jìn)人工智能基礎(chǔ)研究及生態(tài)建設(shè)的快速發(fā)展。

目前OpenGVLab開源平臺（opengvlab.shlab.org.cn）已正式上線，與上海人工智能實(shí)驗(yàn)室此前發(fā)布的OpenMMLab、OpenDILab一道，共同構(gòu)筑開源體系OpenXLab，助力通用人工智能的基礎(chǔ)研究和生態(tài)構(gòu)建。

OpenGVLab開源平臺（opengvlab.shlab.org.cn）正式上線

“開源是一項(xiàng)意義非凡的工作，人工智能技術(shù)的迅速發(fā)展離不開全球研究開發(fā)人員十余年來的開源共建，共享共用。”上海人工智能實(shí)驗(yàn)室相關(guān)負(fù)責(zé)人表示，“希望通過發(fā)布OpenGVLab開源平臺，幫助業(yè)界更好地探索和應(yīng)用通用視覺方法，促進(jìn)體系化解決 AI 發(fā)展中數(shù)據(jù)、效率、泛化、認(rèn)知和安全等諸多瓶頸問題，為推動人工智能科研創(chuàng)新、產(chǎn)業(yè)發(fā)展作出貢獻(xiàn)。”

當(dāng)前，人工智能技術(shù)正快速發(fā)展，然而很多AI模型還局限于完成單一任務(wù)，如識別單一物體，或識別風(fēng)格較為統(tǒng)一的照片。如果要對多種類型、風(fēng)格進(jìn)行識別，則需要具備足夠的通用性和泛化能力。通用視覺技術(shù)體系“書生”（INTERN），很好地解決了這一問題。通用視覺開源平臺OpenGVLab即是基于“書生”打造而成。依托“書生”在通用視覺技術(shù)上的支撐，OpenGVLab將大幅降低通用視覺模型的開發(fā)門檻，幫助開發(fā)者用更低的成本快速開發(fā)用于成百上千種視覺任務(wù)、視覺場景的算法模型，高效實(shí)現(xiàn)對長尾場景的覆蓋，推動AI技術(shù)的規(guī)?；瘧?yīng)用落地。

率先開源：千萬級精標(biāo)注數(shù)據(jù)集、十萬級標(biāo)簽體系

OpenGVLab充分繼承了通用視覺技術(shù)體系“書生”的技術(shù)優(yōu)勢，其開源的預(yù)訓(xùn)練模型具備極高性能。相較于此前公認(rèn)的最強(qiáng)開源模型（OpenAI于2021年發(fā)布的CLIP），OpenGVLab的模型可全面覆蓋分類、目標(biāo)檢測、語義分割、深度估計四大視覺核心任務(wù)，在準(zhǔn)確率和數(shù)據(jù)使用效率上均取得大幅提升。

OpenGVLab開源模型推理結(jié)果：左側(cè)為輸入的圖片，右側(cè)為識別出來的標(biāo)簽

基于同樣的下游場景數(shù)據(jù)，開源模型在分類、目標(biāo)檢測、語義分割及深度估計四大任務(wù)26個數(shù)據(jù)集上，平均錯誤率分別降低了40.2%、47.3%、34.8%和9.4%；同時，在分類、檢測、分割和深度估計中，僅用10%的下游訓(xùn)練數(shù)據(jù)就超過了現(xiàn)有其他開源模型。使用此模型，研究人員可以大幅降低下游數(shù)據(jù)采集成本，用極低的數(shù)據(jù)量即可快速滿足多場景、多任務(wù)的AI模型訓(xùn)練。

同時，OpenGVLab還提供多種不同參數(shù)量、不同計算量的預(yù)訓(xùn)練模型，以滿足不同場景的應(yīng)用需求。在ImageNet的微調(diào)結(jié)果和推理資源、速度等方面，模型庫中列出的多個模型與之前的公開模型相比，均有不同程度的性能提升。

除了預(yù)訓(xùn)練模型，以百億數(shù)據(jù)總量為基礎(chǔ)，上海人工智能實(shí)驗(yàn)室構(gòu)建了超大量級的精標(biāo)注數(shù)據(jù)集。超大量級的精標(biāo)注數(shù)據(jù)集不僅整合了現(xiàn)有開源數(shù)據(jù)集，還通過大規(guī)模數(shù)據(jù)圖像標(biāo)注任務(wù)，實(shí)現(xiàn)了對圖像分類、目標(biāo)檢測以及圖像分割等任務(wù)的覆蓋，數(shù)據(jù)總量級近七千萬。開源范圍涵蓋千萬級精標(biāo)注數(shù)據(jù)集和十萬級標(biāo)簽體系。目前，圖像分類任務(wù)數(shù)據(jù)集已率先開源，后續(xù)還將開源目標(biāo)檢測任務(wù)等更多數(shù)據(jù)集。

同時開放的還有總標(biāo)簽量級達(dá)到十萬量級的超大標(biāo)簽體系，不僅幾乎覆蓋了所有現(xiàn)有開源數(shù)據(jù)集，還在此基礎(chǔ)上擴(kuò)充了大量細(xì)粒度標(biāo)簽，涵蓋各類圖像中的屬性、狀態(tài)等，極大豐富了圖像任務(wù)的應(yīng)用場景，顯著降低下游數(shù)據(jù)的采集成本。此外，研究人員還可以通過自動化工具添加更多標(biāo)簽，對數(shù)據(jù)標(biāo)簽體系進(jìn)行持續(xù)擴(kuò)展和延伸，不斷提高標(biāo)簽體系的細(xì)粒度，共同促進(jìn)開源生態(tài)繁榮發(fā)展。

業(yè)內(nèi)首發(fā)：通用視覺評測基準(zhǔn)推動產(chǎn)業(yè)化應(yīng)用

伴隨OpenGVLab的發(fā)布，上海人工智能實(shí)驗(yàn)室還開放了業(yè)內(nèi)首個針對通用視覺模型的評測基準(zhǔn)。當(dāng)前，行業(yè)中已有的評測基準(zhǔn)主要針對單一任務(wù)、單一視覺維度而設(shè)，無法反映通用視覺模型的整體性能，難以用于橫向比較。全新的通用視覺評測基準(zhǔn)憑借在任務(wù)、數(shù)據(jù)等層面的創(chuàng)新設(shè)計，可提供權(quán)威的評測結(jié)果，推動統(tǒng)一標(biāo)準(zhǔn)上的公平和準(zhǔn)確評測，加快通用視覺模型的產(chǎn)業(yè)化應(yīng)用步伐。

在任務(wù)設(shè)計上，OpenGVLab提供的通用視覺評測基準(zhǔn)創(chuàng)新地引入了多任務(wù)評測體系，可從分類、目標(biāo)檢測、語義分割、深度估計和行為識別等5類任務(wù)方向?qū)δＰ偷耐ㄓ眯阅苓M(jìn)行整體評估。不僅如此，該評測基準(zhǔn)新加了僅用測試數(shù)據(jù)集10%數(shù)據(jù)量的評測設(shè)定，可以有效評估通用模型在真實(shí)數(shù)據(jù)分布下的小樣本學(xué)習(xí)能力。在測試后，評測基準(zhǔn)還可根據(jù)模型的評測結(jié)果給出相應(yīng)的總分，方便使用者對不同的模型進(jìn)行橫向評測。

隨著人工智能與產(chǎn)業(yè)融合的不斷深入，行業(yè)對人工智能的需求逐漸從單一任務(wù)向復(fù)雜的多任務(wù)協(xié)同發(fā)展，亟需構(gòu)建開源、開放的體系，以滿足趨于碎片化和長尾化的海量應(yīng)用需求。2021年7月，上海人工智能實(shí)驗(yàn)室發(fā)布開源平臺體系OpenXLab，涵蓋新一代OpenMMLab和決策智能平臺OpenDILab。此次上海人工智能實(shí)驗(yàn)室與商湯科技聯(lián)合發(fā)布通用視覺開源平臺OpenGVLab，不僅將幫助開發(fā)者降低通用視覺模型的開發(fā)門檻，為推動通用視覺技術(shù)發(fā)展奠定基礎(chǔ)，也進(jìn)一步完善了OpenXLab開源體系，促進(jìn)人工智能的基礎(chǔ)研究和生態(tài)構(gòu)建。

上海人工智能實(shí)驗(yàn)室是我國人工智能領(lǐng)域的新型科研機(jī)構(gòu)，開展戰(zhàn)略性、原創(chuàng)性、前瞻性的科學(xué)研究與技術(shù)攻關(guān)，突破人工智能的重要基礎(chǔ)理論和關(guān)鍵核心技術(shù)，打造“突破型、引領(lǐng)型、平臺型”一體化的大型綜合性研究基地，支撐我國人工智能產(chǎn)業(yè)實(shí)現(xiàn)跨越式發(fā)展，目標(biāo)建成國際一流的人工智能實(shí)驗(yàn)室，成為享譽(yù)全球的人工智能原創(chuàng)理論和技術(shù)的策源地。