請教老師,縫紉機凈眼機地線咋穿?
問 “ChatGPT,人工智能會如何發(fā)展?”
答
“人工智能的行業(yè)落地將繼續(xù)加速,今后會更加廣泛應用于工業(yè)、消費、金融、醫(yī)療、交通、教育、政府等多個領域?!?/em>
今天,你和ChatGPT聊天了嗎?它僅僅開發(fā)13天就匆匆上線,卻在兩個月就獲得過億用戶。這一基于AI的產品持續(xù)火熱出圈,在社會各界引發(fā)越來越多的熱情。以此為契機,業(yè)界對于人工智能技術也展開新討論,特別是大模型的創(chuàng)建和學習能力成為關注的焦點。
一 AI技術變革:算法、算力、數(shù)據
目前,預訓練技術(Pre-Trained Model)是人工智能研究的重要突破口。傳統(tǒng)的研究方法中,標注成本一直是阻礙AI算法推向更大數(shù)據集合的障礙;預訓練技術不依賴數(shù)據標注,就可以訓練出一個大規(guī)模深度學習模型。全球AI團隊選擇兒童電視節(jié)目《芝麻街》中的木偶人物來命名各種新預訓練算法,比如Elmo、Bert、Ernie等。
在對預訓練模型的各種不同的技術評測中,算法性能展示了一個規(guī)律:數(shù)據規(guī)模越大、預訓練模型參數(shù)越多,算法輸出精度往往也越高。隨著技術的突破,模型規(guī)模的不斷增長,其展現(xiàn)出的能力潛力和豐富的應用場景激發(fā)了更多的企業(yè)和研究機構投身其中。超級模型除了可以消化更大規(guī)模的數(shù)據,也需要消耗更高的算力。
OpenAI公司對人工智能算法訓練所消耗的算力做了一個統(tǒng)計,結果發(fā)現(xiàn),從2012年到2020年,人工智能模型訓練消耗的算力增長了三十萬倍,平均每3.4個月翻一番,這超過了摩爾定律的每18個月翻番的增長速率,人工智能技術成為推動IT技術發(fā)展的新的動力引擎。
二 全球AI技術發(fā)展格局:中美領跑
從2019年開始,AI大模型突然爆發(fā),參數(shù)規(guī)模以指數(shù)級的快速增長。從2014年到2018年,AI模型參數(shù)規(guī)模還在一億的數(shù)量級上下浮動。
2019年2月,OpenAI的GPT-2達到了15億參數(shù)規(guī)模
2020年6月,GPT-3達到了1750億參數(shù)的規(guī)模
2021年1月,谷歌大腦推出了1.6萬億參數(shù)規(guī)模超級模型,再次刷新規(guī)模記錄
中國本土技術團隊也加入到這一場人工智能技術競賽中。阿里巴巴達摩院在2020年初啟動中文多模態(tài)預訓練模型M6項目,同年6月推出3億參數(shù)的基礎模型。2021年1月,模型參數(shù)規(guī)模到達百億,已經成為世界上最大的中文多模態(tài)模型;2021年5月,具有萬億參數(shù)規(guī)模的模型正式投入使用,追上了谷歌的發(fā)展腳步;2020年10月,M6的參數(shù)規(guī)模擴展到10萬億,成為當時全球最大的AI預訓練模型[1]。
不少中國企業(yè)和研究機構也積極研發(fā)投入中文預訓練大模型項目。在人工智能超級大模型的這條數(shù)據、算法和算力三輪同時驅動的技術賽道上,中美兩國技術團隊已經形成了“兩架馬車”的發(fā)展模式,不斷刷新人工智能能力規(guī)模上的邊界線。
基于AMiner科技情報系統(tǒng)的數(shù)據[2],根據AIGC領域知識圖譜(AIGC領域知識圖譜及關鍵詞參見附件1)進行檢索,利用文獻計量方法,我們對2012年到2021年期間全球發(fā)表的AIGC高質量論文(論文引用量排名前1%)做比較,共計1,646篇論文入選。在AIGC高質量論文領域,中國和美國數(shù)量幾乎持平,并大幅度領先其他國家。
從發(fā)展趨勢上看,在AIGC領域,中國有后來者居上、超越美國的趨勢。
在更大的數(shù)字技術領域,中國在高價值論文部分,同發(fā)達國家仍有不小差距[3],未來需要產、學、研一起努力,共同推動中國數(shù)字技術向價值鏈高端躍升。
三 AI產業(yè)發(fā)展:資本與人才
深藍打敗了卡什帕羅夫、AlphaGo戰(zhàn)勝了李世石……對于業(yè)內人士來說,這些曾經轟動一時的現(xiàn)象級技術進步,僅僅是完成固定任務的弱人工智能。開發(fā)具有跨領域學習能力的強人工智能技術才是人類努力的終極目標。常識學習、跨領域模型遷移、小樣本和零樣本學習……一個個技術的攔路虎擋在通往強人工智能的技術道路上,而人工智能超級模型給這條道路照亮了前方。
OpenAI為訓練GPT-3超級模型投入了1200萬美元的成本。在人工智能超級模型的賽道上,賽手需要掌握海量的數(shù)據、超大規(guī)模的人工智能計算平臺以及掌握核心技術能力的算法團隊,三者缺一不可。這也許側面解釋了在追求人工智能技術最前沿的賽道上,目前只出現(xiàn)了美國和中國技術團隊的身影。中美兩國在人工智能技術領域形成了激烈的競爭格局。數(shù)據、算法和算力是這一輪人工智能技術浪潮的三輪驅動引擎。中國擁有全世界最大的互聯(lián)網和移動互聯(lián)網用戶規(guī)模,在數(shù)據領域讓我國具有毋庸置疑的領先地位,互聯(lián)網平臺企業(yè)也構建出極具競爭力的算力平臺和算法團隊。
在斯坦福大學HAI研究所發(fā)布的2021 全球AI指數(shù)報告中[4],2020年全球盡管受新冠疫情拖累,在各方面的經濟發(fā)展都受到極其負面的影響。人工智能領域的發(fā)展卻一枝獨秀,相關投資仍然在大幅增加,2020年私人資本在人工智能領域的投資比前一年增加了9.3%,遠高于疫情前2019年5.7%的增長率。在資金方面,美國仍然是人工智能私人資本的最大目的地,2020年總投資超過230億美元,是中國相關資金99億美元的兩倍多。
近日發(fā)布的《2023全球數(shù)字科技發(fā)展研究——科技人才儲備實力研究報告》[5],對包括AI在內的各國數(shù)字科技人才儲備情況做了全面比較。結果顯示,與美國相比,中國數(shù)字科技人才基數(shù)大,但存在高層次人才少、凈流出數(shù)量多以及人才集中在高校而不是企業(yè)等問題,中國在鞏固數(shù)字科技人才方面的工作任重道遠。
四 ChatGPT的未來:腦力的解放
OpenAI公司應該也沒有想到ChatGPT會一夜爆紅,這款對話機器人(chatbot)產品不僅開發(fā)時間短,模型也沒有構建在OpenAI即將發(fā)布的最新一代GPT4模型之上,而是采用了上一代的GPT3的增強模型[6]。
不過,從生成式AI技術(Generative AI或AIGC)的發(fā)展趨勢來看,ChatGPT這一類現(xiàn)象級應用的橫空出世與迅速爆紅卻并不意外。隨著AI大模型技術的不斷成熟,AIGC技術已經走出實驗室,應用場景也已經從初始的文本生成發(fā)展到多模態(tài)領域:
在圖文創(chuàng)作、代碼生成、3D模型設計、3D動畫制作等領域,生成式AI技術展示著深厚的潛力,其應用邊界也將隨著技術的進步與成本的降低擴展到更多領域。
高科技投機機構方舟投資(ARK Invest)發(fā)布的報告[11]預測,以AIGC為代表的新一代人工智能技術將輔助知識工作者(包括教師、律師、醫(yī)生、財務、程序員等白領職業(yè))提高工作效率。報告預測,到 2030 年,AI 將大幅提高知識工作者的工作效率,平均工作效率增加140%,新一代人工智能技術將有可能大幅度降低腦力勞動者的工作強度。如果這一切成為現(xiàn)實,或將是繼人類歷史上由于動力革命而擺脫繁重的體力勞動之后,人類社會發(fā)生的又一次偉大的技術革命。
答
“人工智能的行業(yè)落地將繼續(xù)加速,今后會更加廣泛應用于工業(yè)、消費、金融、醫(yī)療、交通、教育、政府等多個領域?!?/em>
今天,你和ChatGPT聊天了嗎?它僅僅開發(fā)13天就匆匆上線,卻在兩個月就獲得過億用戶。這一基于AI的產品持續(xù)火熱出圈,在社會各界引發(fā)越來越多的熱情。以此為契機,業(yè)界對于人工智能技術也展開新討論,特別是大模型的創(chuàng)建和學習能力成為關注的焦點。
一 AI技術變革:算法、算力、數(shù)據
目前,預訓練技術(Pre-Trained Model)是人工智能研究的重要突破口。傳統(tǒng)的研究方法中,標注成本一直是阻礙AI算法推向更大數(shù)據集合的障礙;預訓練技術不依賴數(shù)據標注,就可以訓練出一個大規(guī)模深度學習模型。全球AI團隊選擇兒童電視節(jié)目《芝麻街》中的木偶人物來命名各種新預訓練算法,比如Elmo、Bert、Ernie等。
在對預訓練模型的各種不同的技術評測中,算法性能展示了一個規(guī)律:數(shù)據規(guī)模越大、預訓練模型參數(shù)越多,算法輸出精度往往也越高。隨著技術的突破,模型規(guī)模的不斷增長,其展現(xiàn)出的能力潛力和豐富的應用場景激發(fā)了更多的企業(yè)和研究機構投身其中。超級模型除了可以消化更大規(guī)模的數(shù)據,也需要消耗更高的算力。
二 全球AI技術發(fā)展格局:中美領跑
從2019年開始,AI大模型突然爆發(fā),參數(shù)規(guī)模以指數(shù)級的快速增長。從2014年到2018年,AI模型參數(shù)規(guī)模還在一億的數(shù)量級上下浮動。
2020年6月,GPT-3達到了1750億參數(shù)的規(guī)模
2021年1月,谷歌大腦推出了1.6萬億參數(shù)規(guī)模超級模型,再次刷新規(guī)模記錄
中國本土技術團隊也加入到這一場人工智能技術競賽中。阿里巴巴達摩院在2020年初啟動中文多模態(tài)預訓練模型M6項目,同年6月推出3億參數(shù)的基礎模型。2021年1月,模型參數(shù)規(guī)模到達百億,已經成為世界上最大的中文多模態(tài)模型;2021年5月,具有萬億參數(shù)規(guī)模的模型正式投入使用,追上了谷歌的發(fā)展腳步;2020年10月,M6的參數(shù)規(guī)模擴展到10萬億,成為當時全球最大的AI預訓練模型[1]。
不少中國企業(yè)和研究機構也積極研發(fā)投入中文預訓練大模型項目。在人工智能超級大模型的這條數(shù)據、算法和算力三輪同時驅動的技術賽道上,中美兩國技術團隊已經形成了“兩架馬車”的發(fā)展模式,不斷刷新人工智能能力規(guī)模上的邊界線。
基于AMiner科技情報系統(tǒng)的數(shù)據[2],根據AIGC領域知識圖譜(AIGC領域知識圖譜及關鍵詞參見附件1)進行檢索,利用文獻計量方法,我們對2012年到2021年期間全球發(fā)表的AIGC高質量論文(論文引用量排名前1%)做比較,共計1,646篇論文入選。在AIGC高質量論文領域,中國和美國數(shù)量幾乎持平,并大幅度領先其他國家。
數(shù)據來源:AMiner科技情報平臺
從發(fā)展趨勢上看,在AIGC領域,中國有后來者居上、超越美國的趨勢。
數(shù)據來源:AMiner科技情報平臺
在更大的數(shù)字技術領域,中國在高價值論文部分,同發(fā)達國家仍有不小差距[3],未來需要產、學、研一起努力,共同推動中國數(shù)字技術向價值鏈高端躍升。
說明:論文檢索時間范圍為2012年1月至2021年12月
數(shù)據來源:AMiner科技情報平臺
三 AI產業(yè)發(fā)展:資本與人才
深藍打敗了卡什帕羅夫、AlphaGo戰(zhàn)勝了李世石……對于業(yè)內人士來說,這些曾經轟動一時的現(xiàn)象級技術進步,僅僅是完成固定任務的弱人工智能。開發(fā)具有跨領域學習能力的強人工智能技術才是人類努力的終極目標。常識學習、跨領域模型遷移、小樣本和零樣本學習……一個個技術的攔路虎擋在通往強人工智能的技術道路上,而人工智能超級模型給這條道路照亮了前方。
在斯坦福大學HAI研究所發(fā)布的2021 全球AI指數(shù)報告中[4],2020年全球盡管受新冠疫情拖累,在各方面的經濟發(fā)展都受到極其負面的影響。人工智能領域的發(fā)展卻一枝獨秀,相關投資仍然在大幅增加,2020年私人資本在人工智能領域的投資比前一年增加了9.3%,遠高于疫情前2019年5.7%的增長率。在資金方面,美國仍然是人工智能私人資本的最大目的地,2020年總投資超過230億美元,是中國相關資金99億美元的兩倍多。
數(shù)據來源:AMiner科技情報平臺。
近日發(fā)布的《2023全球數(shù)字科技發(fā)展研究——科技人才儲備實力研究報告》[5],對包括AI在內的各國數(shù)字科技人才儲備情況做了全面比較。結果顯示,與美國相比,中國數(shù)字科技人才基數(shù)大,但存在高層次人才少、凈流出數(shù)量多以及人才集中在高校而不是企業(yè)等問題,中國在鞏固數(shù)字科技人才方面的工作任重道遠。
四 ChatGPT的未來:腦力的解放
OpenAI公司應該也沒有想到ChatGPT會一夜爆紅,這款對話機器人(chatbot)產品不僅開發(fā)時間短,模型也沒有構建在OpenAI即將發(fā)布的最新一代GPT4模型之上,而是采用了上一代的GPT3的增強模型[6]。
不過,從生成式AI技術(Generative AI或AIGC)的發(fā)展趨勢來看,ChatGPT這一類現(xiàn)象級應用的橫空出世與迅速爆紅卻并不意外。隨著AI大模型技術的不斷成熟,AIGC技術已經走出實驗室,應用場景也已經從初始的文本生成發(fā)展到多模態(tài)領域:
谷歌旗下的Deepmind公司推出了自主編程應用AlphaCode,在 Codeforces 舉辦的編程比賽中,超過了 45.7% 的人類參賽者[7]
OpenAI開發(fā)的另一款圖片生成應用DALL·E-2,入選了時代雜志評選的2022年度最佳發(fā)明[8]
英偉達開發(fā)了一款3D模型生成工具Magic3D,用戶輸入文本描述就可以自動生成結構極其復雜的3D模型[9]
阿里巴巴達摩院多模態(tài)大模型M6,利用文本輸入可以自動驅動人體3D模型的動作合成[10]
在圖文創(chuàng)作、代碼生成、3D模型設計、3D動畫制作等領域,生成式AI技術展示著深厚的潛力,其應用邊界也將隨著技術的進步與成本的降低擴展到更多領域。
高科技投機機構方舟投資(ARK Invest)發(fā)布的報告[11]預測,以AIGC為代表的新一代人工智能技術將輔助知識工作者(包括教師、律師、醫(yī)生、財務、程序員等白領職業(yè))提高工作效率。報告預測,到 2030 年,AI 將大幅提高知識工作者的工作效率,平均工作效率增加140%,新一代人工智能技術將有可能大幅度降低腦力勞動者的工作強度。如果這一切成為現(xiàn)實,或將是繼人類歷史上由于動力革命而擺脫繁重的體力勞動之后,人類社會發(fā)生的又一次偉大的技術革命。