2023年3月31日- 4月2日，2023中國電動汽車百人會論壇在北京釣魚臺國賓館舉行。本次論壇將圍繞“推進(jìn)中國汽車產(chǎn)業(yè)現(xiàn)代化”主題，邀請各路代表，圍繞全球汽車產(chǎn)業(yè)發(fā)展形勢、新能源汽車高質(zhì)量發(fā)展路徑、中國智能網(wǎng)聯(lián)汽車發(fā)展戰(zhàn)略等多個話題展開討論。

　　在3月31日進(jìn)行的第三屆雙智論壇上，商湯科技聯(lián)合創(chuàng)始人、首席科學(xué)家、絕影智能汽車事業(yè)群總裁王曉剛發(fā)表了主題為“探討通用人工智能和多模態(tài)的大模型給智能汽車帶來的機(jī)遇和挑戰(zhàn)”的演講，以下是內(nèi)容摘要：

　　商湯科技聯(lián)合創(chuàng)始人、首席科學(xué)家、絕影智能汽車事業(yè)群總裁 王曉剛

　　各位同仁、各位嘉賓，大家上午!我是商湯科技王曉剛，新年伊始，像ChatGPT，還有GPTt-4掀起了通用人工智能的熱潮，這是一場新的技術(shù)革命，今天我也是非常有幸能有這個機(jī)會跟大家一起探討通用人工智能和多模態(tài)的大模型給智能汽車帶來的機(jī)遇和挑戰(zhàn)。

　　從2012年開始，過去十年人工智能的技術(shù)革命是以深度學(xué)習(xí)不斷去突破工業(yè)應(yīng)用的紅線為起點的，誕生了一系列的AI+場景的應(yīng)用。那么，基于每個場景都有不同的專屬的模型。這里面研發(fā)成本比較高，周期比較長。從2022年開始，在新的通用人工智能它是以非常高效的方式去解決海量的開放式的任務(wù)，更加去接近人的智能，而且能夠去產(chǎn)生有智慧的內(nèi)容，它也帶來了新的研究范式。那么，就是基于一個非常強(qiáng)大的多模態(tài)的AGI模型，通過強(qiáng)化學(xué)習(xí)和人的反饋去不斷解鎖這個模型它的新的能力。

　　什么是通用人工智能呢?我們可以跟現(xiàn)有的人工智能系統(tǒng)做一個比較，現(xiàn)有的人工智能也能夠接收多模態(tài)的數(shù)據(jù)，但是它輸出的任務(wù)都是事先定義好的。如果我想給這個系統(tǒng)去增加一個新的任務(wù)，我就要對系統(tǒng)進(jìn)行重新的設(shè)計，還要采集大量的樣本。在通用人工智能時代，我們通過輸入提示詞和多模態(tài)的數(shù)據(jù)，它可以去生成多模態(tài)的數(shù)據(jù)，更重要的它可以用自然語言去生成對任務(wù)的描述，自然語言可以以非常靈活的方式去覆蓋大量的長尾的問題和這種開放性的任務(wù)，甚至是一些主觀描述。比如說，在之前我們描述，通過人的外觀去做Human的search的時候，一個人工智能系統(tǒng)可能是有幾十個標(biāo)簽，我們做過實驗，如果要是用自然語言描述，我們可能有一萬多個詞，通過它們的組合去描述各種任務(wù)，實際上是非常強(qiáng)大，而且是靈活的。

　　那么，這里面舉一個，比如說在自動駕駛里面遇到的一個場景，一個例子。規(guī)定一個圖片，我們想去問我們是否需要減速?在上面，在我們現(xiàn)有的AI的系統(tǒng)里面，我們首先要做物體的檢測，能夠檢測物體框，里面做文字的識別，最后做這樣的一個決策。那么，這個所有的過程里面的每一個模塊都是事先定義好的任務(wù)，在通用人工智能下，給定圖像，我們只需要用自然語言去問這個圖像的問題，比方說，這個圖標(biāo)是什么意思，我們應(yīng)該做什么?那么，這個模型本身不會發(fā)生變化，它輸出就會通過自然語言的方式能夠給我們一系列的這種邏輯的推理，最后給我們結(jié)論。比如說，它可以告訴我們這里面的限速是30公里，前面100米是學(xué)校的區(qū)域，有小孩兒，你應(yīng)該去小心，能夠?qū)④囁俳邓俚?0公里以下等等這一些?？梢钥吹剑@都是一些開放式的新的任務(wù)，可以對我們?nèi)斯ぶ悄芟到y(tǒng)進(jìn)行一個非常大的變革。

　　通用人工智能還有非常強(qiáng)的一點，它能夠產(chǎn)生內(nèi)容，而且是有智慧的內(nèi)容。我們智能駕駛，或者自動汽車?yán)锩嫖覀冇?ldquo;數(shù)據(jù)飛輪”的說法，我們的模型能夠從駕駛終端采取高質(zhì)量的數(shù)據(jù)，對模型進(jìn)行更新，然后再去從終端提升數(shù)據(jù)的量和質(zhì)。其實在通用人工智能時代，它會有一個智慧的飛輪，這里面人和模型會產(chǎn)生互動，人會給模型輸入什么呢?去輸入Align With Human Intention，就是這個模型是很強(qiáng)大的，但是它其實不知道人需要它什么樣的能力。那么，通過人的這樣一個反饋，它就更好的能夠去理解人需要它展示什么樣的能力，而去解鎖這個模型更多的技能。同時，這個模型給人輸出的是什么呢?是有智慧的這樣的一個內(nèi)容。我們都知道，這些內(nèi)容會激發(fā)人的各種創(chuàng)作和智慧的產(chǎn)生這里面又會產(chǎn)生智慧的飛輪。但是，AGI對算力的需求是非常大的，我們可以看到ChatGPT一次訓(xùn)練的成本是上千萬的美金，今天它的推理的成本每天也有幾百萬美金高昂的成本在。

　　商湯我們從2021年在上海的臨港建立了我們AIDC的超算中心，實際上是在這方面也有提前的這樣的一個布局，有5000P的算力，1萬塊的A100，是大裝置，而且可以實行數(shù)千卡的大規(guī)模的并行的訓(xùn)練，奠定一個好的基礎(chǔ)。其實我們實際上是從2019年開始，從10億參數(shù)的視覺模型，到今天有320億最大規(guī)模的視覺的模型。我們在NLP領(lǐng)域，今天也有我們的SenseChat 1800億參數(shù)的模型，包括我們現(xiàn)在有能力去訓(xùn)練1800億參數(shù)的多模態(tài)的模型?；谶@個多模態(tài)的模型，我們還可以做內(nèi)容的生成，還可以做決策。所以，未來我們是通用人工智能是多模態(tài)的G模型可以做視覺的感知，語言的理解、內(nèi)容的生成和決策的推理。

　　商湯絕影是商湯下面做汽車的業(yè)務(wù)板塊，我們堅持駕艙云三位一體的這樣的一個發(fā)展的策略。我們希望能夠通過駕艙融合，帶來更好的駕艙體驗，我們的AI云能夠去為自動駕駛提供數(shù)據(jù)比混的服務(wù)，能夠為智能座艙提供成為第三的生活空間。同時，我們的AI語言也是為通用人工智能實現(xiàn)智能駕駛和智能座艙奠定了非常強(qiáng)大的基礎(chǔ)的設(shè)施。

　　我們可以看，在自動駕駛領(lǐng)域，現(xiàn)在主流的方式就是BEV是我們主流的技術(shù)路線，未來可以朝多模態(tài)、通用智能的方向發(fā)展，我們通過AIGC可以去生成困難的樣本，我們模型去輸入多模態(tài)的這樣的一些數(shù)據(jù)。在這里面，自動駕駛多模態(tài)的大模型可以做到感知和決策的一體化。輸出對3D的環(huán)境進(jìn)行重建，我們的行為解碼可以生成完整的路徑的規(guī)劃。同時，我們動機(jī)的解碼器可以用自然語言去描述我們推理的過程，使我們自動駕駛的系統(tǒng)變得可以解釋。

　　我們也是基于這些多模態(tài)的大模型可以做到數(shù)據(jù)的感知的閉環(huán)和決策的閉環(huán)，從前端自動的去采集高質(zhì)量的數(shù)據(jù)，利用大模型自動的數(shù)據(jù)的標(biāo)注，包括檢測，是產(chǎn)品的檢測，是能夠幾百倍的去提升我們模型迭代的效率和降低它的成本。

　　在智能座艙里面，通用人工智能使我們AGI模型具備空間環(huán)境的理解、用戶狀態(tài)的感知，多模態(tài)的指令，還有多輪對話，內(nèi)容生成等一系列的能力，它就可以去賦能，作為我們情緒的感知，智能助手，基于情感的對話、創(chuàng)意、內(nèi)容的生成，個性的交互等等這一系列不斷地去提升我們的個性化的體驗。也使我們的場景從上車、行車、停車、離車拓展到娛樂、辦公、購物、休息，這里面有很多的可以去探索的應(yīng)用的場景，時間關(guān)系我們就不再贅述了。

　　我想我們今天到了一個已經(jīng)是做到人機(jī)共駕，實際上智能汽車是通用智能實現(xiàn)閉環(huán)的一個非常好的場景，我們有人機(jī)共駕。未來我們希望車和模型之間能夠產(chǎn)生更有效的互動，那就完成了從人到車，到模型這樣的一個互動的閉環(huán)。能夠讓通用人工智能為我們提供更好的駕艙體驗，解鎖無限的想象空間。

　　最后，這個月商湯我們也在通用人工智能上面會有我們的技術(shù)產(chǎn)品日，去發(fā)布一系列的多模態(tài)的大模型，語言的大模型、感知的大模型等等，我們?nèi)ジ覀兊目蛻艉秃献骰锇橐黄疬~向通用的人工智能，謝謝大家!