2023年12月12日，在2023第五屆智能座艙與用戶(hù)體驗(yàn)大會(huì)上，據(jù)合眾新能源汽車(chē)股份有限公司軟件開(kāi)發(fā)總工程師蔡勇介紹，語(yǔ)音作為座艙的第一交互方式，自2010年語(yǔ)音輸入法的推出開(kāi)始萌芽；2016年，語(yǔ)音助手的前裝上車(chē)開(kāi)始引起行業(yè)的關(guān)注。但直到2019年，行業(yè)推出“全場(chǎng)景的連續(xù)對(duì)話(huà)”才使得語(yǔ)音助手的發(fā)展走向成熟。2023年，大模型技術(shù)的出現(xiàn)將帶來(lái)新的賽道。

蔡勇表示，哪吒汽車(chē)的語(yǔ)音助手一直圍繞自然、全面、聰穎三個(gè)關(guān)鍵詞進(jìn)行設(shè)計(jì)。而大模型技術(shù)表現(xiàn)為通才、專(zhuān)業(yè)、自然三個(gè)特點(diǎn)。從C端來(lái)看，大模型將來(lái)個(gè)性化服務(wù)的變革，比如個(gè)性化頭像，昵稱(chēng)，情感陪伴；從B端來(lái)看，將主要實(shí)現(xiàn)降本增效，在文本、圖片、視頻、編程、報(bào)表等方面帶來(lái)助力。當(dāng)前，大模型上車(chē)仍處于萌芽期，在應(yīng)用上主打功能移植、以宣傳為主、與車(chē)的結(jié)合較少。

面向大模型的思考，蔡勇認(rèn)為大模型實(shí)現(xiàn)可以作為內(nèi)部工具使用，比如，可以進(jìn)行數(shù)據(jù)和評(píng)價(jià)上的應(yīng)用；當(dāng)前大模型上車(chē)還處于探索期，重點(diǎn)方向應(yīng)該是大模型要跟車(chē)場(chǎng)景結(jié)合；最后在成長(zhǎng)期，大模型將發(fā)揮“車(chē)大腦”的功能，進(jìn)行座艙功能的主動(dòng)執(zhí)行，并且是“最適合你”的。

蔡勇 | 合眾新能源汽車(chē)股份有限公司軟件開(kāi)發(fā)總工程師

以下為演講內(nèi)容整理：

首先簡(jiǎn)單介紹我們的公司——合眾新能源汽車(chē)股份有限公司。我們公司的Logo是由人、樹(shù)、泉三個(gè)元素疊合而成，這不僅體現(xiàn)了我們公司對(duì)大自然的敬畏，也象征著我們以人為本、與自然和諧共生的理念。

公司的品牌初心是為人民造車(chē)，這不僅僅是一句口號(hào)，更是我們對(duì)社會(huì)、對(duì)消費(fèi)者的承諾。我們的價(jià)值觀(guān)是“科技平權(quán)”，這四個(gè)字雖然簡(jiǎn)單，但卻承載著我們的使命和愿景。我們希望通過(guò)科技的力量，打破傳統(tǒng)豪華車(chē)與普通消費(fèi)者之間的壁壘，讓更多的人能夠享受到高品質(zhì)的汽車(chē)生活。

目前，我們公司推出了五款車(chē)型，包括哪吒V、哪吒U、哪吒S、哪吒GT以及剛剛上市的哪吒X。這些車(chē)型各具特色，滿(mǎn)足了不同消費(fèi)者的需求。 

圖源：演講嘉賓素材

車(chē)載語(yǔ)音現(xiàn)狀

接下來(lái)，和大家分享車(chē)載語(yǔ)音的發(fā)展歷程。作為一名從業(yè)多年的專(zhuān)業(yè)人士，我見(jiàn)證了車(chē)載語(yǔ)音從無(wú)到有、從簡(jiǎn)單到復(fù)雜的發(fā)展過(guò)程。2010年，隨著智能手機(jī)的普及，語(yǔ)音輸入法應(yīng)運(yùn)而生。那個(gè)時(shí)候，我們還在思考如何將語(yǔ)音技術(shù)應(yīng)用到汽車(chē)上。隨著技術(shù)的不斷進(jìn)步，車(chē)載語(yǔ)音助手逐漸成為現(xiàn)實(shí)。2016年，斑馬與上汽合作推出了eRX5車(chē)型，將語(yǔ)音助手前裝至車(chē)內(nèi)，實(shí)現(xiàn)了與整車(chē)功能的緊密結(jié)合，這標(biāo)志著一個(gè)新的時(shí)代的開(kāi)始。

然而，車(chē)載語(yǔ)音助手的發(fā)展并非一帆風(fēng)順。在2019年之前，語(yǔ)音助手的使用體驗(yàn)并不理想。每次只能執(zhí)行一個(gè)命令，無(wú)法連續(xù)對(duì)話(huà)；與車(chē)輛功能的結(jié)合也相對(duì)較少。直到行業(yè)在2019年推出了全場(chǎng)景連續(xù)對(duì)話(huà)功能，才真正解決了這些問(wèn)題。如今，頭部車(chē)企的語(yǔ)音助手都已經(jīng)具備了全場(chǎng)景連續(xù)對(duì)話(huà)的特點(diǎn)，這為用戶(hù)帶來(lái)了更加便捷、智能的用車(chē)體驗(yàn)。未來(lái)，隨著技術(shù)的不斷突破，車(chē)載語(yǔ)音助手將會(huì)迎來(lái)更加廣闊的發(fā)展空間。新的賽道、新的產(chǎn)品將會(huì)不斷涌現(xiàn)，為用戶(hù)帶來(lái)更加美好的生活體驗(yàn)。

圖源：演講嘉賓素材

接下來(lái)，以哪吒汽車(chē)的語(yǔ)音助手為例，與大家探討2019年之后所呈現(xiàn)出的幾個(gè)重要特點(diǎn)。我們的云助手產(chǎn)品始終堅(jiān)守三個(gè)核心理念：自然、全面和聰穎。

首先是“自然”，這涉及到交互的自然流暢性。其中，喚醒速度是一個(gè)關(guān)鍵因素。經(jīng)過(guò)大量的優(yōu)化工作，我們?cè)诤献骰锇榈拇�碼基礎(chǔ)上實(shí)現(xiàn)了行業(yè)領(lǐng)先的喚醒速度，端到端僅需300毫秒。我們采用目前最先進(jìn)的流式理解技術(shù)，實(shí)現(xiàn)字詞的邊識(shí)別邊理解。這就像人們?cè)趯?duì)話(huà)時(shí)，每說(shuō)一個(gè)字或詞，大腦都在對(duì)其進(jìn)行處理。

今年10月，我們OTA成功推送了“兩字喚醒”功能，只需簡(jiǎn)單的“哪吒”命令，無(wú)需再添加“你好”�？蛻�(hù)普遍反饋這種簡(jiǎn)化方式更為友好。實(shí)踐證明，只要下定決心，技術(shù)難題都可以克服。

其次，我們的語(yǔ)音助手實(shí)現(xiàn)了70%的車(chē)控功能全覆蓋。無(wú)論是打開(kāi)車(chē)窗、調(diào)節(jié)音量還是其他控制功能，用戶(hù)都可以通過(guò)語(yǔ)音助手輕松實(shí)現(xiàn)。在“可見(jiàn)即可說(shuō)”方面，我們也做到了全覆蓋。去年2月，我們推出了“圖片可見(jiàn)即可說(shuō)”功能，用戶(hù)只需用自然語(yǔ)言描述圖片，助手就能識(shí)別并與之互動(dòng)。今年5月，我們?cè)俅我�領(lǐng)行業(yè)潮流，推出了更先進(jìn)的多模態(tài)語(yǔ)音交互功能。例如，當(dāng)副駕駛乘客要求聽(tīng)歌或看視頻時(shí)，語(yǔ)音助手會(huì)根據(jù)OMS攝像頭捕捉到的副駕駛視線(xiàn)所及的屏幕，自動(dòng)切換到相應(yīng)的中控屏或副駕屏。這大大提升了用戶(hù)體驗(yàn)和交互的自然性。

最后是“聰穎”。語(yǔ)音導(dǎo)航的自學(xué)習(xí)。盡管目前的語(yǔ)音識(shí)別技術(shù)在準(zhǔn)確率方面取得了顯著進(jìn)步，但對(duì)于某些特定的POI地點(diǎn)，尤其是新出現(xiàn)的地點(diǎn)，仍然存在一定挑戰(zhàn)。例如，上海的金科中心，其名字中的“金”和“晶”的發(fā)音對(duì)于普通人來(lái)說(shuō)，可能難以通過(guò)發(fā)音區(qū)分清楚。為了解決這一問(wèn)題，我們開(kāi)發(fā)了一項(xiàng)自學(xué)習(xí)技術(shù)。當(dāng)用戶(hù)首次使用語(yǔ)音導(dǎo)航，識(shí)別出錯(cuò)時(shí)，只需手動(dòng)發(fā)起導(dǎo)航至該地點(diǎn)，系統(tǒng)便會(huì)自學(xué)習(xí)成功。下次再導(dǎo)航至同一地點(diǎn)時(shí)，系統(tǒng)將自動(dòng)調(diào)整語(yǔ)音識(shí)別結(jié)果，從而提高語(yǔ)音導(dǎo)航的準(zhǔn)確性。

語(yǔ)音使用量是一個(gè)關(guān)鍵指標(biāo)，它反映了語(yǔ)音產(chǎn)品對(duì)車(chē)輛貢獻(xiàn)的價(jià)值。為了更直觀(guān)地展示語(yǔ)音助手的價(jià)值，我向大家分享一組關(guān)于我們公司用戶(hù)數(shù)據(jù)的統(tǒng)計(jì)結(jié)果。在我們的用戶(hù)群體使用中，“意圖使用量”達(dá)到800+。與其他企業(yè)相比，我們的用戶(hù)特點(diǎn)呈現(xiàn)出較弱的“長(zhǎng)尾效應(yīng)”。這意味著用戶(hù)的需求分布相對(duì)均勻，而不僅僅是集中在少數(shù)幾個(gè)常用功能上。例如，后視鏡調(diào)節(jié)、座椅加熱、打開(kāi)后備箱等功能的語(yǔ)音使用率都很高，而不僅僅局限于空調(diào)、音樂(lè)等頭部效應(yīng)的功能。這種多樣化的需求分布使得語(yǔ)音助手在功能覆蓋方面更具挑戰(zhàn)性，同時(shí)也更加有價(jià)值。

另一個(gè)值得關(guān)注的數(shù)據(jù)是平均日活躍率。我們?nèi)栈钴S率的下限是80%，這在國(guó)內(nèi)同行中并不容易實(shí)現(xiàn)。有些同行可能會(huì)將一些不必要的主動(dòng)交互計(jì)入日活率，例如上車(chē)時(shí)的問(wèn)候語(yǔ)等。而我們定義的日活率是必須基于用戶(hù)主動(dòng)喚醒語(yǔ)音助手執(zhí)行任務(wù)的場(chǎng)景。這意味著每天有80%的車(chē)輛在行駛過(guò)程中主動(dòng)使用了語(yǔ)音助手來(lái)完成各種任務(wù)。同時(shí)，每輛車(chē)平均使用有效指令的下限是10次，這些指令涵蓋了從空調(diào)調(diào)節(jié)、座椅調(diào)整到音樂(lè)播放等各種功能。

想象一下，駕駛員每天駕駛車(chē)輛的時(shí)間大約為2小時(shí)，其中來(lái)回各占1小時(shí)。在這段時(shí)間里，駕駛員需要處理許多與駕駛相關(guān)的任務(wù)，如調(diào)節(jié)空調(diào)、座椅等。而我們的語(yǔ)音助手能夠協(xié)助完成十項(xiàng)任務(wù)，這意味著它為駕駛員節(jié)省了大量的時(shí)間和精力。

大模型的三大特點(diǎn)——通才、專(zhuān)業(yè)和自然

從使用者的角度，大模型具備三大特點(diǎn)：通才、專(zhuān)業(yè)和自然。

首先，通才。GPT采用全社會(huì)的語(yǔ)料學(xué)習(xí)，這意味著它在知識(shí)的廣度上具有顯著優(yōu)勢(shì)。它知道的內(nèi)容涵蓋了各個(gè)方面，無(wú)論是娛樂(lè)、教育還是專(zhuān)業(yè)領(lǐng)域的知識(shí)，都能夠給予較為準(zhǔn)確的回應(yīng)。

其次，專(zhuān)業(yè)。大模型在覆蓋面很廣的情況下，也能夠在每個(gè)領(lǐng)域表現(xiàn)出深刻理解。目前，GPT3.5已經(jīng)可以看作是一個(gè)全科畢業(yè)生，具備扎實(shí)的基礎(chǔ)知識(shí)。而當(dāng)GPT發(fā)展到4.0、5.0等更高版本時(shí)，它將成為全科博士畢業(yè)生，知識(shí)水平和理解能力將達(dá)到新的高度。我了解到，今年年底Open AI將推出GPT4.5，我們有望見(jiàn)證更為震撼的表現(xiàn)。

最后，自然。大模型的交流方式非常自然，就像人與人之間的對(duì)話(huà)一樣。使用者不需要采用特殊的專(zhuān)業(yè)術(shù)語(yǔ)與模型溝通，只需使用日常語(yǔ)言即可。這種自然的交流方式使得大模型在各個(gè)領(lǐng)域的應(yīng)用更加廣泛，不僅限于AI領(lǐng)域。

對(duì)于2C和2B兩個(gè)領(lǐng)域來(lái)說(shuō)，大模型的影響和價(jià)值是顯而易見(jiàn)的。

從C的角度來(lái)看，大模型能夠帶來(lái)個(gè)性化體驗(yàn)。例如，現(xiàn)在市面上有一些創(chuàng)業(yè)公司利用大模型為用戶(hù)生成個(gè)性化的職業(yè)照、證件照或頭像等。這些服務(wù)都與個(gè)性化息息相關(guān)，滿(mǎn)足了用戶(hù)對(duì)于獨(dú)特性和定制化的需求。

此外，大模型在工具類(lèi)應(yīng)用中也表現(xiàn)出色。例如，微軟推出的Copilot工具可以幫助用戶(hù)更高效地使用復(fù)雜的軟件，如Office和幻燈片等。這種工具類(lèi)應(yīng)用能夠大大提高用戶(hù)的生產(chǎn)力和效率，使工作變得更加便捷和高效。

在B端領(lǐng)域，大模型的作用更加突出。它就像電力一樣，為生產(chǎn)和生活帶來(lái)了效率的大幅提升。例如，在文本創(chuàng)作方面，大模型可以自動(dòng)生成文章、摘要等文本內(nèi)容，大大減輕了寫(xiě)作者的負(fù)擔(dān)。在視頻生成方面，大模型可以根據(jù)給定的劇本或小視頻片段自動(dòng)生成后續(xù)內(nèi)容，極大地提高了視頻創(chuàng)作的效率。

圖源：演講嘉賓素材

此外，大模型在編程和報(bào)表能力方面也表現(xiàn)出色。對(duì)于企業(yè)而言，報(bào)表的生成是一項(xiàng)重要的任務(wù)。而有了大模型的支持，報(bào)表的生成將變得更加高效和準(zhǔn)確。這不僅可以提高企業(yè)的運(yùn)營(yíng)效率，還可以為企業(yè)決策提供更加可靠的數(shù)據(jù)支持。

接下來(lái)，我將對(duì)大模型的現(xiàn)狀進(jìn)行簡(jiǎn)要的探討。自2022年大模型推出以來(lái)，目前仍處于萌芽期。然而，何時(shí)結(jié)束這一階段，我暫時(shí)無(wú)法給出明確的答案。但我認(rèn)為，一個(gè)重要的標(biāo)志是當(dāng)具有強(qiáng)烈感知能力的智能場(chǎng)景落地時(shí)，這一階段才算告一段落。尤其需要注意的是與車(chē)輛緊密相關(guān)的智能場(chǎng)景。

大模型上車(chē)現(xiàn)狀

目前，國(guó)內(nèi)在大模型上車(chē)方面呈現(xiàn)出三個(gè)顯著特點(diǎn)：

第一，以功能移植為主。簡(jiǎn)單將手機(jī)或電腦上的大模型直接移植到車(chē)上，而不考慮其與車(chē)輛的契合度。

第二，以PR宣傳為主。企業(yè)過(guò)度強(qiáng)調(diào)自己在車(chē)輛上應(yīng)用了大模型，而忽略了實(shí)際的應(yīng)用效果和用戶(hù)體驗(yàn)。

第三，與車(chē)輛功能的結(jié)合較少。大部分已上車(chē)的大模型應(yīng)用與車(chē)輛的實(shí)際功能并無(wú)太大關(guān)聯(lián)，如娛樂(lè)八卦、天文地理、歷史知識(shí)、情感聊天、兒童教育、成語(yǔ)故事等。雖然這些內(nèi)容對(duì)于豐富駕駛體驗(yàn)有一定作用，但它們與車(chē)輛的核心功能并無(wú)直接關(guān)聯(lián)。

現(xiàn)在整個(gè)行業(yè)都面臨著降本增效的壓力，資源有限。因此，企業(yè)要更加聚焦于真正與車(chē)輛功能相關(guān)的應(yīng)用場(chǎng)景，而不是過(guò)度追求PR效果。

我們對(duì)大模型的思考

首先，大模型可以作為內(nèi)部工具，提高工作效率。比如在語(yǔ)音團(tuán)隊(duì)中，我們有很多數(shù)據(jù)相關(guān)的工作，如準(zhǔn)備語(yǔ)料、數(shù)據(jù)增強(qiáng)等。而有了大模型后，這些工作變得異常輕松，大大提高了數(shù)據(jù)生成的質(zhì)量和效率。

再者，大模型還可以用于多語(yǔ)種翻譯。隨著車(chē)企的全球化戰(zhàn)略加速，多語(yǔ)言支持變得尤為重要。像我們公司即將進(jìn)軍泰國(guó)市場(chǎng)，我們需要泰語(yǔ)的語(yǔ)料支持。而大模型可以幫助我們快速、準(zhǔn)確地完成翻譯工作。

其次，大模型還可以應(yīng)用于自動(dòng)化標(biāo)注和自動(dòng)化評(píng)價(jià)等方面。例如，我們可以通過(guò)大模型對(duì)語(yǔ)音評(píng)價(jià)系統(tǒng)進(jìn)行優(yōu)化，讓它更好地完成用戶(hù)的任務(wù)。我們將用戶(hù)的埋點(diǎn)信息和上下文信息提供給大模型，讓它判斷任務(wù)是否完成。

最后，由于用戶(hù)的所有語(yǔ)音指令都會(huì)被記錄在日志中，我們可以通過(guò)大模型對(duì)這些日志進(jìn)行分析，挖掘出用戶(hù)的意圖和需求。例如，用戶(hù)可能希望通過(guò)語(yǔ)音調(diào)節(jié)氛圍燈，但我們的車(chē)型并未提供這一功能。通過(guò)大模型的分析，我們可以發(fā)現(xiàn)這一需求，進(jìn)而考慮是否需要加入這一功能。

圖源：演講嘉賓素材

對(duì)于在C端的應(yīng)用，我認(rèn)為目前還處于萌芽期。而結(jié)束這一階段的一個(gè)重要標(biāo)志將是與車(chē)輛相契合的智能場(chǎng)景落地。進(jìn)入探索期后，我們應(yīng)該重點(diǎn)關(guān)注語(yǔ)音功能與車(chē)場(chǎng)景和智能駕駛的深度融合，借助大模型使語(yǔ)音助手真正進(jìn)入成長(zhǎng)期。

從座艙的角度來(lái)看，希望大模型能夠助力我們實(shí)現(xiàn)全車(chē)的語(yǔ)音可控、全生態(tài)的語(yǔ)音融合以及全車(chē)機(jī)的語(yǔ)音支持。沒(méi)有大模型的幫助雖然也可以實(shí)現(xiàn)這些功能，但成本和效率將無(wú)法得到有效控制。而大模型的最大優(yōu)勢(shì)正是降本增效，這與當(dāng)前行業(yè)的核心需求高度契合。

在智能駕駛方面，語(yǔ)音與智能駕駛的結(jié)合已經(jīng)開(kāi)始顯現(xiàn)，但還處于初級(jí)階段。這主要是因?yàn)橹悄荞{駛尚未普及，因此沒(méi)有太多精力去考慮與語(yǔ)音的結(jié)合。但隨著智能駕駛的逐步普及，這種結(jié)合將變得更加緊密。例如，在自動(dòng)駕駛過(guò)程中，用戶(hù)可能因?yàn)樘厥庑枨蠖�產(chǎn)生的臨時(shí)干預(yù)路線(xiàn)或請(qǐng)求停車(chē)等操作，而這些都可以通過(guò)語(yǔ)音指令實(shí)現(xiàn)。大模型能夠?qū)④?chē)輛、道路和人的信息整合在一起，從而提供更加智能化的服務(wù)。

隨著大模型和語(yǔ)音助手的不斷滲透，當(dāng)整個(gè)汽車(chē)行業(yè)的智能化水平達(dá)到一定高度時(shí)，我們將進(jìn)入主推的成長(zhǎng)期。在這個(gè)階段，車(chē)輛能夠接收和處理的信息將大大增加，大模型的多模態(tài)輸入功能將得到充分應(yīng)用。這些信息包括車(chē)輛自身的傳感器信息、道路導(dǎo)航軟件提供的POI信息以及車(chē)外攝像頭捕捉到的圖像信息等。

圖源：演講嘉賓素材

通過(guò)將這些信息輸入到大模型中，我們可以獲得一個(gè)類(lèi)似于“車(chē)大腦”的功能。這個(gè)“車(chē)大腦”將主動(dòng)執(zhí)行最適合用戶(hù)的操作，包括車(chē)窗、空調(diào)、座椅、天窗、雨刷、車(chē)鎖等功能的調(diào)節(jié)。它能夠根據(jù)用戶(hù)的歷史信息和多模態(tài)輸入信息來(lái)做出最適合用戶(hù)的決策。例如，在駕駛過(guò)程中，用戶(hù)可以根據(jù)自己的需求選擇不同的駕駛模式，而“車(chē)大腦”將根據(jù)用戶(hù)的選擇主動(dòng)執(zhí)行相應(yīng)的操作。

總之，大模型在汽車(chē)行業(yè)的應(yīng)用前景廣闊，尤其是在語(yǔ)音系統(tǒng)方面，從而為用戶(hù)提供更加智能化、個(gè)性化的服務(wù)。相信隨著技術(shù)的不斷進(jìn)步和發(fā)展，大模型將在汽車(chē)行業(yè)中發(fā)揮越來(lái)越重要的作用，為人類(lèi)帶來(lái)更加智能、便捷的出行體驗(yàn)。

（以上內(nèi)容來(lái)自合眾新能源汽車(chē)股份有限公司軟件開(kāi)發(fā)總工程師蔡勇于2023年12月12日-13日在2023第五屆智能座艙與用戶(hù)體驗(yàn)大會(huì)發(fā)表的《大模型賦能的智能語(yǔ)音交互》主題演講。）