OpenAI于近期發(fā)布第三代文生圖大模型DALL·E 3，可以在ChatGPT上加載使用；隨后，Meta推出AnyMAL，同樣能夠理解圖片并可生成文本回應。一系列文生圖產(chǎn)品的推出，使得多模態(tài)熱度大增。

AI大模型生態(tài)正向縱深演化。純文本交互已經(jīng)不能滿足智能感知的全部需求，還需要結合音頻、視覺、圖片等形式。逐鹿大模型的互聯(lián)網(wǎng)巨頭及科技公司加緊開發(fā)多模態(tài)應用，進一步釋放AIGC生產(chǎn)力。

創(chuàng)新算法底層邏輯

“所有行業(yè)都值得用AI重做一遍”，在大模型對各行各業(yè)進行顛覆性重構的路上，面對不同場景的交互需求，除了傳統(tǒng)的文本之外，還需要云服務廠商將其模態(tài)應用向圖片、語音、視頻、代碼等形式轉化。

這個過程絕非易事?？此坪唵蔚慕换ィ澈笳蔑@的是多個AI技術的綜合能力。

其中一大難題就是每種模態(tài)都具有特定的特征提取和分析方法，這需要創(chuàng)新算法和技術來處理不同模態(tài)間的數(shù)據(jù)。以視頻形態(tài)來說，市面上一直缺少良好的方法充分理解視頻場景，所以很多產(chǎn)品都只能按照某種固定邏輯生成，無法真正理解視頻元素的含義。

日前，微軟與OpenAI就ChatGPT5交流談到，OpenAI將攻克的一大目標是通過對于算法底層邏輯的融合、創(chuàng)新，讓大模型能夠充分理解視頻內容以及各角色主體之間的關聯(lián)，從而能夠按照特定語境生成深層次的視頻內容。

再以音頻形態(tài)而言，不同于視頻重在對于多維信息的把握，音頻交互更強調對情感、意圖的充分掌握，由此語音識別的關鍵技術，是要充分捕獲情感、音色甚至是方言，從中準確地抓取關鍵信息。

在音頻-文本的交互領域，國內走在前沿的是百融云創(chuàng)。其自研的智能語音機器人ChatBOT基于Transformer架構搭建算法模型，對于語音識別的準確率達99%以上，能夠實現(xiàn)“真人級”互動體驗。同時，ChatBOT不僅僅是對話機器人，而是一個幫助實現(xiàn)端到端結果交付的智能體。ChatBOT直接關聯(lián)商業(yè)機構KPI，可以助力商業(yè)機構實現(xiàn)資產(chǎn)運營和用戶煥活流程的自動化。

而除了算法層面外，百融云創(chuàng)相關人士表示，多模態(tài)的智能交互對于模型的工程架構、響應速度、資源配置等均提出了更高要求，以文本-語音交互為例，需要依托深刻的行業(yè)理解沉淀出高質量配對的語料，才能實現(xiàn)流暢、準確的用戶交互。

率先破局“AI輔助研發(fā)”

隨著大模型進入拼落地、拼應用的下半場，為了讓AI技術更加融入千行百業(yè)，多模態(tài)領域勢必會以更快的速度發(fā)展革新。

目前來看，多模態(tài)的主流構建思路并不是重新訓練一個大模型，而是在已經(jīng)訓練好的大語言模型中“嵌入”圖像理解、語音識別等技術，也就是通過引入多模態(tài)的數(shù)據(jù)集來攻克跨領域的技術難點。例如，百融云創(chuàng)的產(chǎn)業(yè)大模型——BR-LLM便結合了NLP（自然語言處理）、智能語音等技術。

也有一些科技公司嘗試基于特定需求直接訓練多模態(tài)基礎模型。但不論采取怎樣的方式，毫無疑問大模型生態(tài)下半場已經(jīng)打開。業(yè)內人士認為，隨著模型能力的增強，AI應用范圍將不再局限于單一功能或者單個產(chǎn)品，而是會擴圍到更廣闊的應用場景。在這樣的背景下，能否快速、高效地將技術產(chǎn)品化，料成為決勝未來的關鍵因素。

此前，為了讓AI技術更加深入賦能垂直場景，百融云創(chuàng)優(yōu)化原有機器學習平臺ORCA，將其與生成式AI理念緊密結合，形成的全新產(chǎn)品ORCA-GPT可以利用BR-LLM的代碼生成能力，極大地降低模型產(chǎn)品開發(fā)部署的周期和成本。

同時，伴隨著與多模態(tài)發(fā)展相關的全新研究方向——“AI for Science”（AI輔助研發(fā)）逐漸嶄露頭角，百融云創(chuàng)率先捕捉到這一趨勢，依托BR-LLM基座，于近期推出了一款全新智能代碼生成助手——BR-Coder。

“BR-Coder將極大地提升程序員的開發(fā)效率，助力商業(yè)機構研發(fā)提質增效?！卑偃谠苿?chuàng)專家稱，BR-Coder不僅能生成研發(fā)代碼，還可以用于自動生成測試用例和單元測試、解答技術問題，在保障企業(yè)數(shù)據(jù)資產(chǎn)安全的同時，提升模型生成代碼的一次采用率。展望后續(xù)，BR-Coder會進一步增強與編譯環(huán)境的交互，為開發(fā)者提供更為全面和便捷的編程體驗。

免責聲明：市場有風險，選擇需謹慎！此文僅供參考，不作買賣依據(jù)。

關鍵詞：