薛弘揚博士:首先提出視頻問答多模態任務研究者,推動 AI 技術發展實現應用落地
薛弘揚博士是多模態人機交互領域的專家,并于去年 12 月以合伙人身份加入一知智能,擔任虛擬人業務研發團隊負責人。薛博士畢業于浙江大學,在 2017 年與浙大人工智能所趙洲教授一起開創性地提出首個視頻問答這一重要的多模態任務,并在該領域取得了杰出的科研成果,然而在薛博士看來,研究成果終將需要載體實現落地才能發揮科技應有的價值,因此在畢業后一直致力于將 AI 應用于各行各業,讓科技變成真正有價值的生產力。
豐碩研究成果,開創視頻問答領域先河
自本科開始薛弘揚博士就在浙江大學計算機學院一路耕耘,后進入計算機輔助設計與圖形學(CAD&CG)國家重點實驗室直接攻讀博士學位,并受到何曉飛和蔡登教授的親自指導。在博士期間的研究成果豐碩,他的勤奮和才華也贏得了各項榮譽的認可,其中包括博士研究生國家獎學金、ARM 獎學金以及浙江省優秀畢業生等榮譽稱號。
薛博士專注于計算機視覺和多模態相關研究,深度探索 3D 計算機視覺、圖像補全、視頻問答等不同的研究方向。其中最引人矚目的是開篇提到的與趙洲教授聯手,共同提出的視頻問答這一重要的多模態任務,后來相繼創新性地提出一系列創新性的注意力機制,如統一注意力機制和基于語法樹上注意力機制的模型等,在視頻問答這個領域取得了當時 SOTA 的研究成果,并在 CCF A 類期刊與會議上發表多篇論文。這一系列的研究成果為薛弘揚博士后來的職業生涯奠定了基礎,近幾年已被廣泛應用于多個場景領域,實現了科研成果的商業轉化。
薛博士正進行研究工作
以 AI 賦能游戲,打造智能決策新高度
博士畢業后,薛弘揚博士將熱情和智慧投入人工智能領域最前沿,即強化學習的研究和應用,并以游戲為載體,探索 AI 在智能決策中的理論與實踐。而且他的眾多研究成果都已被廣泛應用于網易等知名公司的游戲產品中,為游戲注入了優秀的陪玩機器人和競技 AI,賦予游戲更豐富的趣味性。這不僅在用戶粘性和游戲收益上有顯著提升,更是節省了傳統游戲陪玩機器人開發所需的大量人力和資源。這種方式大幅降低了開發游戲 AI 的成本,進一步提升整體效能,為整個游戲產業帶來了無法估量的價值。
薛弘揚博士也正是在這一期間,開始實現把學術界的最新成果逐漸應用于實際的游戲 AI 問題中,摸索并構建了一整套落地的方法論和流程。同時,在谷歌于 2020 年舉辦的全球 AI 足球比賽(GRF)中,薛弘揚博士憑借其強化學習算法,成功指導隊伍在全世界千余支隊伍中取得了令人矚目的第四名成績,這再次證明了他在 AI 領域的優秀實力和前瞻視野,也代表著薛博士一直以來追求的技術與應用的鏈接更進了一步。
薛博士正在研讀文獻
數字人算法研究成果引領行業進步
除了探索人工智能在游戲領域的應用,在加入一知智能后的薛博士開始積極投身于數字人產品的相關算法技術研究。其研究內容涵蓋了語音驅動口型、人臉生成、人臉融合、AIGC 等多個方面,并且大量的研究成果已經成功轉化到公司的數字人相關產品中。更值得一提的是,薛博士在短短數月內,就攻破了目前數字人音唇同步準確率不高的難題。
在數字人產品中,語音和圖像兩個模態特征的融合與關聯能力是決定音唇同步準確率的關鍵。由薛弘揚博士主導自研的數字人算法模型,可以精準地將不同模態特征進行關聯,而且特征關聯的模塊具備強大的泛化能力,僅需少量數據進行模型訓練,數字人便能實現業界領先的音唇同步效果,其同步精度達到了近乎 99.9%,超過業界其他同類型產品,這在國內屬于頂尖水平。
此外,算法同時具備極高的泛化能力和魯棒性,能夠支持全球一百多種語言,即使在使用外語語音驅動的情況下,數字人的效果也與漢語沒有差異。并且該算法還能兼容包含背景噪聲、背景音樂的語音,在這些情況下,大部分時候也能合成非常逼真的數字人視頻,滿足在歌唱等多樣化場合的應用需求。不僅如此,該數字人算法還能支持實時交互,能夠在用戶察覺不到的延遲內,與人進行流暢自然的溝通,達到與真人無異的效果。目前,該創新研究成果已經應用于一知智能的數字人產品中,包含短視頻制作、數字人直播等,其效果贏得了業界同行與用戶的一致稱贊和好評。
一知智能芽勢數字人自今年 3 月推出以來已憑借其獨特優勢迅速占領市場高地,渠道網絡覆蓋全國各個省份,為各大品牌賦能。通過與各類企業的深度合作,芽勢數字人已在短短幾月內實現了多元化業務的拓展和應用,這都得益于薛博士和一知智能團隊的創新研發和不斷努力。
薛博士和一知小伙伴
推動數字人技術發展,助力社會進步
未來,薛弘揚博士表示將繼續致力于數字人相關算法的研究與優化,不斷提高數字人的智能性和真實度。他希望通過降低數字人運行成本,使這項技術成為新時代與每個人息息相關的基礎設施,讓所有人都能體驗到數字人所帶來的便利。
薛弘揚博士堅信,數字人技術能夠有效提高社會整體的生產效率,減少日常溝通所需的成本,從而推動社會進步,作為浙大?一知聯合研究中心主任的他也期待有更多人能和自己一起投身于這項具有深遠影響的科研工作中,將智能時代的數字勞動真正轉變為促進共享發展、實現人類解放的勞動新形態。
廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節省甄選時間,結果僅供參考,早報網所有文章均包含本聲明。
隨便看看:
網友評論:
推薦使用友言、多說、暢言(需備案后使用)等社會化評論插件