人工智能時代背景下數(shù)字媒體藝術(shù)教育的多模態(tài)實踐體系研究

摘  要：隨著人工智能技術(shù)的爆發(fā)式演變，數(shù)字媒體藝術(shù)教育正經(jīng)歷從“軟件技法導(dǎo)向”向“多模態(tài)驅(qū)動”的深層轉(zhuǎn)型。當前，傳統(tǒng)數(shù)字媒體藝術(shù)教學(xué)在應(yīng)對智能化浪潮時，存在過于依賴特定軟件操作、媒介聯(lián)動不足以及審美決策缺失等問題。為解決這些問題，本研究立足于人工智能背景下多模態(tài)創(chuàng)作的演變趨勢，通過剖析實時生成影像、聲畫深度耦合以及快速迭代篩選等案例，揭示了數(shù)字媒體藝術(shù)設(shè)計的創(chuàng)作核心從動手制作向邏輯設(shè)定與審美決策遷移的必然性。在此基礎(chǔ)上，本文提出人工智能輔助下多模態(tài)實踐教學(xué)策略：通過以文字為起點的跨媒介轉(zhuǎn)換練習，結(jié)合實際場地的交互效果調(diào)試以及高頻率的方案比選迭代，構(gòu)建起一套集意圖引導(dǎo)、數(shù)據(jù)驅(qū)動與實地調(diào)試為一體的新型實踐體系。研究表明，該體系能夠有效提升受教育者統(tǒng)籌多模態(tài)素材的實戰(zhàn)能力，為培養(yǎng)適應(yīng)智能化產(chǎn)業(yè)需求、具備扎實藝術(shù)判斷力的數(shù)字媒體專業(yè)人才提供可行的路徑參考。

　　關(guān)鍵詞：生成式人工智能；數(shù)字媒體藝術(shù)教育；多模態(tài)

　　人工智能背景下數(shù)字媒體藝術(shù)教育的局限

　　隨著數(shù)字化、智能化的普及，當前智能工具已滲透到包括策劃、生產(chǎn)、用戶在內(nèi)的數(shù)字媒體產(chǎn)業(yè)的各個關(guān)鍵環(huán)節(jié)，其中，人工智能在輔助創(chuàng)意生成、自動化建模及提升設(shè)計效率方面展現(xiàn)出巨大潛力。數(shù)字技術(shù)驅(qū)動下的數(shù)字媒體藝術(shù)的本質(zhì)在于其綜合性、交互性和媒介的交叉融合及不斷演變。生成式人工智能的介入，極大地增強了數(shù)字媒體藝術(shù)教育中圖片、視頻、音頻、三維建模等不同媒介形式之間的實時聯(lián)動。因此，數(shù)字媒體藝術(shù)教育的既有模式正面臨適應(yīng)性挑戰(zhàn)[1]，當前的教育邏輯多建立在軟件操作與線性流程的基礎(chǔ)之上，強調(diào)對數(shù)字工具的熟練掌握[2]。隨著生成式人工智能的極速發(fā)展和融入，這種側(cè)重技法傳授的模式在應(yīng)對創(chuàng)意需求時，局限性逐漸浮現(xiàn)。

　　☆生成式人工智能的角色演變

　　在傳統(tǒng)的數(shù)字媒體藝術(shù)教學(xué)體系中，各種專業(yè)軟件通常被視為實現(xiàn)創(chuàng)作者構(gòu)思的基礎(chǔ)工具，學(xué)生投入大量時間練習的是如何精準地操作“菜單、參數(shù)和時間軸等功能”。然而，生成式人工智能的出現(xiàn)在一定程度上重構(gòu)了這種人機協(xié)作關(guān)系。人工智能不再僅僅是執(zhí)行指令的工具，而是能夠基于模糊文本提示詞語的輸入，生成海量、多樣化甚至超乎想象的創(chuàng)意素材，成為創(chuàng)作者的創(chuàng)意來源。在教學(xué)中，當人工智能能瞬間完成高精度的技術(shù)加工時，如果學(xué)生還是將重心放在精確繪制、精確建模方面，輸出能力會被計算機算法超越。因此，教育的重點需要從“如何使用工具精細地制作內(nèi)容”轉(zhuǎn)向“如何與人工智能進行有效的對話、篩選、迭代和整合，以實現(xiàn)更高層次的藝術(shù)構(gòu)想”。學(xué)生要學(xué)習的不再是孤立的技術(shù)操作，而是包括文本描述、創(chuàng)意聯(lián)想、創(chuàng)意應(yīng)用、審美判斷在內(nèi)的綜合素養(yǎng)，進而通過準確的文字描述，引導(dǎo)人工智能產(chǎn)出符合創(chuàng)作者需求的內(nèi)容，并從中篩選出符合項目需求的素材內(nèi)容。

　　☆人工智能對多模態(tài)融合的促進作用

　　傳統(tǒng)數(shù)字媒體藝術(shù)教學(xué)按照媒介種類將相關(guān)模態(tài)類型分為視覺設(shè)計、音頻剪輯設(shè)計、三維動態(tài)設(shè)計等，學(xué)生在創(chuàng)作時普遍缺乏統(tǒng)籌意識，往往先創(chuàng)作畫面，再隨意導(dǎo)入音樂片段，最后生硬地加入點擊交互。這種創(chuàng)作習慣使作品的各個感官維度間缺乏深層的數(shù)據(jù)聯(lián)系和情感共鳴。生成式人工智能技術(shù)的發(fā)展正在打破這種媒介壁壘，不同感官通道的信息可以實現(xiàn)轉(zhuǎn)換和映射。在當下的數(shù)字展演與交互敘事項目中，多模態(tài)特征化已經(jīng)成為核心。例如一段文本可以生成圖像，圖像可以生成動態(tài)影像且驅(qū)動聲音合成，聲音可以轉(zhuǎn)化為動態(tài)視覺形態(tài)。這種跨模態(tài)的生成與交互能力，正是當代數(shù)字媒體藝術(shù)裝置、沉浸式體驗和交互敘事的核心。這就要求學(xué)生必須具備多模態(tài)素材聯(lián)動構(gòu)建的能力[3]。因此，現(xiàn)代數(shù)字媒體藝術(shù)教學(xué)必須超越單一媒介的訓(xùn)練，轉(zhuǎn)向培養(yǎng)學(xué)生構(gòu)建多模態(tài)系統(tǒng)的能力。

　　人工智能背景下多模態(tài)創(chuàng)作模式的演變

　　分析當前博物館、科技館等數(shù)字媒體藝術(shù)項目可以發(fā)現(xiàn)，創(chuàng)作者的工作重心已不再是單純的軟件技術(shù)輸出，而是轉(zhuǎn)向?qū)γ浇殚g聯(lián)動邏輯的構(gòu)建。

　　☆從預(yù)渲染影像向?qū)崟r生成影像的演變

　　在傳統(tǒng)的數(shù)字媒體展示中，影像內(nèi)容通常是預(yù)先渲染好的固定視頻文件。但在人工智能技術(shù)的干預(yù)下，這一模式發(fā)生了根本性改變。以近年來流行的沉浸式數(shù)字藝術(shù)展為例，部分作品不再播放預(yù)制的視頻，而是通過人工智能算法根據(jù)現(xiàn)場環(huán)境實時計算畫面。例如，2023年有學(xué)者運用大型語言模型驅(qū)動的人工智能打造了“共創(chuàng)游戲”，讓體驗者與人工智能對話中的關(guān)鍵詞在后續(xù)游戲中轉(zhuǎn)化為戰(zhàn)斗裝備，實現(xiàn)互動敘事中文本到圖像的轉(zhuǎn)換。2024年香港大學(xué)科學(xué)技術(shù)學(xué)院的學(xué)者通過“我點亮你”這一裝置作品，探索了利用光敏電阻捕捉到的光線作為物理數(shù)據(jù)，結(jié)合由語言模型驅(qū)動的人工智能，構(gòu)建了一個新興的互動敘事框架。2025年，有學(xué)者推出了ImaginateAR（想象式增強現(xiàn)實技術(shù)），這個工具可以讓用戶通過自然語言交互創(chuàng)建戶外場景供用戶篩選。在這些案例中，創(chuàng)作者需要通過輸入的風格化指令，并設(shè)定畫面的演變規(guī)則，讓系統(tǒng)在展覽現(xiàn)場自動產(chǎn)出動態(tài)影像。這證明了多模態(tài)創(chuàng)作的核心在于如何利用語言邏輯去驅(qū)動視覺形態(tài)。這一演變趨勢直接提示我們，數(shù)字媒體藝術(shù)教育如果不加強學(xué)生對藝術(shù)意圖的準確表達，而只練習軟件操作，將無法參與此類高層級的項目創(chuàng)作。

　　☆聲音與視覺模態(tài)的深度耦合

　　2019年谷歌推出的交互式算法，可以讓人工智能進行音樂創(chuàng)作；2024年，國外的實證研究證明，人工智能可以為音樂教育提供更具有包容性的環(huán)境，提高學(xué)生的表現(xiàn)力。近年來，越來越多的研究采用生成式人工智能來輔助影視、游戲項目中的聲音設(shè)計[4]，人工智能可生成奇幻、非現(xiàn)實的創(chuàng)作元素。在多模態(tài)創(chuàng)作中，聲音素材不僅可以作為場景音、效果音使用，還可以實現(xiàn)不同感官數(shù)據(jù)的自動化轉(zhuǎn)換。在當代交互裝置藝術(shù)中，人工智能可用于處理聲音信號與視覺畫面之間的復(fù)雜映射。例如，在某些高水平的數(shù)字交互項目中，創(chuàng)作者利用人工智能分析現(xiàn)場麥克風采集到的音頻頻率、振幅及情感基調(diào)，瞬間將其轉(zhuǎn)化為視覺上的幾何形變或色彩流動。在這種創(chuàng)作場景下，聲音和畫面不再是后期拼湊的關(guān)系，而是由同一套數(shù)據(jù)邏輯實時生成的共生關(guān)系。由此可以看到，多模態(tài)創(chuàng)作要求創(chuàng)作者具備跨媒介的技術(shù)視野，能夠理解聲音數(shù)據(jù)是如何轉(zhuǎn)化為視覺參數(shù)的。這種行業(yè)實務(wù)的演變，要求我們在教育過程中必須打破音視頻剪輯的學(xué)科藩籬，引導(dǎo)學(xué)生從數(shù)據(jù)底層去思考媒介間的聯(lián)動。

　　☆生產(chǎn)力爆發(fā)背景下的審美決策和復(fù)合型人才培養(yǎng)

　　在商業(yè)化的影視前期開發(fā)和數(shù)字展演方案設(shè)計中，人工智能帶來的最大演變是生產(chǎn)力的爆發(fā)現(xiàn)象。為迎合這種生產(chǎn)鏈條，很多高校在數(shù)字媒體藝術(shù)教學(xué)中對人工智能的發(fā)展進行了相應(yīng)的課程改革。例如河北省文化藝術(shù)科學(xué)和旅游研究項目“河北省文旅融合視角下人工智能賦能高校復(fù)合型傳媒人才培養(yǎng)機制研究”的研究者發(fā)現(xiàn)，高校數(shù)字媒體專業(yè)人才的培養(yǎng)目標應(yīng)該及時更新，將人工智能技術(shù)與數(shù)字媒體專業(yè)相結(jié)合，“發(fā)揮人工智能的技術(shù)優(yōu)勢”，引導(dǎo)學(xué)生利用人工智能進行方案的快速篩選。

　　人工智能輔助下數(shù)字媒體藝術(shù)教育多模態(tài)實踐教學(xué)的策略

　　針對前文提到的教學(xué)局限，數(shù)字媒體藝術(shù)教育應(yīng)當在作業(yè)設(shè)置、實驗流程及效果評估上進行調(diào)整。通過人工智能工具，將圖片、音頻、視頻等教學(xué)內(nèi)容串聯(lián)起來，讓學(xué)生在具體的項目練習中掌握多模態(tài)的創(chuàng)作方法。

　　☆以項目為導(dǎo)向的多模態(tài)素材生成

　　在以往的教學(xué)中，學(xué)生往往直接上手畫草圖或找素材，缺乏對核心想法的深度推敲。在人工智能介入后的實踐中，應(yīng)要求學(xué)生先通過文字說明定義作品的風格和內(nèi)容，詳細描述作品的畫面質(zhì)感、聲音氛圍和動作節(jié)奏。隨后，利用生成式工具將這些文字轉(zhuǎn)化為初始的圖像或動態(tài)片段。在這個過程中，學(xué)生會發(fā)現(xiàn)文字描述越籠統(tǒng)，生成的作品畫面就越亂；文字描述越準確，效果就越接近預(yù)想。這種練習讓學(xué)生明白，文字不只是為了寫說明書，而是控制多種媒介素材的核心依據(jù)。通過反復(fù)修改文字描述來調(diào)整圖像和視頻的效果，學(xué)生能學(xué)會如何統(tǒng)籌多種感官要素，使作品的視覺和聽覺不再是脫節(jié)的。

　　☆結(jié)合實際場地的交互效果調(diào)試

　　數(shù)字媒體藝術(shù)最終要放在展廳或其他實際場地里。教學(xué)中應(yīng)要求學(xué)生離開電腦屏幕，去考慮作品在真實環(huán)境里的表現(xiàn)。在這一環(huán)節(jié)，應(yīng)安排學(xué)生在實際的展覽空地或教室內(nèi)進行測試。學(xué)生需要利用感應(yīng)裝置收集場地里的信息，比如觀眾走到了哪個位置，或者場地里的燈光明暗程度。通過人工智能工具，學(xué)生可以將采集到的這些信息設(shè)定為觸發(fā)條件，讓畫面產(chǎn)生相應(yīng)的變化。例如，當有人走近時，投影出來的畫面顏色變深或動作變快。在調(diào)試過程中，學(xué)生需要面對最實際的問題：感應(yīng)器是否靈敏、畫面的變化是否生動、觀眾能否看懂這種變化。這種練習能讓學(xué)生從單純地做數(shù)字作品轉(zhuǎn)向?qū)嶋H體驗，學(xué)會如何利用數(shù)據(jù)讓數(shù)字作品與現(xiàn)實環(huán)境產(chǎn)生真實的關(guān)聯(lián)。

　　☆方案的快速篩選

　　人工智能工具最大的用處是能夠快速出圖、出視頻，為教學(xué)中的方案比選提供便利。過去學(xué)生畫一個方案要一兩周，很難推倒重來；現(xiàn)在可要求學(xué)生在短時間內(nèi)拿出三套甚至五套完全不同風格的方案。在作業(yè)環(huán)節(jié)，應(yīng)強制要求學(xué)生進行方案迭代。第一版方案生成后，老師和同學(xué)共同指出不足，學(xué)生根據(jù)反饋，在保留核心想法的基礎(chǔ)上，利用工具迅速生成第二版、第三版。這種做法能讓學(xué)生從對單張畫面的糾結(jié)中解脫出來，把精力放在整體邏輯和表達意圖上。學(xué)生在反復(fù)比選和修改中，能看清不同風格、不同處理方式的優(yōu)劣差異。通過這種高頻率的練習，學(xué)生處理多模態(tài)素材的能力迅速提高，能更快地找到最合適的技術(shù)手段實現(xiàn)自己的創(chuàng)意。通過這種方式，能有效糾正學(xué)生重軟件而輕視整體效果的傾向，讓學(xué)生真正掌握在人工智能背景下創(chuàng)作數(shù)字媒體藝術(shù)的實在本領(lǐng)。

　　結(jié)語

　　人工智能時代下，數(shù)字媒體藝術(shù)教育的轉(zhuǎn)型不是為了趕時髦，而是為了解決生產(chǎn)效率和創(chuàng)意深度不匹配的實際問題。通過對教學(xué)邏輯和實踐策略的調(diào)整，我們可以讓受教育者從煩瑣的技術(shù)細節(jié)中抽身，去思考更核心的藝術(shù)問題。這種多模態(tài)實踐體系的構(gòu)建，要求我們在教學(xué)中既要利用好人工智能的高效優(yōu)勢，又要堅持對學(xué)生基本功和審美判斷的培養(yǎng)。未來的數(shù)字媒體藝術(shù)教育，應(yīng)當讓學(xué)生既能熟練使用智能工具，又能在面對復(fù)雜的創(chuàng)作需求時，具有清晰的思路和扎實的執(zhí)行能力。只有這樣，才能培養(yǎng)出適應(yīng)產(chǎn)業(yè)變化、具備真才實學(xué)的數(shù)字媒體專業(yè)人才。

文章來源：《大河美術(shù)報》http://www.00559.cn/w/qk/35647.html