Event Report

活動回顧|生成式樂器的適應性:破解人與樂器隔閡的作法

Generative music 的產生大量依靠創作者 coding 的方法以及想呈現的效果。逐步建構這部樂器的過程中,融入創作者的大量期待和想法。在多次討論 AI 於生成式音樂的應用後,除了電腦與傳統樂器協奏的可能性,Machine Learning 應用於「音樂表達」及「電音演出現場」的作法。

本次活動有軟體工程師、台灣人工智慧協會的研究員、部份表演藝術工作者、Creative Coding 愛好者、電音的創作者前來參與。我們邀請在 AI and Music Lab (https://musicai.citi.sinica.edu.tw)張欣嘉聊聊如何利用現有技術使「用音樂表達自己的情緒」的過程更為簡單與大眾化、互動系統開發者蔡鈞宇的指揮家手套與情緒表達的連結、也透過藝術家紀柏豪【荒物聲響】與【雙向傳輸】兩次演出中,試圖應用無所不在的網路於演出的當下與大眾產生的互動。

Machine Learning 能幫助到什麼?

在活動中,我們共討論了 6 個案例作品。音樂創作與表達自我的門檻之於大眾,通常如高牆一樣難以跨越。學習一項樂器需要長時間投入訓練,即便唱歌(以聲帶為樂器)也時常感受到因為缺乏練習而有沒有信心。存在於大眾與樂器之間的隔閡,如何提供想用音樂表達自我,而不受門檻限制?為此 machine learning 能幫助到什麼?張欣嘉提供了三個實驗,分別為 RUNN、drum-vae-client 、Sornting,以遊戲化元素讓大眾參與音樂創作。

在 machine learning 的應用中,我們常見經典內差生成,如下圖:以人臉內差例子,電腦能產生兩個臉中間的資料,讓中間的臉人看起和左右兩者都有一些相似。Sornting 是一個音樂內差的聆聽遊戲。在遊戲中玩家必須仔細聆聽前後兩段音樂的中間值為何,做出正確的內差排序。

Image source:https://crazyoscarchang.github.io/2018/11/13/agent-embeddings/

你也可以排序它嗎?試遊戲化的音樂的內差,在兩個曲子間產生中間的曲調:

Sornting = 🎸song + 🕵️‍♂️sort. A puzzle game based on a musical machine learning algorithm to interpolate different songs.https://vibertthio.com/sornting/

Runn 則是讓玩家在捲軸遊戲的跑跳中,欣賞電腦在遊戲過程中成生的音樂:

Runn = 🏃‍♂Run (side-scrolling game) + 🤖RNN . The player has to play the game generated by the RNN model.https://vibertthio.com/runn

商業應用的可能

利用 machine Learning,電腦依照個人喜好生成流暢、品質於一般水準之上的背景音樂,並且有可調控情緒值的可能。個人化音樂表達的如何服務大眾?張欣嘉提到的情境,例如手機內常用來剪輯影片的 app,通常音樂片段是固定的幾首曲,在未來若透過 Machine Learning 的自動,是否將更有機會生成個性化、匹配情境背景音樂的可能。

指揮的音樂表達

電音互動系統的開發者蔡鈞宇開發了給指揮用的手套。手揮在指揮樂團的時候,主要的任務是打拍子,不過因為指揮的風格不同,在合奏中產生了表演性。透過手套,也將是一種個人的表達方式。

為了與觀眾互動而設計的電音系統

接續上回二胡互動電音的忘言歌的經驗,試圖要用 machine Learning 在實際演出仍需要有多方的配合與突破,machine Learning 在登台演出協奏上目前沒有幫上大忙。但若用在現場氛維的營造、與觀眾互動也許是相較合理的情境。為此紀柏豪在活動現場開啓兩段 demo(註:這兩個 demo 還沒用 machine learning):荒物聲響是一個在大稻程的演出,透過收錄在當地的經濟活動聲音,例如鏟米聲、收銀聲,觀眾可以連上音樂生成系統參與混音,第二個 demo 是在松菸演出的無重力空場,系統透過 web soket 讓現場觀眾的手機喇叭發音形成裝置合唱。

學習音樂的人會希望每個人都可以享受創作音樂的樂趣、用音樂表達自己,期望本次的聚會能為充滿好奇心,卻長期被艱澀名詞、樂器學習門檻而排除在外的大眾,往創作更貼進一步。

活動照片:

生成式樂器的適應性:破解人與樂器的隔閡的作法:

https://www.flickr.com/photos/fabcafetaipei/albums/72157709168950062

關於【創作聚會】生成式音樂裡的 AI

這是一個討論廣義的 AI 用於生成式音樂的創作型聚會。不定時的聚會,希望能聚集對「參數式設計」、「生成式藝術(generative arts)」等領域有所涉獵、或對其如何應用於音樂上感興趣的創作者與混合AI開發人員,一起討論、研究、共同創作。