活動回顧｜生成式樂器的適應性：破解人與樂器隔閡的作法

Generative music 的產生大量依靠創作者 coding 的方法以及想呈現的效果。逐步建構這部樂器的過程中，融入創作者的大量期待和想法。在多次討論 AI 於生成式音樂的應用後，除了電腦與傳統樂器協奏的可能性，Machine Learning 應用於「音樂表達」及「電音演出現場」的作法。

本次活動有軟體工程師、台灣人工智慧協會的研究員、部份表演藝術工作者、Creative Coding 愛好者、電音的創作者前來參與。我們邀請在 AI and Music Lab 張欣嘉聊聊如何利用現有技術使「用音樂表達自己的情緒」的過程更為簡單與大眾化、互動系統開發者蔡鈞宇的指揮家手套與情緒表達的連結、也透過藝術家紀柏豪【荒物聲響】與【雙向傳輸】兩次演出中，試圖應用無所不在的網路於演出的當下與大眾產生的互動。

Machine Learning 能幫助到什麼？

在活動中，我們共討論了 6 個案例作品。音樂創作與表達自我的門檻之於大眾，通常如高牆一樣難以跨越。學習一項樂器需要長時間投入訓練，即便唱歌（以聲帶為樂器）也時常感受到因為缺乏練習而有沒有信心。存在於大眾與樂器之間的隔閡，如何提供想用音樂表達自我，而不受門檻限制？為此 machine learning 能幫助到什麼？張欣嘉提供了三個實驗，分別為 RUNN、drum-vae-client 、Sornting，以遊戲化元素讓大眾參與音樂創作。

在 machine learning 的應用中，我們常見經典內差生成，如下圖：以人臉內差例子，電腦能產生兩個臉中間的資料，讓中間的臉人看起和左右兩者都有一些相似。Sornting 是一個音樂內差的聆聽遊戲。在遊戲中玩家必須仔細聆聽前後兩段音樂的中間值為何，做出正確的內差排序。

Image source：https://crazyoscarchang.github.io/2018/11/13/agent-embeddings/

你也可以排序它嗎？試遊戲化的音樂的內差，在兩個曲子間產生中間的曲調：

Sornting = song + ️‍♂️sort. A puzzle game based on a musical machine learning algorithm to interpolate different songs.https://vibertthio.com/sornting/

Runn 則是讓玩家在捲軸遊戲的跑跳中，欣賞電腦在遊戲過程中成生的音樂：

Runn = ‍♂Run (side-scrolling game) + RNN . The player has to play the game generated by the RNN model.https://vibertthio.com/runn

商業應用的可能

利用 machine Learning，電腦依照個人喜好生成流暢、品質於一般水準之上的背景音樂，並且有可調控情緒值的可能。個人化音樂表達的如何服務大眾？張欣嘉提到的情境，例如手機內常用來剪輯影片的 app，通常音樂片段是固定的幾首曲，在未來若透過 Machine Learning 的自動，是否將更有機會生成個性化、匹配情境背景音樂的可能。

指揮的音樂表達

電音互動系統的開發者蔡鈞宇開發了給指揮用的手套。手揮在指揮樂團的時候，主要的任務是打拍子，不過因為指揮的風格不同，在合奏中產生了表演性。透過手套，也將是一種個人的表達方式。

為了與觀眾互動而設計的電音系統

接續上回二胡互動電音的忘言歌的經驗，試圖要用 machine Learning 在實際演出仍需要有多方的配合與突破，machine Learning 在登台演出協奏上目前沒有幫上大忙。但若用在現場氛維的營造、與觀眾互動也許是相較合理的情境。為此紀柏豪在活動現場開啓兩段 demo（註：這兩個 demo 還沒用 machine learning）：荒物聲響是一個在大稻程的演出，透過收錄在當地的經濟活動聲音，例如鏟米聲、收銀聲，觀眾可以連上音樂生成系統參與混音，第二個 demo 是在松菸演出的無重力空場，系統透過 web soket 讓現場觀眾的手機喇叭發音形成裝置合唱。

學習音樂的人會希望每個人都可以享受創作音樂的樂趣、用音樂表達自己，期望本次的聚會能為充滿好奇心，卻長期被艱澀名詞、樂器學習門檻而排除在外的大眾，往創作更貼進一步。

活動照片：

生成式樂器的適應性：破解人與樂器的隔閡的作法：

https://www.flickr.com/photos/fabcafetaipei/albums/72157709168950062

關於【創作聚會】生成式音樂裡的 AI

這是一個討論廣義的 AI 用於生成式音樂的創作型聚會。不定時的聚會，希望能聚集對「參數式設計」、「生成式藝術(generative arts)」等領域有所涉獵、或對其如何應用於音樂上感興趣的創作者與混合AI開發人員，一起討論、研究、共同創作。