Loading...

Column

June 28, 2019

活動回顧|生成式樂器的適應性:破解人與樂器隔閡的作法

FabCafe Taipei Editorial Team

Taipei

Generative music 的產生大量依靠創作者 coding 的方法以及想呈現的效果。逐步建構這部樂器的過程中,融入創作者的大量期待和想法。在多次討論 AI 於生成式音樂的應用後,除了電腦與傳統樂器協奏的可能性,Machine Learning 應用於「音樂表達」及「電音演出現場」的作法。

本次活動有軟體工程師、台灣人工智慧協會的研究員、部份表演藝術工作者、Creative Coding 愛好者、電音的創作者前來參與。我們邀請在 AI and Music Lab 張欣嘉聊聊如何利用現有技術使「用音樂表達自己的情緒」的過程更為簡單與大眾化、互動系統開發者蔡鈞宇的指揮家手套與情緒表達的連結、也透過藝術家紀柏豪【荒物聲響】與【雙向傳輸】兩次演出中,試圖應用無所不在的網路於演出的當下與大眾產生的互動。

Machine Learning 能幫助到什麼?

在活動中,我們共討論了 6 個案例作品。音樂創作與表達自我的門檻之於大眾,通常如高牆一樣難以跨越。學習一項樂器需要長時間投入訓練,即便唱歌(以聲帶為樂器)也時常感受到因為缺乏練習而有沒有信心。存在於大眾與樂器之間的隔閡,如何提供想用音樂表達自我,而不受門檻限制?為此 machine learning 能幫助到什麼?張欣嘉提供了三個實驗,分別為 RUNN、drum-vae-client 、Sornting,以遊戲化元素讓大眾參與音樂創作。

在 machine learning 的應用中,我們常見經典內差生成,如下圖:以人臉內差例子,電腦能產生兩個臉中間的資料,讓中間的臉人看起和左右兩者都有一些相似。Sornting 是一個音樂內差的聆聽遊戲。在遊戲中玩家必須仔細聆聽前後兩段音樂的中間值為何,做出正確的內差排序。

Image source:https://crazyoscarchang.github.io/2018/11/13/agent-embeddings/

你也可以排序它嗎?試遊戲化的音樂的內差,在兩個曲子間產生中間的曲調:

Sornting = song + ️‍♂️sort. A puzzle game based on a musical machine learning algorithm to interpolate different songs.https://vibertthio.com/sornting/

Runn 則是讓玩家在捲軸遊戲的跑跳中,欣賞電腦在遊戲過程中成生的音樂:

Runn = ‍♂Run (side-scrolling game) + RNN . The player has to play the game generated by the RNN model.https://vibertthio.com/runn

商業應用的可能

利用 machine Learning,電腦依照個人喜好生成流暢、品質於一般水準之上的背景音樂,並且有可調控情緒值的可能。個人化音樂表達的如何服務大眾?張欣嘉提到的情境,例如手機內常用來剪輯影片的 app,通常音樂片段是固定的幾首曲,在未來若透過 Machine Learning 的自動,是否將更有機會生成個性化、匹配情境背景音樂的可能。

指揮的音樂表達

電音互動系統的開發者蔡鈞宇開發了給指揮用的手套。手揮在指揮樂團的時候,主要的任務是打拍子,不過因為指揮的風格不同,在合奏中產生了表演性。透過手套,也將是一種個人的表達方式。

為了與觀眾互動而設計的電音系統

接續上回二胡互動電音的忘言歌的經驗,試圖要用 machine Learning 在實際演出仍需要有多方的配合與突破,machine Learning 在登台演出協奏上目前沒有幫上大忙。但若用在現場氛維的營造、與觀眾互動也許是相較合理的情境。為此紀柏豪在活動現場開啓兩段 demo(註:這兩個 demo 還沒用 machine learning):荒物聲響是一個在大稻程的演出,透過收錄在當地的經濟活動聲音,例如鏟米聲、收銀聲,觀眾可以連上音樂生成系統參與混音,第二個 demo 是在松菸演出的無重力空場,系統透過 web soket 讓現場觀眾的手機喇叭發音形成裝置合唱。

學習音樂的人會希望每個人都可以享受創作音樂的樂趣、用音樂表達自己,期望本次的聚會能為充滿好奇心,卻長期被艱澀名詞、樂器學習門檻而排除在外的大眾,往創作更貼進一步。

活動照片:

生成式樂器的適應性:破解人與樂器的隔閡的作法:

https://www.flickr.com/photos/fabcafetaipei/albums/72157709168950062

關於【創作聚會】生成式音樂裡的 AI

這是一個討論廣義的 AI 用於生成式音樂的創作型聚會。不定時的聚會,希望能聚集對「參數式設計」、「生成式藝術(generative arts)」等領域有所涉獵、或對其如何應用於音樂上感興趣的創作者與混合AI開發人員,一起討論、研究、共同創作。

Author

  • FabCafe Taipei Editorial Team

    This articles is edited by FabCafe Taipei.

    Please feel free to share your thoughts and opinions on this article with us.
    Contact us

    This articles is edited by FabCafe Taipei.

    Please feel free to share your thoughts and opinions on this article with us.
    Contact us

Get in touch

Subscribe to FabCafe Global monthly newsletter for more stories in innovation and designs.

Our Services

Building products and services that push innovation for companies