Elementor #1384

本計畫由藝術家羅禾淋創作,結合臺灣陽明交通大學林一平教授的AI物聯網平台IoTtalk,所共同創作的機械操偶計畫。此計畫結合臺灣廣達研究院所開發的心跳偵測裝置、臺灣上銀科技的機器手臂,整合的學界與產業界不同的前瞻技術,以達到科技藝術跨領域的結合。

本計畫是講述臺灣傳統表演布袋戲的未來可能性,透過機器人再現「國寶級操偶師的操控技術」,在此計畫我們使用了視覺型動態補捉技術Mediapipe,捕捉表演者的身體,而布袋戲表演最關鍵的手掌之動作,因為被布袋戲偶擋住,因此不能使用視覺型動態補捉觀看,但是傳統穿戴型動態補捉又太厚重,因此特別使用了臺灣陽明交通大學協同開發的AiQ動態捕捉手套,可以在穿戴手套的情況下,一樣能表演布袋戲偶,兩種動態捕捉技術的整合,可以完整擷取操偶師的全身動作的動作骨架資訊。

圖說:特殊的手套,穿戴輕便,可以再套上布袋戲偶

能取得布袋戲操偶師的全部動作之後,我們可以製作一個機器人,完美的重現操偶師的動作,操偶師的身體我們使用上銀科技的機器手臂(本作品也有使用過KUKA),而機械手掌則是用多組微型伺服馬達組成一的手掌結構的機器人,機器手掌的運動性可以完美模擬布袋戲戲偶的動作。因此操偶師可以在不穿戴布袋戲偶的情況下,操控他的機器人分身進行表演。

因為布袋戲的操偶師可以完整擷取動作,再透過大型的機器手臂與細緻的機器手掌表演,可以即時或非即時的再現操偶師的動作,因此布袋戲的操偶師有了「機器人複製操偶師」。在此計畫中「國寶極操偶師的動作」被檔案化之後,再用機器人重現他的表演,並且可以與年輕的操偶師共同演出布袋戲偶,這是一場跨時空的共演。另一方面,年輕的操偶師也把表演融合現代舞,並且與機器操偶師共舞,打破傳統布袋戲偶的演出方式,讓布袋戲有更多可能性。

圖說:年輕的操偶師也把表演融合現代舞,並且與機器操偶師共舞,打破傳統布袋戲偶的演出方式。

本次創作計畫以「機器之心」為主軸,布袋戲偶本身是戲偶,沒有心藏,機器人亦沒有心藏,那機器之心到底是什麼,是本次創作想要辯證的問題意識。創作中我們可以擷取了國寶級操偶師的動作,並且複製其動作到機器人身上,機器人是否就有了操偶師的心?因此在創作中,我們使用了臺灣廣達研究院的心跳偵測器,此心跳偵測器可以細緻的辨識心跳的頻率,我們將讓國寶級操偶師在動態捕捉時就使用此設備紀錄表演時的心跳,並且讓共同表演的年輕操偶師穿戴一個微型震動馬達,國寶級操偶師心跳的紀錄會啟動微型震動馬達的跳動,最後共同表演的年輕操偶師也會穿戴辨識心跳的頻率,並且把此心跳的頻率投影在現場畫面之中,心跳是否會有傳承?是本創作的試圖找尋的機器之心。

在表演現場,會有一組大型的機器人操偶師,與一位年輕的操偶師共同表演。年輕的操偶師會在表演中加入現代舞的實驗,並且與機器人共舞。年輕操偶師身上會安裝一個感受機器人心跳的跳動裝置,因此在表演與跳舞時,身體上會有強烈的感受,而年輕操偶師的心跳則是會投影在後方的畫面上。

圖說:年輕操偶師身上會安裝一個感受機器人心跳的跳動裝置, 因此在表演與跳舞時,身體上會有強烈的感受,而年輕操偶師的心跳則是會投影在後方的畫面上。
返回頂端