你也許不止一次，見過你的朋儕們分享下面這些看上去很“哇”的表演瞬間。
譬如一整屏的像素點仰面摔下:
譬如呼啦圈的旋轉(zhuǎn)引起地段波紋:
譬如用手擊碎這些屏幕顆粒:
經(jīng)過多輪刷屏，特別是2016年年初，這幫幻覺制造者們還跑來北京天橋演出了。到現(xiàn)在爲止，應該有很多人都了解這個團隊--來自法國的AdrienM&ClaireB。
爲什麼要提到他們呢?
因爲，這個法國團隊，基本上是我的“新媒體舞蹈”啓蒙老師。2015年年初，我三災八難看到了他們火遍朋儕圈的作品Pixel，驚嚇之余立刻跑去牆外找了更多更多的信息，然後……就停不下來了。
先來說說他們是怎麼“啓蒙”我的
大伙兒都知道，現(xiàn)在在舞臺上使用投影或LED屏實在是一件太稀松平常的情況了。隨之而來的是一個常被詬病的問題--投影和表演之間往往並沒有太多聯(lián)系，呈現(xiàn)出“兩張皮”的尷尬狀況。
爲解決“高科技”投影和“傳統(tǒng)”表演之間的關聯(lián)問題，各種打著“全息”名義的投影層出不窮--它們創(chuàng)造了一種3D視覺結(jié)果，使曾經(jīng)在表演者“背後”的投影，現(xiàn)在起碼看上去好像是在“身邊”了。
看上去像是環(huán)繞在演員身邊的紗幕投影結(jié)果
不過，大多數(shù)貼著“全息”標簽的表演其實就是紗幕加投影，和真正的“全息”技術壓根沒啥關系。但是，至少前進了一步。
Adrien M & Claire B當然也那么做了。但這並不是我被“啓蒙”的原因。
就像舞臺上使用投影一樣稀松平常--當使用投影時，演員與投影的視覺配合演出也同樣數(shù)不甚數(shù)。這一類表演精打細算地卡好時間節(jié)點，反複排練一個一個的Cue點，總能表演得像確實一樣，引來層出不窮的“哇”。
但是面對這種情況，我實在“哇”不出來。
明明沒有互動機制，卻要裝得像有互動。設計得再精細，時間點卡得再好，也還是假的。並且，隨著時間的發(fā)展，這個僞裝套路頂多越做越精致，但卻沒也許有質(zhì)的update。實在是太沒勁兒了。
因此，Adrien M & Claire B給我注入的第一個辦法就是--他們有點細節(jié)，看上去不像是裝的啊!好像是確實，有交互!
咦，怎麼做到的?!
他們?nèi)绾巫龅阶罨A的“不裝”?
我們在線且把一個基本的交互系統(tǒng)簡化爲如下三個部分。
舞臺上也是這個理路。演員的動作就是輸入，對動作輸入進行信號采集，由計算機進行處理，最終通過屏幕或投影儀進行輸出顯示。
那些“假”互動的表演，就是沒有對演員的動作進行真正的“輸入”。因此，整個互動機制就不成立--一旦演員慢半拍，或者位置跑偏，這個“造假”表演基本上就砸了。
後期“PS”上去的配合結(jié)果
那麼，如何對演員的動作進行“真正”的輸入呢?
想要對動作進行真實的輸入，就需要用到動作捕捉/追蹤技術。下面那個同樣來自Adrien M的小demo，使用了手部動捕利器Leap Motion，來進行實時的動作交互。
也許不如“PS”結(jié)果炫，但“真實”的交互有不可思議的魅力
真實的動作輸入:盤點常用的動捕技術
有哪些常用方法，可以用來對演員的動作進行真實的“輸入”呢?
1.傳統(tǒng)光學動作捕捉系統(tǒng)
最常用的是基于Marker(馬克點)的光學動作捕捉。在演員身上粘貼能夠反照紅外光的馬克點，通過攝像頭對反光馬克點的追蹤，來對演員的動作進行捕捉。有時也會通過演員身穿反照紅外光的緊身衣來完成。
來自光學動捕大佬Vicon公司官網(wǎng)的宣傳圖
身上的小白點就是Marker，Truss架上是攝像頭
這種方法對動作的捕捉精度高，但環(huán)境要求也高，並且還超級貴，屬于好萊塢大片拍攝利器之一。不過，如果只是自己想搗騰玩玩，不僅用不起，同時一般還用不行。
*代表產(chǎn)品:Vicon Motion System / Motion Analysis System
2.慣性動作捕捉系統(tǒng)
這一類主假如基于IMU(慣性測量單元)來完成對人體動作的捕捉。把集成了加速度計，陀螺儀和磁力計的IMU綁在人體的特定骨骼節(jié)點上，通過算法對測量數(shù)值進行計算，從而完成動作捕捉。
聽起來好像有點兒難懂，但其實我們在線每個人天天都會接觸--我們在線的智專家機裏都內(nèi)置了IMU。這就是爲什麼當你把手機橫屏時，正在播放的視頻也會跟著橫過來。
來自國內(nèi)慣性動作捕捉公司Noitom的動捕案例視頻
綁在演員身上的小紅塊就是IMU，一共需要綁17個
傳統(tǒng)光學動捕來說，這種慣性動作捕捉方案相對價格惠而不費，適合小型工作室或預算不太高的團隊完成動作捕捉。
*代表產(chǎn)品:XSENS / Noitom
3.基于計算機視覺的動作捕捉
前兩種常用的動作捕捉方法都已經(jīng)有很長的發(fā)展曆史了，但這種基于計算機視覺的動作捕捉卻是近些年才興起的。不過，對于藝術創(chuàng)作和表演來說，這種方法因其簡單、易用、低價，目前使用的頻率可以說是最高的。
這種捕捉方法主假如通過采集及計算深度信息來完成對動作的捕捉。
譬如，前文所提到，Adrien M做的手部交互小demo就是使用了以這類方法進行手部動作捕捉的產(chǎn)品Leap Motion。
Adrien M使用Leap Motion作為手部動作輸入端
Leap Motion官方操作指南，非常簡易，插上即用
Leap Motion只能捕捉手部動作，應用範圍相對窄一點。畢竟除了“手舞”，我們在線還需要“足蹈”。因此，另外一個能捕捉身體動作的國產(chǎn)產(chǎn)品Kinect，基本上遍布各種需要交互的創(chuàng)作場景。
使用Kinect進行實時交互，可以與另一個形態(tài)的自己互動
特別是那些出現(xiàn)在商場、影院、劇場裏的可交互裝置，如果你湊上前去看一眼，裏面多半藏著一個Kinect。
*代表產(chǎn)品:Kinect/Leap Motion
不那麼好的“真”，和看上去很好的“假”
當然，我的“啓蒙老師”AdrienM&ClaireB也並非每一次都用了“真”交互。
在現(xiàn)階段，令絕大部分看客在第一時間感覺激動也不比定是“真”交互。就像神秘的AR(增強現(xiàn)實)國產(chǎn)產(chǎn)品Magic Leap最廣爲人知的，不就是那個鯨魚躍出地段的特效“假”視頻麼。
Magic Leap早期宣傳視頻中最“激動人心”的一幕
然而，和人們的期待不太一樣，新技術在發(fā)展的早期，往往是笨拙的。但是，卻是極具啓發(fā)的。這種啓發(fā)，要緊發(fā)生在觀念的轉(zhuǎn)化和思考的路徑上。
因此，只有確實--真正的動作輸入，才有那麼一點也許帶來創(chuàng)作方法、展演形式和思考路徑上的革新。
即使它第一眼看上去也許會麻煩、難用或不那麼友好，但所能帶來的變革，是一萬個“假”互動加起來也沒辦法做到的。
