Všichni jsme je viděli. Plastové kostky. Primární barvy. Chaoticky složené na koberci. Jsou univerzálním symbolem rané inteligence a nezkrotné představivosti. Vezmeš červenou kostku a navrch položíš modrou. Najednou máte věž. Přidejte písmena nebo tvary a máte vzory. Jedná se o jednoduchou fyziku a hru.
Poté tyto kostky položíte na stůl.
Dynamika se okamžitě změní. Stůl není jen povrch. Toto je místo setkání. Na základních školách nahrazují řady lavic kulaté stoly, aby se podpořila spolupráce. Architekti na ně rozkládají kresby. Umělci tam vytvářejí sochy. Objekt sám se stává jevištěm pro kolektivní úsilí spíše než pro osamocenou hru.
Čtyři absolventi Universitat Pompeu Fabra v Barceloně vzali tuto logiku a přidali k ní zvuk. Nechtěli jen hračku. Chtěli nástroj pro spolupráci. Výsledek byl Reactable.
Více než jen syntezátor
V jádru Reactable funguje jako hudební syntezátor. Pokud jste někdy poslouchali současnou elektronickou taneční hudbu, zvukový profil vám bude znít povědomě. Hluboké basy. Jasné zásahy. Syntetické textury. Ale rozhraní? Úplně cizí.
Tradiční syntezátory mají ovládací knoflíky. Mají posuvníky. Mají hierarchii vstupů, které mohou být zastrašující pro každého, kdo nemá hudební pozadí. Reactable tuto bariéru odstraňuje. Spoléhá na fyzickou manipulaci.
Uživatelé ovládají zvuk pohybem bloků kolem velkého kulatého stolu. Je to hmatové. Je to společenské. Otočením bloku změníte frekvenci. Přesuňte jej na jiné místo, abyste změnili rytmus. Na stejném zvukovém poli může pracovat více lidí současně. Neexistuje žádný “špatný” způsob, jak to udělat, jen různé zvukové výsledky.
Vizualizace hluku
Tato zkušenost není pouze sluchová. Je také hluboce vizuální.
Povrch stolu je průsvitný, modrý. Dynamické animace pulzují a mění se pod sklem nebo uvnitř něj. Tato světla nejsou jen dekorace. Zvýrazňují hudební změny v reálném čase. Vidíte, jak klesají basy. Vidíte, jak se melodie mění.
Pro hudebníky je to nástroj. Pro diváky – divadlo. Reactable je nástroj, který vyžaduje pozornost stejně jako sluch. Transformuje abstraktní akt zvukové syntézy do viditelné, sdílené události.
Herní mechanika
Abyste pochopili Reactable, musíte opustit způsob, jakým obvykle přemýšlíme o počítačích. Nejsou zde žádné klávesnice. Žádné myši. Pouze geometrie a gravitace.
Systém porovnává fyzické polohy se zvukovými parametry.
– Rotace často ovládá výšku tónu nebo modulaci.
– Pozice na stole může určit frekvenční rozsahy nebo prostorové umístění v mixu.
– Interakce mezi bloky může spustit efekty nebo harmonie.
Tato filozofie designu stírá hranici mezi dětskou zvědavostí a profesionální kompozicí. Architekt může načrtnout strukturu na stejném stole, kde skladatel píše melodii. Prostředí se mění. Duch spolupráce zůstává stejný.
Ukazuje se, že pokládání kostek na stůl není jen o stavbě věží. Toto je tvorba písní. A někdy nejlepší způsob, jak porozumět složité technologii, je zacházet s ní jako s hřištěm. Výsledky mohou být překvapivě dramatické.
Ve svém jádru je Reactable jen syntezátor. Je to nástroj určený k elektronickému ovládání tempa a tónů, převádění zvukových vln do tvarů, které je obtížné dosáhnout pomocí klavíru nebo kytary. Otočením knoflíku na tradiční klaviatuře při držení klávesy můžete způsobit vibrace výšky tónu. To vytváří děsivé, bobtnající elektronické textury. Reactable dělá to samé, ale odstraňuje skryté mechanické prvky.
Čtyři studenti z Barcelonské univerzity Pompeu Fabra – Sergi Jorda, Martin Kaltenbrunner, Günter Geiger a Marcos Alyonzo – jej vytvořili se specifickým účelem. Nechtěli vytvořit další sólovou pracovní stanici. Chtěli spolupráci. Stůl je kulatý. Zve vás ke společné hře. Nesedíte za tím; stojíš kolem něj.
Reactable je „nový multiplayerový elektroakustický hudební nástroj s haptickým stolním uživatelským rozhraním“
Zní to jako akademický žargon, dokud to nerozeberete. Multi-user znamená, že čtyři, pět nebo šest lidí může stát současně. Elektroakustické – je to jednoduché: veškerý zvuk je generován elektronicky. Dotykové uživatelské rozhraní je klíčové. Neklikáte myší ani nepíšete příkazy. Sbíráte fyzické bloky. Otočíš je. Posouváte je. Je to jako otáčení knoflíků na klasickém syntezátoru, jen vy mezi nimi vidíte souvislosti.
Filozofie designu byla přísná. Nástroj by měl být intuitivní. Pokud se k němu přiblížíte bez pokynů, neměli byste se ztratit. Vezměte blok. Polož to. Vydejte zvuk. Je samozřejmě těžké zvládnout. Ale základy jsou k dispozici. Dokonce i začátečník může vypadat a znít cool. Zkušený DJ dokáže strávit hodiny zkoumáním jeho hloubky.
Reagovatelné objekty
Co se tedy stane, když tyto kostky položíte na plochu? A jak rozeznáte jedno od druhého?
Systém spoléhá na vizuální zpětnou vazbu a fyzickou logiku. Každý blok představuje určitou funkci v audio streamu. Existují moduly pro oscilátory (generování zvuku), filtry (tvarování tónů) a efekty (přidávání textur). Když umístíte dva bloky blízko sebe, rozsvítí se spojovací čára na povrchu stolu. Systém rozpozná blízkost a vytvoří mezi nimi signál.
Toto hmatové rozhraní mění způsob, jakým hudebníci přemýšlejí o kompozici. Neslyšíte jen výsledky; vidíte strukturu. Pokud přesunete blok filtru blíže k oscilátoru, spojení se uvolní. Je prostorová. Je to kolaborativní.
Od muzeí po scénu Björk
Po mnoho let žil Reactale ve světě technologických ukázek. Od Ars Electronica obdržel Zlatou Nikku. V roce 2007 obdržel Barcelona City Award. Byl to zázrak inženýrství a designu, vystavený v muzeích a na festivalech. Ale zůstal zvědavostí.
Pak ho uviděla Björk.
Islandský hudebník sledoval video zařízení na YouTube. Neviděla jen skvělou hračku; viděla jevištní rekvizity, které odpovídaly její umělecké vizi. Najala tým, aby vytvořil verzi pro zájezdy. Pozvala DJe, aby ji zahrál během svého turné Volta. Náhle Reactable už nebyl jen výzkumný projekt. Stal se součástí celosvětové popové podívané.
Vizuální prvek se stal ústředním. Zářící spojení a fyzická manipulace se zvukem přidaly vrstvu výkonu, které se laptop nebo stojan na syntezátory nemohly rovnat. Diváci mohli vidět, jak vzniká hudba. Mohli vidět příčinu a následek.
Tento dopad vše změnil. Ukázalo se, že složité technologie lze zpřístupnit, dokonce i divadelní. Reactable se přesunul z laboratoře do arény. Ukázal, že haptická rozhraní nejsou jen pro inženýry. Jsou určeny pro účinkující. Jsou pro lidi, kteří se chtějí dotknout hudby.
Proč na tom teď záleží
Prošli jsme počáteční fází humbuku. Zásady však zůstávají relevantní. Reactable ukázal, že přímá manipulace s digitálními rozhraními může být zábavnější než abstraktní menu. Ukázal, že spolupráci lze zabudovat do hardwaru.
Dnes vidíme ozvěnu toho v jiných nástrojích. Někteří používají ovládání gesty. Jiní používají dotykové obrazovky. Reactable byl ale jedním z prvních, kdo zviditelnil neviditelné. Udělal ze signální cesty fyzickou věc, které se můžete dotknout.
Nejde jen o to dělat hluk. Jde o to, aby byl proces vytváření hluku jasný. Průhledný. Spoj.
Bloky jsou stále na stole. Lampy stále svítí. Ale skutečný posun je v tom, jak chápeme interakci. Už nejsme jen zadávání dat. Manipulujeme s prostorem. Zvuk tvoříme rukama. A můžeme to udělat společně.
Je rozdíl vidět průběh na obrazovce a sledovat světelnou linii spojující dvě krychle. První je informace. Druhým je zkušenost. Reactable si vybral to druhé. Rozhodl se být cítit, ne jen slyšet.
Dotknutí se bloku stolu je jako spuštění cyklu. Pokud ale dáte jeden čtvereček prudce dolů, poškrábete pouze povrch tématu. Kouzlo spočívá v geometrii. Jak umístíte tyto tvary ve vztahu k sobě, určuje zvuk.
Existuje šest různých typů bloků. Každý má jedinečný tvar a specifickou zvukovou funkci. Pokud je smícháte, hudba se rozpadne.
Zvukové generátory
Začněme čtverci. Vydávají zvuk. Otočte jeden z nich a změníte frekvenci. Posunutím prstu po animovaném prstenci zvýšíte nebo snížíte jeho amplitudu. Je to jako otočení ovladačem hlasitosti na staré trubkové televizi.
Chcete to ztlumit? Proveďte řezný pohyb podél čáry spojující blok se středem stolu. Tím se signál přeruší. Opětovným dotykem prstenu jej vrátíte. Jen.
Filtry a ovladače
Následují čtverce se zaoblenými hranami. Jedná se o zvukové filtry. Jsou to kytarové pedály s reaktivními efekty. Přidejte flanger, fuzz nebo zpětnou vazbu. Připojte stabilní sinusovku k filtru a sledujte, jak se deformuje do něčeho ostrého a zajímavého.
Pak jsou kruhy. Ovladače. Předávají data sousedním prvkům. Přesuňte ovladač do blízkosti generátoru a změníte jeho frekvenci. Můžete získat čistý, hladký tón nebo jej zkreslit do efektu wah-wah.
Složitá geometrie
Osmiúhelníky a pětiúhelníky – to je místo, kde jsou věci zajímavé.
Ovladače filtrů (osmiúhelníkové) a směšovače zvuku (pětiúhelníkové) odvedou většinu práce. Fungují jako samplery. Není to jen smyčka tónu; stavíte složité melodické linky. Harmonizují se. Změňte tón. Mění tvar.
Globální správa
Hemisférické bloky jsou globální objekty. Vytvářejí kruhové pole. Vše, co je uvnitř tohoto pole, je ovlivněno. Obvykle fungují jako metronom. Udávali tempo. Nebo fungují jako tónový korektor, korigující drift výšky v oscilátorech a filtrech.
Hardware je jen plast a senzory. Software dělá většinu práce. Převádí geometrii do zvuku. Konkrétně využívá reacTIVision.
Jak engine reacTIVision sleduje fyzické bloky
Nevidíte to, ale každý váš pohyb na stole něco sleduje. Pod průsvitným povrchem skrytý systém počítačového vidění převádí fyzický svět na digitální data. Nastavení je jednoduché, ale efektivní: kamera a projektor ukryté pod stromem. Oba směřují nahoru, ale plní zcela odlišné úkoly.
Kamera jsou oči. Běží na reacTIVision, specializovaném stroji pro počítačové vidění navrženém pro interakci na základě tabulky. Nevidí jen plastové předměty. V reálném čase analyzuje konkrétní data. Která strana bloku směřuje dolů? Kde se nachází vzhledem ke středu stolu? Jak daleko je to od druhého bloku? Systém také sleduje rotaci. Pokud otočíte objekt kolem své osy, systém to zaznamená. Každá fyzická změna ovlivní tón, filtry nebo efekty a reacTIVision tyto změny okamžitě zachytí.
Od pohybu ke zvuku a světlu
Co se tedy stane poté, co kamera uvidí bloky? Data jdou do správce připojení. Zde se magie rozděluje na dvě cesty.
Nejprve se informace odešlou do audio syntezátoru. Syntezátor interpretuje polohu bloků jako hudební instrukce. Vytváří zvuk a vysílá jej do reproduktorů. Toto je hudba, kterou hráči vytvářejí.
Zadruhé jsou stejná data odeslána do projektoru. Na rozdíl od kamery, která pozoruje, projektor vytváří. Světlo promítá nahoru přes modrou průsvitnou desku stolu. Kreslí animace přímo na povrch. Tyto vizuální prvky poskytují okamžitou zpětnou vazbu. Hráči vidí, co hrají. Diváci vidí za hlukem logiku. Tím se cyklus mezi akcí a reakcí uzavírá.
Pozorování v akci
Studenti a výzkumní pracovníci, kteří vytvořili reaktabilní, je neuchovávají v laboratoři. Berou si to s sebou na cesty. Uvidíte to na hudebních festivalech, technologických konferencích a muzeích. Pokud byste chtěli být svědky živého vystoupení, podívejte se na oficiální stránky Reactable, kde najdete nadcházející vystoupení.
Existují plány na komerční prodej zařízení, i když cena zatím nebyla oznámena. Pokud se nemůžete dočkat nebo nemůžete sehnat vstupenky, Björk je vaší další nejlepší volbou. Je známá používáním tohoto syntezátoru na turné. Pokud to přinese do vašeho města, nezapomeňte ji vidět, když bude tento nástroj upřednostňovat.
Další informace o technologiích za těmito nástroji naleznete v níže uvedených zdrojích.
Ještě více informací
Související články HowStuffWorks
- Jak fungují oscilátory
- Jak funguje MIDI
- Jak fungují koncertní turné?
- Jak funguje software pro míchání hudby
- Jak funguje zařízení skupiny
- Jak fungují elektrické kytary
Další užitečné odkazy
- Možnost reakce na domovskou stránku
Zdroje
- Andrewsi, Roberte. “Hmatový syntezátor ReacTable upoutal pozornost Björk – a její uši.” Kabelové. 9. srpna 2007
- EARS: ElectroAcoustic Resource Site. „Elektroakustická hudba“.
- Jorda, Sergi, Günter Geiger, Marcos Alonso a Martin Kaltenbrunner. “The reacTable: Zkoumání synergie mezi živým hudebním vystoupením a haptickými stolními rozhraními.” Music Technology Group, Univerzita Pompeu Fabra. 2007
- Jorda, Sergi, Günter Geiger, Marcos Alonso a Martin Kaltenbrunner. “ReacTable: hudební nástroj pro spolupráci.” Music Technology Group, Univerzita Pompeu Fabra. 2006
- Kaltenbrunner, Martin a Ross Bennikovi. “reacTIVision: systém počítačového vidění pro hmatovou interakci založenou na stole.” Music Technology Group, Univerzita Pompeu Fabra. 2007
