Wszyscy je widzieliśmy. Plastikowe kostki. Kolory podstawowe. Chaotycznie złożone na dywanie. Są uniwersalnym symbolem wczesnej inteligencji i nieposkromionej wyobraźni. Bierzesz czerwoną kostkę i kładziesz na niej niebieską. Nagle masz wieżę. Dodaj litery lub kształty i masz wzory. Jest to prosta fizyka i gra.
Następnie kładziesz te kostki na stole.
Dynamika zmienia się natychmiast. Stół to nie tylko powierzchnia. To jest miejsce spotkań. W szkołach podstawowych okrągłe stoły zastępują rzędy biurek, aby zachęcać do współpracy. Architekci układają na nich rysunki. Artyści tworzą tam rzeźby. Sam obiekt staje się sceną zbiorowego wysiłku, a nie samotnej zabawy.
Czterech absolwentów Universitat Pompeu Fabra w Barcelonie przyjęło tę logikę i dodało do niej brzmienie. Nie chcieli tylko zabawki. Chcieli instrumentu współpracy. Wynik był Reagujący.
Więcej niż tylko syntezator
W swojej istocie Reactable działa jako syntezator muzyczny. Jeśli kiedykolwiek słuchałeś współczesnej elektronicznej muzyki tanecznej, profil dźwiękowy będzie brzmiał znajomo. Głęboki bas. Jasne trafienia. Tekstury syntetyczne. Ale interfejs? Całkowicie obcy.
Tradycyjne syntezatory mają pokrętła sterujące. Posiadają suwaki. Mają hierarchię wejść, która może onieśmielić każdego, kto nie ma muzycznego doświadczenia. Reactable usuwa tę barierę. Opiera się na fizycznej manipulacji.
Użytkownicy kontrolują dźwięk, przesuwając klocki wokół dużego okrągłego stołu. To dotykowe. To społeczne. Obracasz blok, aby zmienić częstotliwość. Przesuwasz go w inne miejsce, aby zmienić rytm. Wiele osób może pracować jednocześnie nad tym samym krajobrazem dźwiękowym. Nie ma na to „złego” sposobu, są po prostu inne rezultaty dźwiękowe.
Wizualizacja hałasu
To doświadczenie nie jest tylko słuchowe. Jest także głęboko wzrokowcem.
Powierzchnia stołu jest półprzezroczysta, niebieska. Dynamiczne animacje pulsują i zmieniają się pod lub wewnątrz szyby. Te światła to nie tylko dekoracja. Podkreślają zmiany muzyczne w czasie rzeczywistym. Widzisz spadek basu. Widzisz, jak zmienia się melodia.
Dla muzyków jest to instrument. Dla widzów – teatr. Reactable to narzędzie, które wymaga tyle samo uwagi, co słuchu. Przekształca abstrakcyjny akt syntezy dźwięku w widoczne, wspólne wydarzenie.
Mechanika gry
Aby zrozumieć Reagowalność, musisz porzucić sposób, w jaki zazwyczaj myślimy o komputerach. Nie ma tu żadnych klawiatur. Żadnych myszy. Tylko geometria i grawitacja.
System dopasowuje pozycje fizyczne do parametrów dźwiękowych.
– Obrót często kontroluje wysokość lub modulację.
– Pozycja na stole może określić zakresy częstotliwości lub rozmieszczenie przestrzenne w miksie.
– Interakcja pomiędzy blokami może wyzwalać efekty lub harmonie.
Ta filozofia projektowania zaciera granicę pomiędzy dziecięcą ciekawością a profesjonalną kompozycją. Architekt może naszkicować konstrukcję na tym samym stole, na którym kompozytor pisze melodię. Środowisko się zmienia. Duch współpracy pozostaje ten sam.
Okazuje się, że układanie klocków na stole to nie tylko budowanie wież. To jest tworzenie piosenek. Czasami najlepszym sposobem na zrozumienie złożonej technologii jest potraktowanie jej jak placu zabaw. Wyniki mogą być zaskakująco dramatyczne.
W swej istocie Reactable jest po prostu syntezatorem. Jest to instrument przeznaczony do elektronicznego sterowania tempem i nutami, przekształcający fale dźwiękowe w kształty trudne do uzyskania za pomocą fortepianu lub gitary. Obracając pokrętło na tradycyjnej klawiaturze, przytrzymując klawisz, możesz wywołać wibracje stroju. Tworzy to niesamowite, pęczniejące tekstury elektroniczne. Reactable robi to samo, ale usuwa ukryte elementy mechaniczne.
Czterech studentów z Uniwersytetu w Barcelonie Pompeu Fabra – Sergi Jorda, Martin Kaltenbrunner, Günter Geiger i Marcos Alyonzo – stworzyło go w konkretnym celu. Nie chcieli tworzyć kolejnej samodzielnej stacji roboczej. Chcieli współpracy. Stół jest okrągły. Zaprasza do wspólnej zabawy. Nie siedzisz za tym; stoisz wokół niego.
Reactable to „nowy elektroakustyczny instrument muzyczny dla wielu graczy z dotykowym interfejsem użytkownika na blacie”
Brzmi to jak akademicki żargon, dopóki go nie rozłożysz na części. Możliwość obsługi wielu użytkowników oznacza, że jednocześnie mogą stać cztery, pięć lub sześć osób. Elektroakustyka – to proste: cały dźwięk generowany jest elektronicznie. Dotykowy interfejs użytkownika jest kluczowy. Nie klikasz myszką ani nie wpisujesz poleceń. Zbierasz fizyczne bloki. Odwracasz je. Poruszasz je. To jak kręcenie pokrętłami klasycznego syntezatora, tylko Ty widzisz połączenia między nimi.
Filozofia projektowania była surowa. Narzędzie powinno być intuicyjne. Jeśli podejdziesz do niego bez instrukcji, nie powinieneś się zgubić. Weź blok. Odłóż to. Wydaj dźwięk. Oczywiście trudno to opanować. Ale podstawy są dostępne. Nawet początkujący może sprawić, że będzie wyglądać i brzmieć fajnie. Doświadczony DJ może spędzić wiele godzin na odkrywaniu jego głębi.
Obiekty reagujące
Co się więc stanie, gdy umieścisz te kostki na powierzchni? A jak odróżnić jedno od drugiego?
System opiera się na wizualnym sprzężeniu zwrotnym i logice fizycznej. Każdy blok reprezentuje określoną funkcję w strumieniu audio. Istnieją moduły dla oscylatorów (generowanie dźwięku), filtrów (kształtowanie tonów) i efektów (dodawanie tekstur). Kiedy umieścisz dwa klocki blisko siebie, na powierzchni stołu zapali się linia połączenia. System rozpoznaje bliskość i tworzy sygnał pomiędzy nimi.
Ten dotykowy interfejs zmienia sposób, w jaki muzycy myślą o kompozycji. Nie tylko słyszysz rezultaty; widzisz strukturę. Jeśli przesuniesz blok filtra bliżej oscylatora, połączenie stanie się jasne. Jest przestrzenny. To współpraca.
Od muzeów po scenę Björk
Przez wiele lat Reactale żyło w świecie demonstracji technologii. Otrzymał Złotą Nikkę od Ars Electronica. W 2007 roku otrzymał nagrodę miasta Barcelona. Był to cud inżynierii i designu, prezentowany w muzeach i na festiwalach. Ale pozostał ciekawostką.
Wtedy Björk go zobaczyła.
Islandzki muzyk obejrzał wideo urządzenia w serwisie YouTube. Nie tylko zobaczyła fajną zabawkę; zobaczyła rekwizyty sceniczne, które odpowiadały jej artystycznej wizji. Zatrudniła zespół do stworzenia wersji na wycieczki. Zaprosiła DJ-a, aby zagrał ten utwór podczas jej trasy koncertowej Volta. Nagle Reactable nie było już tylko projektem badawczym. Stał się częścią światowego popowego spektaklu.
Element wizualny stał się centralny. Świecące połączenia i fizyczna manipulacja dźwiękiem dodały warstwę wydajności, której laptop lub stojak z syntezatorami nie byłby w stanie dorównać. Widzowie mogli zobaczyć, jak powstaje muzyka. Widzieli przyczynę i skutek.
Ten wpływ zmienił wszystko. Udowodniło, że złożoną technologię można udostępnić, nawet teatralnie. Reactable przeniosło się z laboratorium na arenę. Pokazał, że interfejsy haptyczne nie są tylko dla inżynierów. Przeznaczone są dla wykonawców. Są dla ludzi, którzy chcą dotknąć muzyki.
Dlaczego to ma teraz znaczenie
Początkowy etap szumu mamy już za sobą. Ale zasady pozostają aktualne. Reactable pokazał, że bezpośrednie manipulowanie interfejsami cyfrowymi może być zabawniejsze niż abstrakcyjne menu. Pokazał, że współpracę można wbudować w sprzęt.
Dziś widzimy echa tego w innych instrumentach. Niektórzy używają sterowania gestami. Inni korzystają z ekranów dotykowych. Ale Reactable był jednym z pierwszych, którzy uczynili niewidzialne widzialnym. Uczynił ścieżkę sygnałową fizyczną rzeczą, której można dotknąć.
Nie chodzi tylko o to, żeby hałasować. Chodzi o to, aby proces wytwarzania hałasu był wyraźny. Przezroczysty. Wspólny.
Bloki nadal leżą na stole. Lampy nadal się świecą. Prawdziwa zmiana polega jednak na tym, jak rozumiemy interakcję. Nie jesteśmy już tylko wprowadzaniem danych. Manipulujemy przestrzenią. Za pomocą rąk tworzymy dźwięk. I możemy to zrobić razem.
Istnieje różnica pomiędzy zobaczeniem przebiegu na ekranie a obserwacją linii światła łączącej dwie kostki. Pierwszym z nich jest informacja. Drugie to doświadczenie. Reactable wybrał to drugie. Wolał być odczuwany, a nie tylko słyszany.
Dotknięcie bloku stołu przypomina rozpoczęcie cyklu. Ale jeśli nagle odłożysz jedno pole, zarysujesz tylko powierzchnię tematu. Magia tkwi w geometrii. Sposób umieszczenia tych kształtów względem siebie determinuje dźwięk.
Istnieje sześć różnych typów bloków. Każdy z nich ma unikalny kształt i specyficzną funkcję dźwiękową. Jeśli je połączysz, muzyka się rozpadnie.
Generatory dźwięku
Zacznijmy od kwadratów. Wydają dźwięk. Obróć jeden z nich, a zmienisz częstotliwość. Przesuń palcem po animowanym pierścieniu, aby zwiększyć lub zmniejszyć jego amplitudę. To jakby kręcić pokrętłem głośności w starym telewizorze lampowym.
Chcesz to wyciszyć? Wykonuj ruch tnący wzdłuż linii łączącej blok ze środkiem stołu. To zakłóca sygnał. Dotknij pierścienia ponownie, aby go zwrócić. Tylko.
Filtry i kontrolery
Następnie przychodzą kwadraty z zaokrąglonymi krawędziami. Są to filtry dźwięku. Są to pedały gitarowe z reaktywnymi efektami. Dodaj flanger, fuzz lub informację zwrotną. Podłącz stabilną falę sinusoidalną do filtra i obserwuj, jak zniekształca się w coś ostrego i interesującego.
Potem są kręgi. Kontrolery. Przekazują dane do sąsiadujących elementów. Przesuń sterownik w pobliże generatora, a zmienisz jego częstotliwość. Można uzyskać czyste, gładkie brzmienie lub zniekształcić je w efekt wah-wah.
Złożona geometria
Ośmioboki i pięciokąty – tu robi się ciekawie.
Większość pracy wykonują Kontrolery filtrów (ośmiokątne) i miksery audio (pięciokątne). Pełnią rolę próbników. Nie tylko zapętlasz ton; budujesz złożone linie melodyczne. Harmonizują. Zmień ton. Zmieniają kształt.
Globalne zarządzanie
Bloki półkuliste są obiektami globalnymi. Tworzą okrągłe pole. Ma to wpływ na wszystko, co znajduje się w tym polu. Zwykle działają jak metronom. To oni nadawali tempo. Lub działają jako korektor tonu, korygując dryft wysokości w oscylatorach i filtrach.
Sprzęt to tylko plastik i czujniki. Oprogramowanie wykonuje większość pracy. Przekłada geometrię na dźwięk. W szczególności wykorzystuje reacTIVision.
Jak silnik reacTIVision śledzi bloki fizyczne
Nie widzisz tego, ale coś obserwuje każdy Twój ruch na stole. Pod przezroczystą powierzchnią ukryty komputerowy system wizyjny przekształca świat fizyczny w dane cyfrowe. Konfiguracja jest prosta, ale skuteczna: kamera i projektor ukryte pod drzewem. Obydwa skierowane są w górę, ale wykonują zupełnie inne zadania.
Kamera to oczy. Działa na reacTIVision, wyspecjalizowanym silniku wizyjnym zaprojektowanym do interakcji opartej na tabelach. Ona nie widzi tylko plastikowych przedmiotów. Analizuje konkretne dane w czasie rzeczywistym. Która strona bloku jest skierowana w dół? Gdzie się on znajduje względem środka stołu? Jak daleko jest do drugiego bloku? System śledzi również rotację. Jeśli obrócisz obiekt wokół własnej osi, system to zarejestruje. Każda fizyczna zmiana wpływa na ton, filtry lub efekty, a reacTIVision natychmiast wychwytuje te zmiany.
Od ruchu po dźwięk i światło
Co się więc stanie, gdy kamera zobaczy bloki? Dane trafiają do menedżera połączeń. Tutaj magia rozdziela się na dwie ścieżki.
Najpierw informacja jest wysyłana do syntezatora audio. Syntezator interpretuje położenie bloków jako instrukcje muzyczne. Generuje dźwięk i wysyła go do głośników. To jest muzyka, którą tworzą gracze.
Po drugie, te same dane przesyłane są do projektora. W przeciwieństwie do kamery, która obserwuje, projektor tworzy. Rzuca światło w górę przez niebieski półprzezroczysty blat. Rysuje animacje bezpośrednio na powierzchni. Te wizualizacje zapewniają natychmiastową informację zwrotną. Gracze widzą, w co grają. Widzowie dostrzegają logikę stojącą za tym hałasem. To zamyka cykl pomiędzy akcją i reakcją.
Obserwacja w akcji
Studenci i badacze, którzy stworzyli materiał reaktywny, nie trzymają go w laboratorium. Zabierają go ze sobą w podróż. Zobaczysz go na festiwalach muzycznych, konferencjach technologicznych i w muzeach. Jeśli chcesz być świadkiem występu na żywo, sprawdź oficjalną stronę Reactable, aby zobaczyć nadchodzące występy.
W planach jest komercyjna sprzedaż urządzenia, choć cena nie została jeszcze ogłoszona. Jeśli nie możesz się doczekać lub nie możesz zdobyć biletów, Björk będzie dla Ciebie najlepszą opcją. Zasłynęła z używania tego syntezatora podczas tras koncertowych. Jeśli przywiezie go do Twojego miasta, pamiętaj, aby się z nią spotkać, gdy będzie faworyzowała ten instrument.
Aby uzyskać więcej informacji na temat technologii stojących za tymi narzędziami, zapoznaj się z poniższymi zasobami.
Jeszcze więcej informacji
Powiązane artykuły z HowStuffWorks
- Jak działają oscylatory
- Jak działa MIDI
- Jak działają trasy koncertowe?
- Jak działa oprogramowanie do miksowania muzyki
- Jak działa sprzęt grupowy
- Jak działają gitary elektryczne
Dodatkowe przydatne linki
- Strona główna reaguje
Źródła
- Andrews, Robert. „Syntezator dotykowy ReacTable przykuł uwagę Björk i jej uszy.” Przewodowy. 9 sierpnia 2007
- EARS: Witryna z zasobami elektroakustycznymi. „Muzyka elektroakustyczna”.
- Jorda, Sergi, Günter Geiger, Marcos Alonso i Martin Kaltenbrunner. „ReacTable: badanie synergii między występami muzycznymi na żywo a dotykowymi interfejsami stołowymi”. Grupa Technologii Muzycznych, Uniwersytet Pompeu Fabra. 2007
- Jorda, Sergi, Günter Geiger, Marcos Alonso i Martin Kaltenbrunner. „ReacTable: wspólny instrument muzyczny”. Grupa Technologii Muzycznych, Uniwersytet Pompeu Fabra. 2006
- Kaltenbrunner, Martin i Ross Bennika. „reacTIVision: komputerowy system wizyjny do interakcji dotykowej opartej na stole”. Grupa Technologii Muzycznych, Uniwersytet Pompeu Fabra. 2007
