Ми всі їх бачили. Пластикові кубики. Основні кольори. Хаотично складені на килимі. Вони є універсальним символом раннього інтелекту та неприборканої уяви. Ви берете червоний кубик, кладете зверху синій. У вас раптово виходить вежа. Додайте літери чи фігури – і у вас з’являються візерунки. Це проста фізика та гра.
Потім ви ставите ці кубики на стіл.
Динаміка миттєво змінюється. Стіл – це не просто поверхня. Це місце для зустрічей. У початкових школах круглі столи замінюють лави парт, щоб стимулювати співпрацю. Архітектори розкладають на них креслення. Митці створюють там скульптури. Сам об’єкт стає сценою для колективних зусиль, а чи не одиночної гри.
Чотири випускники Барселонського університету Помпеу Фабра (Universitat Pompeu Fabra) застосували цю логіку та додали до неї звук. Вони хотіли не просто іграшку. Вони хотіли спільного інструменту. Результатом став Reactable.
Більше, ніж просто синтезатор
У своїй основі Reactable функціонує як музичний синтезатор. Якщо ви коли-небудь слухали сучасну електронну музику, звуковий профіль здасться вам знайомим. Глибокий бас. Чіткі удари. Синтетичні текстури. Але ж інтерфейс? Цілком чужий.
Традиційні синтезатори мають ручки керування. Вони мають слайдери. У них є ієрархія входів, яка може залякати будь-якої, що не має музичної освіти. Reactable усуває цей бар’єр. Він покладається на фізичне маніпулювання.
Користувачі керують звуком, переміщуючи блоки великого круглого столу. Це тактильно. Це соціально. Ви повертаєте блок, щоб змінити частоту. Ви переміщаєте його до іншого місця, щоб змінити ритм. Декілька людей можуть одночасно працювати над одним звуковим ландшафтом. Немає «неправильного» способу це робити, є лише різні звукові результати.
Візуалізація шуму
Цей досвід не лише слуховий. Він також глибоко візуальний.
Поверхня столу напівпрозора, синього кольору. Під склом або всередині нього пульсують та змінюються динамічні анімації. Ці вогні – не просто прикраса. Вони виділяють музичні зміни у реальному часі. Ви бачите, як падає бас. Ви бачите як змінюється мелодія.
Для музикантів – це інструмент. Для глядачів – театр. Reactable – це інструмент, який потребує уваги не менше, ніж слуху. Він перетворює абстрактний акт синтезу звуку на видиму, спільну подію.
Механіка гри
Щоб зрозуміти Reactable, потрібно відмовитися від того, як ми зазвичай думаємо про комп’ютери. Тут немає клавіатури. Немає мишей. Тільки геометрія та гравітація.
Система зіставляє фізичні позиції із параметрами звуку.
– Обертання часто керує висотою тону або модуляцією.
– Положення на столі може визначати частотні діапазони або просторове розміщення у міксі.
– Взаємодія між блоками може запускати ефекти чи гармонії.
Ця філософія дизайну стирає межу між дитячою цікавістю та професійним твором. Архітектор може накидати структуру тому ж столі, де композитор пише мелодію. Змінюється середовище. Дух співпраці залишається тим самим.
Виявляється, що розміщення блоків на столі — це не лише побудова веж. Це створення пісень. І іноді найкращий спосіб зрозуміти складну технологію — це ставитись до неї як до ігрового майданчика. Результати можуть бути напрочуд гучними.
У своїй основі Reactable це просто синтезатор. Це інструмент, призначений для електронного управління темпом і нотами, що перетворює звукові хвилі на форми, які важко отримати за допомогою піаніно або гітари. Повернувши ручку на традиційній клавіатурі, утримуючи клавішу, можна змусити висоту тону коливатися. Так створюються моторошні, наростаючі електронні текстури. Reactable робить те саме, але прибирає приховані механічні елементи.
Чотири студенти Барселонського університету Помпеу Фабра – Серхі Жорда, Мартін Кальтенбруннер, Гюнтер Гайгер та Маркос Альонсо – створили його з конкретною метою. Вони не хотіли створювати ще одну сольну робочу станцію. Вони хотіли співробітництва. Стіл круглий. Він запрошує до колективної гри. Ви не сидите за ним; ви стоїте довкола нього.
Reactable — це «новий розрахований на багато користувачів електроакустичний музичний інструмент з тактильним користувальницьким інтерфейсом на столі»
Це звучить як академічний жаргон, поки ви не розберете його частинами. Розрахований на багато користувачів означає, що одночасно можуть стояти чотири, п’ять або шість осіб. Електроакустичний все просто: весь звук генерується електронним способом. Тактильний інтерфейс – ключовий момент. Ви не клацаєте мишею і не вводите команди. Ви берете до рук фізичні блоки. Ви повертаєте їх. Ви переміщаєте їх. Це схоже на обертання ручок класичного синтезатора, тільки ви бачите зв’язок між ними.
Філософія дизайну була суворою. Інструмент має бути інтуїтивно зрозумілим. Якщо ви підійде до нього без інструкції, ви не повинні загубитися. Візьміть блок. Покладіть його. Вийміть звук. Освоїти його складно, безперечно. Але основи доступні. Навіть новачок може змусити його виглядати та звучати круто. Досвідчений діджей може провести годинник, досліджуючи його глибину.
Об’єкти Reactable
Так що відбувається, коли ви розміщуєте ці куби на поверхні? І як ви відрізняєте один від одного?
Система спирається на візуальний зворотний зв’язок та фізичну логіку. Кожен блок є певною функцією в аудіопотоці. Є модулі для осциляторів (генерація звуку), фільтрів (формування тону) та ефектів (додавання текстури). Коли ви розміщуєте два блоки близько один до одного, на поверхні столу спалахує лінія з’єднання. Система розпізнає близькість та створює сигнал між ними.
Цей тактильний інтерфейс змінює те, як музиканти думають про композицію. Ви не просто чуєте результат; ви бачите структуру. Якщо ви перемістите блок фільтра ближче до осцилятора, зв’язок стає очевидним. Вона просторова. Вона спільна.
Від музеїв до сцени Бйорк
Протягом багатьох років Reactale жив у світі технологічних демонстрацій. Він отримав Золоту Нікку на Ars Electronica. Він отримав Премію міста Барселони у 2007 році. Це було диво інженерії та дизайну, що демонструвалося у музеях та на фестивалях. Але він залишався дивиною.
Потім Бьорк побачила його.
Ісландська музикант переглянула відео пристрою на YouTube. Вона побачила не просто круту іграшку; вона побачила сценічний реквізит, який відповідає її художньому баченню. Вона найняла команду для створення версії турів. Вона запросила діджея, який міг грати на ньому під час її туру Volta. Раптом Reactable перестав бути просто дослідницьким проектом. Він став частиною глобальної поп-вистави.
Візуальний елемент став центральним. З’єднання, що світяться, фізичне маніпулювання звуком додали шар перформансу, який не міг зрівнятися з ноутбуком або стійкою синтезаторів. Глядачі могли бачити, як створюється музика. Вони могли бачити причину та слідство.
Ця дія змінила все. Це довело, що складна технологія може бути доступною, навіть театральною. Reactable перемістився з лабораторії на арену. Він показав, що тактильні інтерфейси призначені як для інженерів. Вони призначені для виконавців. Вони призначені для людей, які хочуть торкатися музики.
Чому це важливо зараз
Ми пройшли етап початкового ажіотажу. Але принципи залишаються актуальними. Reactable продемонстрував, що пряме маніпулювання цифровими інтерфейсами може бути більш цікавим, ніж абстрактне меню. Він показав, що співпраця може бути вбудована в апаратне забезпечення.
Сьогодні ми бачимо відлуння цього в інших інструментах. Деякі використовують керування жестами. Інші використовують сенсорні екрани. Але Reactable був одним із перших, кому вдалося зробити невидиме видимим. Він зробив шлях сигналу фізичною річчю, яку можна доторкнутися.
Йдеться не просто про створення шуму. Йдеться про те, щоб зробити процес створення шуму зрозумілим. Прозорим. Спільним.
Блоки досі лежать на столі. Світильники все ще світяться. Але реальне зрушення полягає в тому, як ми розуміємо взаємодію. Ми більше не просто вводимо дані. Ми маніпулюємо простором. Ми формуємо звук руками. І ми можемо це робити разом.
Є різниця між тим, щоб побачити форму хвилі на екрані та спостерігати, як лінія світла з’єднує два куби. Перше – це інформація. Друге – це досвід. Reactable вибрав друге. Він вибрав бути відчутним, а не лише чутним.
Дотик до блоку столу схожий на запуск циклу. Але якщо різко покласти один квадрат, ви лише поверхово торкнетесь теми. Магія криється у геометрії. Те, як ви розміщуєте ці фігури щодо один одного, визначає звук.
Існує шість різних типів блоків. У кожного унікальна форма та конкретна звукова функція. Якщо їх переплутати, музика розсиплеться.
Генератори звуку
Почнемо із квадратів. Вони видають звук. Поверніть один із них, і ви зміните частоту. Проведіть пальцем його анімованим кільцем, щоб збільшити або зменшити амплітуду. Це схоже на поворот ручки гучності на старому ламповому телевізорі.
Бажаєте заглушити його? Виконайте різальний рух по лінії, що з’єднує блок із центром столу. Це перериває сигнал. Торкніться кільця знову, щоб повернути його. Просто.
Фільтри та контролери
Далі йдуть квадрати із округленими краями. Це звукові фільтри. Вони – гітарні педалі ефектами реактаблу. Додайте фленджер, фазу або зворотний зв’язок. Підключіть стабільну синусоїду до фільтра та спостерігайте, як вона спотворюється у щось різке та цікаве.
Потім є кола. Контролери. Вони передають дані сусіднім елементам. Перемістіть контролер поруч із генератором, і ви зміните його частоту. Ви можете отримати чистий, плавний тон або спотворити його ефект вау-вау.
Складна геометрія
Октагони та п’ятикутники – тут стає цікаво.
Контролери фільтрів (восьмикутні) та аудіомікшери (п’ятикутні) виконують основну роботу. Вони діють як семплери. Ви не просто зациклюєте тон; ви будуєте складні мелодійні лінії. Вони гармонізують. Змінюють тональність. Змінюють форму.
Глобальне управління
Напівсферичні блоки – це “глобальні об’єкти”. Вони утворюють кругове поле. Все, що знаходиться всередині цього поля, піддається впливу. Зазвичай діють як метроном. Вони задають темп. Або функціонують як тон-коректор, виправляючи дрейф висоти тону генераторів та фільтрів.
Апаратна частина – це просто пластик та датчики. Програмне забезпечення виконує основну роботу. Воно переводить геометрію в аудіо. Зокрема, воно використовує reacTIVision.
Як двигун reacTIVision відстежує фізичні блоки
Ви не бачите цього, але щось стежить за кожним вашим рухом на столі. Під напівпрозорою поверхнею прихована система комп’ютерного зору перетворює фізичний світ на цифрові дані. Конфігурація проста, але ефективна: камера та проектор, заховані під деревом. Обидва спрямовані вгору, але виконують різні завдання.
Камера – це очі. Вона працює на базі reacTIVision, спеціалізованого двигуна комп’ютерного зору, призначеного для взаємодії на основі столів. Вона не просто бачить пластикові об’єкти. Вона аналізує конкретні дані у реальному часі. Якою стороною блок перетворено вниз? Де він знаходиться щодо центру столу? Як далеко вона знаходиться від іншого блоку? Система також відстежує обертання. Якщо ви обертаєте об’єкт навколо осі, система це фіксує. Кожна фізична зміна впливає на тон, фільтри або ефекти, і reacTIVision миттєво фіксує ці зміни.
Від руху до звуку та світла
Отже, що відбувається після того, як камера бачить блоки? Дані надходять у менеджер з’єднань. Тут магія поділяється на два шляхи.
По-перше, інформація надсилається до аудіо-синтезатора. Синтезатор інтерпретує становище блоків як музичні інструкції. Він генерує звук та виводить його на динаміки. Це і є музика, яку творять гравці.
По-друге, ті самі дані надходять на проектор. На відміну від камери, що спостерігає, створює проектор. Він проектує світло нагору, крізь синю напівпрозору стільницю. Він малює анімації безпосередньо на поверхні. Ці візуальні ефекти забезпечують негайний зворотний зв’язок. Гравці бачать, що вони грають. Глядачі вбачають логіку за шумом. Це замикає цикл між дією та реакцією.
Спостереження в дії
Студенти та дослідники, які створили reactable, не тримають його в лабораторії. Вони беруть його із собою в дорогу. Ви побачите його на музичних фестивалях, технологічних конференціях та в музеях. Якщо ви хочете стати свідком живого виступу, перевірте офіційний сайт reactable щодо майбутніх появ.
Існують плани з комерційного продажу пристрою, хоча ціна поки не оголошена. Якщо ви не можете чекати або не можете отримати квитки, Бьорк — ваш наступний найкращий варіант. Вона відома тим, що використовувала цей синтезатор на гастролях. Якщо вона привезе його до вашого міста, встигніть побачити її, поки вона віддає перевагу цьому інструменту.
Для отримання додаткової інформації про технології, що лежать в основі цих інструментів, перегляньте ресурси нижче.
Ще більше інформації
Статті HowStuffWorks по темі
- Як працюють осцилятори
- Як працює MIDI
- Як працюють концертні тури
- Як працює програмне забезпечення для музики
- Як працює обладнання для груп
- Як працюють електричні гітари
Додаткові корисні посилання
- Домашня сторінка reactable
Джерела
- Ендрюс, Роберте. “Тактильний синтезатор ReacTable привернув увагу Бйорк – і слух”. Wired. 9 серпня 2007 р.
- EARS: ElectroAcoustic Resource Site. “Електроакустична музика”.
- Хорда, Серджі, Гюнтер Гейгер, Маркос Алонсо та Мартін Кальтенбруннер. «The reacTable: вивчення синергії між живим музичним виконанням та тактильними інтерфейсами на столі». Група музичних технологій Університет Помпеу Фабра. 2007 р.
- Хорда, Серджі, Гюнтер Гейгер, Маркос Алонсо та Мартін Кальтенбруннер. “The reacTable: спільний музичний інструмент”. Група музичних технологій Університет Помпеу Фабра. 2006 р.
- Кальтенбруннер, Мартін та Рос Бенніка. “reacTIVision: система комп’ютерного зору для тактильної взаємодії на основі столів”. Група музичних технологій Університет Помпеу Фабра. 2007 р.
