Мы все их видели. Пластиковые кубики. Основные цвета. Хаотично сложенные на ковре. Они являются универсальным символом раннего интеллекта и неукротимого воображения. Вы берете красный кубик, кладете сверху синий. У вас внезапно получается башня. Добавьте буквы или фигуры — и у вас появляются узоры. Это простая физика и игра.
Затем вы ставите эти кубики на стол.
Динамика мгновенно меняется. Стол — это не просто поверхность. Это место для встреч. В начальных школах круглые столы заменяют ряды парт, чтобы стимулировать сотрудничество. Архитекторы раскладывают на них чертежи. Художники создают там скульптуры. Сам объект становится сценой для коллективных усилий, а не одиночной игры.
Четыре выпускника Барселонского университета Помпеу Фабра (Universitat Pompeu Fabra) применили эту логику и добавили к ней звук. Они хотели не просто игрушку. Они хотели совместный инструмент. Результатом стал Reactable.
Больше, чем просто синтезатор
В своей основе Reactable функционирует как музыкальный синтезатор. Если вы когда-либо слушали современную электронную танцевальную музыку, звуковой профиль покажется вам знакомым. Глубокий бас. Четкие удары. Синтетические текстуры. Но интерфейс? Совершенно чуждый.
Традиционные синтезаторы имеют ручки управления. У них есть слайдеры. У них есть иерархия входов, которая может запугать любого, не имеющего музыкального образования. Reactable устраняет этот барьер. Он полагается на физическое манипулирование.
Пользователи управляют звуком, перемещая блоки по большому круглому столу. Это тактильно. Это социально. Вы поворачиваете блок, чтобы изменить частоту. Вы перемещаете его в другое место, чтобы изменить ритм. Несколько человек могут одновременно работать над одним звуковым ландшафтом. Не существует «неправильного» способа это делать, есть только различные звуковые результаты.
Визуализация шума
Этот опыт — не только слуховой. Он также глубоко визуален.
Поверхность стола полупрозрачная, синего цвета. Под стеклом или внутри него пульсируют и меняются динамические анимации. Эти огни — не просто украшение. Они выделяют музыкальные изменения в реальном времени. Вы видите, как падает бас. Вы видите, как меняется мелодия.
Для музыкантов это инструмент. Для зрителей — театр. Reactable — это инструмент, который требует внимания не меньше, чем слуха. Он превращает абстрактный акт синтеза звука в видимое, совместное событие.
Механика игры
Чтобы понять Reactable, нужно отказаться от того, как мы обычно думаем о компьютерах. Здесь нет клавиатур. Нет мышей. Только геометрия и гравитация.
Система сопоставляет физические позиции с параметрами звука.
— Вращение часто управляет высотой тона или модуляцией.
— Положение на столе может определять частотные диапазоны или пространственное размещение в миксе.
— Взаимодействие между блоками может запускать эффекты или гармонии.
Эта философия дизайна стирает грань между детским любопытством и профессиональным сочинением. Архитектор может набросать структуру на том же столе, где композитор пишет мелодию. Меняется среда. Дух сотрудничества остается прежним.
Оказывается, что размещение блоков на столе — это не только построение башен. Это создание песен. И иногда лучший способ понять сложную технологию — это относиться к ней как к игровой площадке. Результаты могут быть удивительно громкими.
В своей основе Reactable — это просто синтезатор. Это инструмент, предназначенный для электронного управления темпом и нотами, преобразующий звуковые волны в формы, которые трудно получить с помощью пианино или гитары. Повернув ручку на традиционной клавиатуре, удерживая клавишу, можно заставить высоту тона колебаться. Так создаются жуткие, нарастающие электронные текстуры. Reactable делает то же самое, но убирает скрытые механические элементы.
Четыре студента Барселонского университета Помпеу Фабра — Серхи Жорда, Мартин Кальтенбруннер, Гюнтер Гайгер и Маркос Альонсо — создали его с конкретной целью. Они не хотели создавать еще одну сольную рабочую станцию. Они хотели сотрудничества. Стол круглый. Он приглашает к коллективной игре. Вы не сидите за ним; вы стоите вокруг него.
Reactable — это «новый многопользовательский электроакустический музыкальный инструмент с тактильным пользовательским интерфейсом на столе»
Это звучит как академический жаргон, пока вы не разберете его по частям. Многопользовательский означает, что одновременно могут стоять четыре, пять или шесть человек. Электроакустический — все просто: весь звук генерируется электронным способом. Тактильный пользовательский интерфейс — ключевой момент. Вы не кликаете мышью и не вводите команды. Вы берете в руки физические блоки. Вы поворачиваете их. Вы перемещаете их. Это похоже на вращение ручек классического синтезатора, только вы видите связи между ними.
Философия дизайна была строгой. Инструмент должен быть интуитивно понятным. Если вы подойдете к нему без инструкции, вы не должны потеряться. Возьмите блок. Положите его. Извлеките звук. Освоить его сложно, безусловно. Но основы доступны. Даже новичок может заставить его выглядеть и звучать круто. Опытный диджей может провести часы, исследуя его глубину.
Объекты Reactable
Так что происходит, когда вы размещаете эти кубы на поверхности? И как вы отличаете один от другого?
Система опирается на визуальную обратную связь и физическую логику. Каждый блок представляет собой определенную функцию в аудиопотоке. Есть модули для осцилляторов (генерация звука), фильтров (формирование тона) и эффектов (добавление текстуры). Когда вы размещаете два блока близко друг к другу, на поверхности стола загорается линия соединения. Система распознает близость и создает сигнал между ними.
Этот тактильный интерфейс меняет то, как музыканты думают о композиции. Вы не просто слышите результат; вы видите структуру. Если вы переместите блок фильтра ближе к осциллятору, связь становится явной. Она пространственная. Она совместная.
От музеев до сцены Бьорк
На протяжении многих лет Reactale жил в мире технологических демонстраций. Он получил Золотую Никку на Ars Electronica. Он получил Премию города Барселоны в 2007 году. Это было чудо инженерии и дизайна, демонстрировавшееся в музеях и на фестивалях. Но он оставался диковинкой.
Затем Бьорк увидела его.
Исландская музыкант посмотрела видео устройства на YouTube. Она увидела не просто крутую игрушку; она увидела сценический реквизит, соответствующий ее художественному видению. Она наняла команду для создания версии для туров. Она пригласила диджея, который мог играть на нем во время ее тура «Volta». Внезапно Reactable перестал быть просто исследовательским проектом. Он стал частью глобального поп-спектакля.
Визуальный элемент стал центральным. Светящиеся соединения, физическое манипулирование звуком добавили слой перформанса, который не мог сравниться с ноутбуком или стойкой синтезаторов. Зрители могли видеть, как создается музыка. Они могли видеть причину и следствие.
Это воздействие изменило все. Это доказало, что сложная технология может быть сделана доступной, даже театральной. Reactable переместился из лаборатории на арену. Он показал, что тактильные интерфейсы предназначены не только для инженеров. Они предназначены для исполнителей. Они предназначены для людей, которые хотят прикасаться к музыке.
Почему это важно сейчас
Мы прошли этап первоначального ажиотажа. Но принципы остаются актуальными. Reactable продемонстрировал, что прямое манипулирование цифровыми интерфейсами может быть более увлекательным, чем абстрактные меню. Он показал, что сотрудничество может быть встроено в аппаратное обеспечение.
Сегодня мы видим отголоски этого в других инструментах. Некоторые используют управление жестами. Другие используют сенсорные экраны. Но Reactable был одним из первых, кому удалось сделать невидимое видимым. Он сделал путь сигнала физической вещью, которую можно потрогать.
Речь идет не просто о создании шума. Речь идет о том, чтобы сделать процесс создания шума ясным. Прозрачным. Совместным.
Блоки все еще лежат на столе. Светильники все еще светятся. Но реальный сдвиг заключается в том, как мы понимаем взаимодействие. Мы больше не просто вводим данные. Мы манипулируем пространством. Мы формируем звук руками. И мы можем делать это вместе.
Есть разница между тем, чтобы увидеть форму волны на экране и наблюдать, как линия света соединяет два куба. Первое — это информация. Второе — это опыт. Reactable выбрал второе. Он выбрал быть ощутимым, а не только слышимым.
Прикосновение к блоку стола похоже на запуск цикла. Но если резко положить один квадрат, вы лишь поверхностно коснётесь темы. Магия кроется в геометрии. То, как вы размещаете эти фигуры относительно друг друга, определяет звук.
Существует шесть различных типов блоков. У каждого уникальная форма и конкретная звуковая функция. Если их перепутать, музыка рассыплется.
Генераторы звука
Начнём с квадратов. Они издают звук. Поверните один из них, и вы измените частоту. Проведите пальцем по его анимированному кольцу, чтобы увеличить или уменьшить амплитуду. Это похоже на поворот ручки громкости на старой ламповой телевизоре.
Хотите заглушить его? Выполните режущее движение по линии, соединяющей блок с центром стола. Это прерывает сигнал. Коснитесь кольца снова, чтобы вернуть его. Просто.
Фильтры и контроллеры
Далее идут квадраты со скруглёнными краями. Это звуковые фильтры. Они — гитарные педали эффектами реактабла. Добавьте фленджер, фазз или обратную связь. Подключите стабильную синусоиду к фильтру и наблюдайте, как она искажается в нечто резкое и интересное.
Затем есть круги. Контроллеры. Они передают данные соседним элементам. Переместите контроллер рядом с генератором, и вы измените его частоту. Вы можете получить чистый, плавный тон или исказить его в эффект вау-вау.
Сложная геометрия
Октагоны и пятиугольники — здесь становится интересно.
Контроллеры фильтров (восьмиугольные) и аудиомикшеры (пятиугольные) выполняют основную работу. Они действуют как семплеры. Вы не просто зацикливаете тон; вы строите сложные мелодические линии. Они гармонизируют. Меняют тональность. Меняют форму.
Глобальное управление
Полусферические блоки — это глобальные объекты. Они создают круговое поле. Всё, что находится внутри этого поля, подвергается воздействию. Обычно они действуют как метроном. Они задают темп. Или функционируют как тон-корректор, исправляя дрейф высоты тона генераторов и фильтров.
Аппаратная часть — это просто пластик и датчики. Программное обеспечение выполняет основную работу. Оно переводит геометрию в аудио. В частности, оно использует reacTIVision.
Как движок reacTIVision отслеживает физические блоки
Вы не видите этого, но что-то следит за каждым вашим движением на столе. Под полупрозрачной поверхностью скрытая система компьютерного зрения преобразует физический мир в цифровые данные. Конфигурация проста, но эффективна: камера и проектор, спрятанные под деревом. Оба направлены вверх, но выполняют совершенно разные задачи.
Камера — это глаза. Она работает на базе reacTIVision, специализированного движка компьютерного зрения, предназначенного для взаимодействия на основе столов. Она видит не просто пластиковые объекты. Она анализирует конкретные данные в реальном времени. Какой стороной блок обращен вниз? Где он находится относительно центра стола? Как далеко он находится от другого блока? Система также отслеживает вращение. Если вы вращаете объект вокруг своей оси, система это фиксирует. Каждое физическое изменение влияет на тон, фильтры или эффекты, и reacTIVision мгновенно фиксирует эти изменения.
От движения к звуку и свету
Итак, что происходит после того, как камера видит блоки? Данные поступают в менеджер соединений. Здесь магия разделяется на два пути.
Во-первых, информация направляется к аудио-синтезатору. Синтезатор интерпретирует положение блоков как музыкальные инструкции. Он генерирует звук и выводит его на динамики. Это и есть музыка, которую создают игроки.
Во-вторых, те же самые данные поступают на проектор. В отличие от камеры, которая наблюдает, проектор создает. Он проецирует свет вверх, сквозь синюю полупрозрачную столешницу. Он рисует анимации непосредственно на поверхности. Эти визуальные эффекты обеспечивают немедленную обратную связь. Игроки видят то, что они играют. Зрители видят логику за шумом. Это замыкает цикл между действием и реакцией.
Наблюдение в действии
Студенты и исследователи, создавшие reactable, не держат его в лаборатории. Они берут его с собой в дорогу. Вы увидите его на музыкальных фестивалях, технологических конференциях и в музеях. Если вы хотите стать свидетелем живого выступления, проверьте официальный сайт reactable на предмет предстоящих появлений.
Существуют планы по коммерческой продаже устройства, хотя цена пока не объявлена. Если вы не можете ждать или не можете получить билеты, Бьорк — ваш следующий лучший вариант. Она знаменита тем, что использовала этот синтезатор на гастролях. Если она привезет его в ваш город, успейте увидеть ее, пока она отдает предпочтение этому инструменту.
Для получения дополнительной информации о технологиях, лежащих в основе этих инструментов, ознакомьтесь с ресурсами ниже.
Еще больше информации
Статьи HowStuffWorks по теме
- Как работают осцилляторы
- Как работает MIDI
- Как работают концертные туры
- Как работает программное обеспечение для сведения музыки
- Как работает оборудование для групп
- Как работают электрические гитары
Дополнительные полезные ссылки
- Домашняя страница reactable
Источники
- Эндрюс, Роберт. «Тактильный синтезатор ReacTable привлек внимание Бьорк — и слух». Wired. 9 августа 2007 г.
- EARS: ElectroAcoustic Resource Site. «Электроакустическая музыка».
- Хорда, Серджи, Гюнтер Гейгер, Маркос Алонсо и Мартин Кальтенбруннер. «The reacTable: изучение синергии между живым музыкальным исполнением и тактильными интерфейсами на столе». Группа музыкальных технологий, Университет Помпеу Фабра. 2007 г.
- Хорда, Серджи, Гюнтер Гейгер, Маркос Алонсо и Мартин Кальтенбруннер. «The reacTable: совместный музыкальный инструмент». Группа музыкальных технологий, Университет Помпеу Фабра. 2006 г.
- Кальтенбруннер, Мартин и Росс Бенника. «reacTIVision: система компьютерного зрения для тактильного взаимодействия на основе столов». Группа музыкальных технологий, Университет Помпеу Фабра. 2007 г.
