Вы здесь

Обработка сигналов в реальном режиме времени, звука. Биомузыка.

Довольно таки часто в голову творческому человеку приходит мысль, что хорошо бы получить нечто музыкальное, благозвучное с помощью нетривиальных средств. Разрабатываются контроллеры, которые подключаются к аппаратно-программным комплексам. Посредником между био-датчиками и программами выступают различные микроконтроллеры (например, ARDUINO; статья в википедии, проекты).

С музыкальными контроллерами все понятно - клавиатуры, барабаны, духовые... Они передают реальную физику, кодируют то, каким образом музыкант взаимодействует с инструментом, улавливают тонкие нюансы исполнения (надеюсь, что здесь я не сильно приукрасил), силу воздушного потока и его модуляции, скорость, атаку  и силу нажатия на клавиши...

Интереснее обстоит дело, если музыканты пытаются работать с биосигналами, используя их в качестве источника midi-сообщений. Датчики отслеживают различные параметры, которые передаются на компьютер и кодируются в ноты "как доктор прописал". Все вычисления происходят за доли секунды в реальном режиме времени. Например, датчики приклеиваются на поверхности кожи человека и реагируют на мышечные сокращения (миограмма), биоэлектрическую активность мозга (энцефалограмма). Различные оцифрованные био-параметры поступают на компьютер и преобразуется специфическим образом в миди-сообщения... Так рождается биомузыка.

А зачем и кому нужна биомузыка?! Во первых, звучит она очень необычно и органично, если с головой у музыканта все в порядке и присутствует самокритика. Если он не несет в массы откровенно сырой и не эстетичный, мягко говоря, продукт. Во вторых, это принципиально может использоваться в биологической обратной связи (БОС).

Принцип БОС такой, если человек сможет наблюдать с помощью подручных средств и осознавать какую-либо вегетативную функцию непрерывно и достаточно продолжительное время, сопоставит свои внутренние ощущения с тем что он видит на мониторе или слышит в наушниках, то он сможет научиться ее сознательно регулировать (например, пульс, дыхание, биоэлектрическую активность головного мозга, силу мышечных сокращений, температуру тела, электрическое сопротивление кожи и др.). Это широко используется в реабилитологии, но не ограничивается ей.

В реальном режиме времени работают различные программы. Хочу упомянуть пока лишь коммерческий  Max/MSP и его бесплатного собрата Pure Data - это объектно-ориентированная графическая среда программирования для обработки аудио, видео сигналов в режиме реального времени. При настойчивости в освоении MAX/MSP и наличии свежих идей можно добиться впечатляющих результатов. В интернете в свободном доступе есть базы данных  с боле чем "4370 объектами и 130 библиотеками" и подробная документация.


Вот, пример. С ФПГ-датчиков (фотоплетизмографические биосенсоры) считывается информация и поступает в связку MAX/MSP + Live, где происходит фантастическая трансформация биосигналов в слышимый звук. Народ (музакантропоидов) плющит и колбасит не от того, что это звучит прекрасно, но от того, что необычно и модерново.


А это демонстрация генерации звука на основе сигналов, поступающих от электрокардиографического, температурного и датчика дыхания.


И еще, в качестве хохмы. Мускульная музыка.

 

 


Задержка ( latency times)

При последовательном прохождении сигнала через звуковой тракт и наложении на него эффектов реального времени - привносится задержка, что связано с физическими свойствами и ограничениями звуковой карты, драйверами устройств и вычислительной мощностью процессора компьютера.

  • Менее 10 мс - позволяет в режиме реального времени комфортно осуществлять мониторинг сигнала со всеми преобразованиями. Результирующий звук осознается связанным с событием его породившим.
  • 10 мс - задержка может быть обнаружена на слух, но звучит естественно и может использоваться для мониторинга.
  • 11-20 мс - непригодна для мониторинга.

В большинстве случаев установка ASIO драйвера позволяет уменьшить задержку.

Интересная статья "Биомузыка Киберпространства". А здесь, Андрей Смирнов делится своим опытом создания музыки, необычных устройств, алгоритмов синтеза звуков, при этом активно используется MAX/MSP. Примеры выложены на его сайте.

Волшебное слово: guest.