Синестезия в вашем браузере

Этот экспериментальный инструмент использует HTML5 Canvas и Web Audio API для перевода изображения в звук. Луч сканирует рисунок кадр за кадром: чем ярче пиксель, тем громче звук, чем выше он расположен, тем выше нота. Читать рисунок можно тремя способами — слева направо, сверху вниз или кольцом из центра, и одна и та же картинка каждый раз звучит иначе.

Цвет кисти выбирает инструмент. Подушка вступает медленно и тянется, пиццикато щёлкает и гаснет, лид звучит пилой через фильтр, колокол долго затухает — поэтому рисование превращается в оркестровку, а не только в набор нот. Ноты берутся из выбранной гаммы: минорная и мажорная пентатоника, дорийский лад, хирадзёси. Фальшивых сочетаний в них нет, поэтому любой рисунок звучит согласованно.

Звук проходит через фильтр, задержку и ревер на свёртке. Можно переключить режим ритма, и тогда все звуки притягиваются к сетке заданного темпа — из рисунка выходит грув вместо эмбиентной пелены. Готовый результат записывается в файл кнопкой REC, а рисунок сохраняется в PNG. Ещё можно загрузить фотографию, чтобы «послушать» её, или написать слово — текст рисуется на холсте и читается тем же лучом.