Пятница, 26 ноября 2021 08:10

ИИ для руки барабанщика

maxresdefault 1

Джейсон Барнс с детства мечтал стать профессиональным барабанщиком. Но его мечта оказалась под угрозой, когда в январе 2012 в возрасте 22 лет, очищая систему вентиляции в ресторане, он получил мощный удар током. Его правая рука оказалась так сильно повреждена, что после многочисленных сложных операций (в том числе по пересадке кожи) врачи не смогли найти лучшего решения, кроме как ампутировать Джейсону всю кисть.
Парень должен был смириться с трагедией музыканта – вместо ударных партий рок-н-ролла, ему выпал рок судьбы. Казалось, что это перечеркнет не только его музыкальные амбиции, но и значительную часть возможностей обыденной жизни. Сперва так оно и было.
Из больницы Джейсон выписался с медицинскими счетами на полмиллиона долларов и незначительной компенсацией от работодателей. Ему пришлось бросить работу, отказаться от своего жилья и переехать к маме. Подавленный и искалеченный он сходил с ума от скуки.
Но уже через три недели после выписки, Джейсон собрал свою старую барабанную установку в гараже матери, примотал барабанную палочку к своей культе скотчем и попробовал сыграть. Из-за боли он смог продержаться всего минуту, но эта минута определила его будущее.
Сначала Джейсон заказал себе протез в компании TRS Inc., занимающейся производством приспособлений для стрельбы из лука, тяжелой атлетики, рыбалки и других увлечений. Он модифицировал полученное устройство с помощью самодельных механизмов из пружин. Его целью было создать обратный импульс в палочке, чтобы протез имитировал отдачу в хватке барабанщика.
Джейсон тренировался с этим приспособлением около года и в результате прошел прослушивание в Институте музыки и медиа Атланты (Atlanta Institute of Music and Media). Преподаватель по ударным Эрик Сандерс был впечатлен решимостью и упорством парня, и осенью 2013 Джейсона зачислили на первый курс.

Dzhejson Barns odnorukij barabanshhik s umnym protezom s iskusstvennym intellektom

Но несмотря на все старания, оставались такие вещи, которые Джейсон не мог делать. Хватка барабанщика может сжиматься или ослабевать, но без пальцев хватка остается неизменной.

Джейсон начал изучать миоэлектрические протезы. Такими протезами можно управлять с помощью электрических импульсов, генерируемых мышцами тела. Парень предположил, что сможет использовать мышечное напряжение в правом предплечье, чтобы посылать сигналы механической руке, и тем самым контролировать хватку барабанной палочки.
Когда Джейсон рассказал о своей фантазии Эрику Сандерсу, тот заявил, что схожие идеи уже имеют вполне оформленную концепцию. Так Сандерс познакомил Джейсона с Гилом Вайнбергом – джазовым пианистом, профессором и изобретателем, обладающим крайне нестандартным мышлением.
Если Джейсон представлял себе устройство, способное повторять движения обычной руки, то идеи Вайнберга шли еще дальше. Профессор хотел создать что-то сверхчеловеческое, что-то, что могло бы играть на барабанах так, как не играл ещё никто.

maxresdefault 2

Вайнберг получил грант от Национального научного фонда на реализацию проекта и приступил к созданию руки для Джейсона стоимостью $ 50 000. Профессор планировал представить свое изобретение на фестивале науки в Атланте, до которого оставалось менее восьми месяцев, поэтому сроки были сжатыми.
В распоряжении изобретателя были все силы и возможности компании Meka Robotics. Используя легкую алюминиевую раму, Вайнберг собрал миоэлектрический протез с крошечными, но мощными реверсивными электродвигателями, которые обеспечивают работу колес с ременным приводом, необходимых для большей подвижности палочки. В устройство была встроена вторая барабанная палочка, которую Джейсон мог использовать по своему усмотрению, но которая также обладала собственным искусственным интеллектом, могла подстраиваться под действия Джейсона и даже импровизировать.
«Музыка очень чувствительна ко времени. Вы можете услышать разницу между двумя ударами, даже если их разделяет несколько миллисекунд», – говорит Вайнберг – Если мы используем машинное обучение, реагирующее на микроимпульсы в мышцах Джейсона, чтобы определить, когда он собирается ударить, то палочка ударяет в этот самый момент, и игра обеих рук становится согласованной».

Вайнберг заявляет, что такая технология синхронизации может быть использована в будущем для управления встроенной третьей механической рукой в операциях, требующих особого временного контроля. Например, алгоритмы миоэлектрического предвидения Вайнберга могут быть использованы, чтобы помочь астронавтам или хирургам выполнять сложные физические задачи синхронно с роботизированными устройствами.
Для Джейсона все дело, конечно же, в музыке. Поскольку встроенный чип может контролировать скорость барабанных палочек, протез можно запрограммировать на игру двумя палочками в разном ритме. Он также может двигать палочками быстрее, чем это возможно для человека – около 20 ударов в секунду.

jan robotic drumming

Двести человек пришли в Государственный университет Кеннесоу, чтобы услышать выступление молодого киборга-барабанщика на открытии первого научного фестиваля в Атланте.
Джейсон сел за свою ударную установку и сыграл перкуссионный дуэт с Сандерсом, а после версию классической песни Майлза Дэвиса "So What?" в сопровождении Вайнберга за фортепиано.
Затем профессор объявил, что скачал несколько ритмических рисунков, созданных ученым (и барабанщиком) Ричардом Фейнманом, и загрузил эти ритмы в руку Джейсона. Это позволило парню сыграть дуэтом с уже ушедшим физиком-теоретиком.

И хотя стать первым музыкантом-киборгом было очень весело и необычно, роботизированная рука не решила всех проблем Джейсона.
Дело в том, что дорогостоящий протез принадлежит не самому парню, а Технологическому институту Джорджии. И хотя Джейсон благодарен судьбе за участие в эксперименте Вайнберга, очевидно, что он отдает предпочтение своему старому протезу. Возможно, его старая рука-палочка и не обладает собственным разумом, но зато она легче и проще в обращении. Протез Вайнберга, в свою очередь, весит почти два килограмма – это все равно что держать кварту пива на расстоянии вытянутой руки, пытаясь играть музыку.
Жизнь музыканта – это вызов, а для барабанщиков плавание еще сложнее, учитывая популярность электронной танцевальной музыки и компьютеризированных ритмов.
«Наверняка некоторые барабанщики позавидуют тому, что я теперь могу делать», – сказал как-то Джейсон – «Скорость - это хорошо. Быстрее всегда лучше».

Опубликовано в Технологии

Если вы когда-нибудь окажетесь в Нидерландах, вы будете по-настоящему шокированы уникальным маркетинговым ходом популярной на весь мир сети ресторанов быстрого питания McDonald's.

Опубликовано в Технологии

Всем давно известно, что музыка - это путешествие, полное открытий. Но наука идёт вперёд, а за ней появляются новые открытия (в том числе и в музыке), такие, как ZOOM ARQ Aero RhythmTrak.

Опубликовано в Технологии

Фраза "Занимайтесь музыкой, а не войной" как никогда актуальна для 40-летнего мексиканского скульптора и художника Педро Рейеса (Pedro Reyes), превратившего инструменты для убийства в инструменты искусства, в данном случае - музыкального.

Опубликовано в Арт

Ссылки