"Русский переплет" зарегистрирован как СМИ.
Свидетельство о регистрации в Министерстве печати РФ: Эл. #77-4362 от
5 февраля 2001 года. При полном или частичном использовании
материалов ссылка на www.pereplet.ru обязательна.
|
|
22.06.2018
17:03 |
Нейросеть Facebook предсказала движения музыкантов по аудиозаписи 
Разработчики из Facebook представили нейросеть, которая умеет предсказывать движения рук музыканта по аудиозаписи. Система слушает музыкальную композицию и одновременно проецирует в дополненной реальности аватара, играющего мелодию. Программисты, чья статья была представлена на конференции Conference on Computer Vision and Pattern Recognition (CVPR), считают, что разработка может быть полезна для обучения игре на музыкальных инструментах.
Сегодня для самостоятельного обучение игре на различных инструментах используются разные приложения и видеоуроки. Однако они, как правило, позволяют рассмотреть движения музыканта лишь с определенного ракурса. Перенос учителя в виртуальную или дополненную реальность может быть удобен для пользователей, так как он позволит им полностью увидеть правильную постановку рук при игре на инструменте.
Группа разработчиков под руководством Эли Шлицермана (Eli Shlizerman) решила создать виртуальный аватар, который бы мог имитировать движения рук пианиста или скрипача, основываясь на аудиозаписи. Для этого они использовали LSTM-нейросеть. Это разновидность архитектуры рекуррентных нейросетей, где каждый слой имеет обратную связь с другими слоями и обладает своеобразной памятью, позволяющей учиться на своих ошибках и усваивать долгосрочные связи (подробнее об LSTM-нейросетях можно почитать в нашем материале «Самая человеческая задача»).
В качестве данных для обучения программисты использовали публично доступные видеозаписи, на которых профессионалы играют на музыкальных инструментах без аккомпанемента. Для пианино исследователям удалось собрать 3,6 часа материала, для скрипки — 4,4 часа. На каждом кадре видеозаписи нейросеть определяла, где находятся руки и пальцы исполнителя и строила скелетную модель. Она сопоставляла эти данные с мел-частотным кепстральными коэффициентами, которые используются в качестве характеристики аудиосигналов. Важно заметить, что исследователи не использовали midi-файлы, поэтому нейросеть не обучалась зависимостям между нотами и, например, конкретными клавишами пианино.
В результате программа научилась определять взаимосвязь между характеристиками звука и движениями рук музыканта и строить предсказания. Созданную нейросетью скелетную модель разработчики использовали для создания аватара в дополненной реальности. Итог их работы можно увидеть на видео ниже:
На видеоролике хорошо видно, что аватар скорее подражает музыкантам, чем полноценно повторяет их движения. Тем не менее, движения виртуального персонажа выглядят вполне естественно. По мнению создателей, в будущем подобная технология может найти множество применений. Например, аватар может быть использован для обучения — в то время как он будет копировать движения профессионала в виртуальной реальности, пользователь сможет обойти его с разных сторон и понаблюдать за техникой игры.
Сегодня виртуальные аватары все чаще используются для решения различных задач. Например, с их помощью предлагают опрашивать свидетелей преступления, лечить больных шизофренией и парализованных людей.
По информации https://nplus1.ru/news/2018/06/22/facebook-music
|
|
22.06.2018
16:58 |
Общую теорию относительности подтвердили на галактических масштабах 
Астрономы из Великобритании и Германии подтвердили, что Общая теория относительности хорошо работает не только в масштабах Солнечной системы, но и на расстояниях . . . |
|
22.06.2018
16:27 |
Зонд «Хаябуса-2» увидел 150-метровую скалу и валуны на астероиде Рюгу 
Космический аппарат «Хаябуса-2» получил новые снимки астероида Рюгу, на которые стали видны группы валунов на его поверхности, а также крупная скала в северной . . . |
|
22.06.2018
15:27 |
Беспилотный автомобиль «Яндекса» впервые проехал по длинному маршруту 
Беспилотный автомобиль, разрабатываемый российской компанией «Яндекс», впервые в автономном режиме проехал по длинному маршруту. Согласно сообщению компании, . . . |
|
22.06.2018
15:20 |
В 2025 году Норвегия начнёт переход на электрические самолёты для пассажирских перевозок 
В Норвегии провели тестирование двухместного электрического самолёта Alpha Electro G2, построенного компанией Pipistrel на заводе в Словении. Министр транспорта Кетил . . . |
|
22.06.2018
15:13 |
В Intel создали самый маленький в мире квантовый чип 
Уже практически не остается сомнений в том, что в будущем квантовые компьютеры если и не заменят привычные нам вычислительные машины, то уж точно сильно их . . . |
|
21.06.2018
17:49 |
Лазер из темной материи
В прошлом году была выдвинута теория, связывающая воедино черные дыры, темную материю и понятие гравитации. Частицами темной материи в новой теории, которая . . . |
|
21.06.2018
17:20 |
Внеземные цивилизации могут уже сейчас двигать звезды, считает один астроном 
Дэн Хупер (Dan Hooper) из Национальной ускорительной лаборатории им. Энрико Ферми, США, представил научную работу, описывающую способ, посредством которого . . . |
|
21.06.2018
17:16 |
Феномен серебристых облаков может быть связан с древним извержением вулкана 
Феномен возникновения в верхних слоях атмосферы Земли так называемых серебристых облаков может быть связан с древним извержением вулкана Кракатау, говорится в . . . |
|
21.06.2018
17:11 |
NASA показало голубые дюны на Марсе 
NASA опубликовало фотографии голубых дюн, обнаруженных на Марсе. Снимки сделаны с помощью автоматической многофункциональной межпланетной станции MRO. На кадрах . . . |
|
21.06.2018
16:59 |
Астрономы сообщили о произошедшей в четверг вспышке на Солнце 
Вспышка на Солнце произошла ранним утром 21 июня, следует из графика лаборатории рентгеновской астрономии Солнца Физического института имени Лебедева РАН (ФИАН) . . . |
|
21.06.2018
16:29 |
Сгорающие в атмосфере метеоры — очень частое, но неопасное явление 
Сгорающие метеоры в небе над Землей – довольно частое явление, они не представляют опасности для планеты, заявил РИА Новости ведущий научный сотрудник отдела . . . |
|
21.06.2018
16:18 |
Пылевая буря на Марсе охватила всю планету, заявляют в НАСА 
Мощнейшая пылевая буря, угрожающая жизни марсохода Opportunity, стала еще более сильной. Теперь она охватила всю территорию планеты, на что указывают снимки с марсохода . . . |
|
21.06.2018
16:12 |
Квадратные наномагниты научились вести себя согласованно 
Российские физики нашли способ управлять магнитными свойствами квадратных наночастиц, расположенных по узлам плоской квадратной решетки. Если такие наночастицы . . . |
|
21.06.2018
16:05 |
Мировые запасы бесхозного пластикового мусора пополнятся на 111 миллионов тонн к 2030 году 
Исследователи подсчитали, что к 2030 году 111 миллионов тонн пластиковых отходов останутся бесхозными и их некуда будет девать, сообщается в Science Advances. Китай, который . . . |
|
21.06.2018
16:00 |
Китайцы разработали электродвигатель для рельсотрона 
Китайская аэрокосмическая научно-техническая корпорация завершила разработку и производство первых электродвигателей, которые планируется использовать в . . . |
|
21.06.2018
15:12 |
Большая длина трещин объяснила их отталкивание друг от друга 
Французские физики разработали теоретическую модель, которая объясняет, как движущиеся друг на друга трещины меняют притяжение на отталкивание и наоборот . . . |
|
21.06.2018
15:07 |
Назван способ просуществовать 100 триллионов лет 
Технологически развитая инопланетная цивилизация способна создавать «звездные фермы» для борьбы с дефицитом энергии, вызванным расширением Вселенной. Это . . . |
|
21.06.2018
14:27 |
Найдена недостающая часть Вселенной 
Американские астрофизики из Колорадского университета в Боулдере обнаружили недостающее количество барионной материи во Вселенной. Она находится в так . . . |
|
21.06.2018
14:27 |
Найдена недостающая часть Вселенной
Американские астрофизики из Колорадского университета в Боулдере обнаружили недостающее количество барионной материи во Вселенной. Она находится в так . . . |
