Алгоритм навчився вгадувати рух рук людини за її промовою - Технології - dt.ua

Вчені навчили нейромережу вгадувати рух рук людини за її промовою

15 червня, 15:28 Роздрукувати

Алгоритм вивчає лише аудіозапис промови.

Алгоритм створює відео на основі аудіозапису © скриншот видео

Вчені з Каліфорнійського університету в Берклі створили алгоритм, який може вгадати рух рук людини за її промовою. Як повідомляє N+1, для цього нейромережа вивчає лише аудіозапис промови, потім створює анімовану модель тіла людини, а потім на її основі генерує реалістичний відеоролик.

Наголошується, що роботу алгоритму можна розбити на дві частини: спочатку він прогнозує рух рук з аудіозапису промови, а потім візуалізує передбачені жести за допомогою алгоритму, який розробила в 2018 році суміжна група дослідників.

На першому етапі алгоритм на базі нейромережі UNet приймає двовимірну спектрограмму аудіозапису і перетворює її на одновимірний проміжний сигнал. Потім цей сигнал перетворюється на послідовність поз, представлених у вигляді скелетної моделі з 49 ключовими точками, що відбивають частини рук, плечей і шиї. Після цього послідовність поз передається алгоритму візуалізації, який перетворює її на відеоролик.

Для навчання алгоритму вчені зібрали базу даних, яка складалася із записів сумарною тривалістю 144 години. Зокрема, вона містила записи розмов телеведучих, лекторів і проповідників. За допомогою алгоритму OpenPose дослідники зіставили з кожним кадром з датасету скелетну модель. Отримуючи під час навчання записи промови і кадри з готовою моделлю, алгоритм навчився створювати реалістичні відеоролики.

Читайте також: Нова нейромережа може перетворити начерк на фотореалістичне зображення

Раніше штучний інтелект виявив ліки від малярії в зубній пасті. У ході дослідження вчені підключили штучний інтелект для аналізу того, як збудник, малярійний плазмодій, взаємодіє з триклозаном, антибіотиком із звичайної "лікувальної" зубної пасти. Цей антибіотик, як пояснюють біологи, пригнічує розмноження бактерій, заважаючи роботі одного з їхніх ключових ферментів, який відповідає за складання жирових молекул, необхідних для нормальної роботи клітинних стінок мікробів.

За матеріалами: N+1 /
Ми повідомляємо тільки дійсно важливі новини. Долучайся до Telegram-каналу DT.UA
Помітили помилку?
Будь ласка, позначте її мишкою і натисніть Ctrl+Enter
Додати коментар
Залишилось символів: 2000
Авторизуйтеся, щоб мати можливість коментувати матеріали
Усього коментарів: 0
Випуск №27, 13 липня-19 липня Архів номерів | Зміст номеру < >