Вчені навчили нейромережу вгадувати рух рук людини за її промовою

Поділитися
Вчені навчили нейромережу вгадувати рух рук людини за її промовою Алгоритм створює відео на основі аудіозапису
Алгоритм вивчає лише аудіозапис промови.

Вчені з Каліфорнійського університету в Берклі створили алгоритм, який може вгадати рух рук людини за її промовою. Як повідомляє N+1, для цього нейромережа вивчає лише аудіозапис промови, потім створює анімовану модель тіла людини, а потім на її основі генерує реалістичний відеоролик.

Наголошується, що роботу алгоритму можна розбити на дві частини: спочатку він прогнозує рух рук з аудіозапису промови, а потім візуалізує передбачені жести за допомогою алгоритму, який розробила в 2018 році суміжна група дослідників.

На першому етапі алгоритм на базі нейромережі UNet приймає двовимірну спектрограмму аудіозапису і перетворює її на одновимірний проміжний сигнал. Потім цей сигнал перетворюється на послідовність поз, представлених у вигляді скелетної моделі з 49 ключовими точками, що відбивають частини рук, плечей і шиї. Після цього послідовність поз передається алгоритму візуалізації, який перетворює її на відеоролик.

Для навчання алгоритму вчені зібрали базу даних, яка складалася із записів сумарною тривалістю 144 години. Зокрема, вона містила записи розмов телеведучих, лекторів і проповідників. За допомогою алгоритму OpenPose дослідники зіставили з кожним кадром з датасету скелетну модель. Отримуючи під час навчання записи промови і кадри з готовою моделлю, алгоритм навчився створювати реалістичні відеоролики.

Раніше штучний інтелект виявив ліки від малярії в зубній пасті. У ході дослідження вчені підключили штучний інтелект для аналізу того, як збудник, малярійний плазмодій, взаємодіє з триклозаном, антибіотиком із звичайної "лікувальної" зубної пасти. Цей антибіотик, як пояснюють біологи, пригнічує розмноження бактерій, заважаючи роботі одного з їхніх ключових ферментів, який відповідає за складання жирових молекул, необхідних для нормальної роботи клітинних стінок мікробів.

Поділитися
Помітили помилку?

Будь ласка, виділіть її мишкою та натисніть Ctrl+Enter або Надіслати помилку

Додати коментар
Всього коментарів: 0
Текст містить неприпустимі символи
Залишилось символів: 2000
Будь ласка, виберіть один або кілька пунктів (до 3 шт.), які на Вашу думку визначає цей коментар.
Будь ласка, виберіть один або більше пунктів
Нецензурна лексика, лайка Флуд Порушення дійсного законодвства України Образа учасників дискусії Реклама Розпалювання ворожнечі Ознаки троллінгу й провокації Інша причина Відміна Надіслати скаргу ОК
Залишайтесь в курсі останніх подій!
Підписуйтесь на наш канал у Telegram
Стежити у Телеграмі