Группa исслeдoвaтeлeй из Институтa рoбoтoтexники унивeрситeтa Кaрнeги-Мeлoун (Carnegie Mellon University) рaзрaбoтaлa прoгрaмму, aлгoритмы кoтoрoй пoзвoляют кoмпьютeру в режиме реального времени скандировать «язык» тела человека, анализируя выражение лица, положение головы, туловища, ног и всех пальцев рук. Данная программа была разработана и отлажена при помощи оборудования студии Panoptic Studio, купола, высотой в вдвоём этажа, на внутренней поверхности которого установлено 500 видеокамер.

«Человек выражает свое состояние и эмоции при помощи выражения лица, движений и позы тела мало-: неграмотный хуже, чем своим голосом» — рассказывает Ясер Шейх (Yaser Sheikh), ведущий исследователь, — «Хотя компьютеры до последнего времени оставались «слепы» по отношению к этому языку нашего тела».

Число сотен камер студии Panoptic Studio производят огромное количество информации пусть даже при съемке одного кадра, и для анализа такого массива визуальной информации требуются значительные вычислительные резервы. Поэтому исследователям пришлось ограничиться анализом потоков данных от 31 высококачественной видеокамеры.

Следующими шагами, которые намерены выкинуть исследователи, станет переработка программного кода системы так, чтобы для ее работы было шабаш одной единственной камеры и ноутбука. При этом, система должна будет умудряться расшифровывать язык тела не только одного человека, а целой группы людей, взаимодействующих (благо)приятель с другом, при этом, поведение человека в данном случае уже перестает находиться индивидуальным и подчиняется линии поведения группы в целом.

Кроме того, на снимках многочисленной группы людей порой аж людям тяжело определить, кому именно из людей принадлежит та или иная видимая отруб тела. В этом заключается достаточно сложная проблема, но исследователи успешно справились с задачей, применив технология обратного анализа, что позволило «привязать» отдельные части тела на изображении, такие, в качестве кого руки, ноги и лица к определенному человеку.

Разработанный исследователями метод расшифровки языка тела человека, исходный адрес программного обеспечения и собранные в студии Panoptic Studio находятся сейчас в открытом доступе. И, долженствует отметить, все это используется в практических целях более чем 20 группами, в книжка числе и компаниями из автомобильной отрасли. А более детальную информацию о своей разработке исследователи представят нате конференции Computer Vision and Pattern Recognition Conference (CVPR) 2017, которая перестаньте проходить в Гонолулу с 21 по 26
июля этого года.

Исслeдoвaтeли из Лaбoрaтoрии oбрaбoтки грaфики и изoбрaжeний (Graphics and Image Laboratory) Вaшингтoнскoгo унивeрситeтa рaзрaбoтaли рядок прoгрaммныx aлгoритмoв, позволяющих преобразовать аудиозаписи в реалистичное видео, на котором люда синхронно двигает губами в соответствии с произносимыми словами и фразами. В основе созданной системы лежит нейронная ахан, предварительно обученная на примерах видео с записями человека, который говорит получи и распишись любую тему.

Более детальная информация о системе преобразования аудио в видео пора и совесть знать представлена на конференции по компьютерной графике 2017 SIGGRAPH. А в качестве примера исследователи подготовили весьма реалистичные коньки, на которых бывший президент США Барак Обама рассуждает на тему терроризма, отцовства, создания новых рабочих мест и т.п. Сии видеоролики были построены на базе существующих аудиозаписей, а для обучения нейронной яма использовались многие часы записей публичных выступлений Барака Обамы.

В настоящее время нейронная погоняй способна обучиться имитации речи только одного конкретного человека. Тем мало-: неграмотный менее, использование технологий искусственного интеллекта позволяет избежать трудностей, возникающих при использовании традиционных конверсионных технологий. Ведь для того работы традиционных технологий используются студийные записи множества разных людей, повторяющих одни и тетечка же фразы, что делается для определения корреляции отдельных произносимых звуков с формой, положением губ и других частей лица человека.

Такая методика преобразования речи в реалистичное видео может найти применение в различных системах конференц-крыша для улучшения их работы, считают исследователи. Ведь для передачи просто-напросто аудио-сигнала требуется гораздо более узкая полоса пропускания коммуникационного канала, чем для одновременной передачи аудио и видео. Помимо этого, новая технология может обеспечить общение в режиме реального времени людей с виртуальными персонажами компьютерных игр или исторических реконструкций.

Появление системы, обеспечивающей столь здравомыслящий результат, сразу же заставляет задуматься о возможностях в области фальсификации, которые симпатия предоставляет. Однако, уверяют исследователи, применив приблизительно такой же подход, т.е. «скормив» обученной нейронной яма видео для анализа, можно без труда выяснить, что это такое, реальная видеосъемка или колесо, произведенный компьютером?