Группa исслeдoвaтeлeй из Институтa рoбoтoтexники унивeрситeтa Кaрнeги-Мeлoун (Carnegie Mellon University) рaзрaбoтaлa прoгрaмму, aлгoритмы кoтoрoй пoзвoляют кoмпьютeру в режиме реального времени скандировать «язык» тела человека, анализируя выражение лица, положение головы, туловища, ног и всех пальцев рук. Данная программа была разработана и отлажена при помощи оборудования студии Panoptic Studio, купола, высотой в вдвоём этажа, на внутренней поверхности которого установлено 500 видеокамер.

«Человек выражает свое состояние и эмоции при помощи выражения лица, движений и позы тела мало-: неграмотный хуже, чем своим голосом» — рассказывает Ясер Шейх (Yaser Sheikh), ведущий исследователь, — «Хотя компьютеры до последнего времени оставались «слепы» по отношению к этому языку нашего тела».

Число сотен камер студии Panoptic Studio производят огромное количество информации пусть даже при съемке одного кадра, и для анализа такого массива визуальной информации требуются значительные вычислительные резервы. Поэтому исследователям пришлось ограничиться анализом потоков данных от 31 высококачественной видеокамеры.

Следующими шагами, которые намерены выкинуть исследователи, станет переработка программного кода системы так, чтобы для ее работы было шабаш одной единственной камеры и ноутбука. При этом, система должна будет умудряться расшифровывать язык тела не только одного человека, а целой группы людей, взаимодействующих (благо)приятель с другом, при этом, поведение человека в данном случае уже перестает находиться индивидуальным и подчиняется линии поведения группы в целом.

Кроме того, на снимках многочисленной группы людей порой аж людям тяжело определить, кому именно из людей принадлежит та или иная видимая отруб тела. В этом заключается достаточно сложная проблема, но исследователи успешно справились с задачей, применив технология обратного анализа, что позволило «привязать» отдельные части тела на изображении, такие, в качестве кого руки, ноги и лица к определенному человеку.

Разработанный исследователями метод расшифровки языка тела человека, исходный адрес программного обеспечения и собранные в студии Panoptic Studio находятся сейчас в открытом доступе. И, долженствует отметить, все это используется в практических целях более чем 20 группами, в книжка числе и компаниями из автомобильной отрасли. А более детальную информацию о своей разработке исследователи представят нате конференции Computer Vision and Pattern Recognition Conference (CVPR) 2017, которая перестаньте проходить в Гонолулу с 21 по 26
июля этого года.