В прeдлaгaeмoй стaтьe xoчу рaсскaзaть o сoврeмeнныx микрoвoлнoвыx систeмax пeрсoнaльнoгo дoсмoтрa, a тaкжe o рeзультaтax выпoлняeмoгo нaми прoeктa, в кoтoрoм рaзрaбaтывaeтся нoвaя пeрспeктивнaя микрoвoлнoвaя систeмa дoсмoтрa, oснoвaннaя нa кoмбинирoвaннoм использовании радиолокации и машинного зрения. Предвидится, что разрабатываемая система досмотра будет использоваться на наземном транспорте с большим пассажиропотоком. Достигаться сие будет за счет превосходящих аналоги технических характеристик: предельно высокой пропускной способности, возможности досмотра в плотной верхней одежде, несравнимо меньших массогабаритных характеристик, стоимости и энергопотребления. В статье приводится описание созданной в проекте установки и методики эксперимента ради имитационного моделирования описанной микроволновой системы досмотра, а также результат эксперимента с манекеном со скрытыми лещадь одеждой предметами.

Чтобы понять, чем отличается разрабатываемая микроволновая система персонального досмотра с существующих на рынке систем и каким образом можно преодолеть существующие ограничения микроволновых систем досмотра, препятствующих их широкому использованию (в качестве кого, например, рамочным металлодетекторам), необходимо рассмотреть состояние   дел.

Для получения радиолокационных изображений скрытых подо одеждой предметов во всех микроволновых системах досмотра используется апертурный соединение, при котором механическое перемещение антенн, либо их электронная коммутация позволяют сформировать антенну с большей эквивалентной апертурой. Вслед за счет использования синтезированной апертуры получается высокое пространственное разрешение, которое определяется длиной волны, полосой зондирующего сигнала, а вдобавок размером самой апертуры. Принципиальным параметром, ограничивающим пространственное разрешение радиолокационных изображений, является периметр волны излучения, так как в практически пригодной для досмотра человека геометрии зондирования добреть пространственного разрешения меньше длины волны невозможно.

В современных системах досмотра синтезированная окно формируется двумя способами: за счет механического перемещения антенн и электронной коммутации, либо всего на все(го) за счет электронной коммутации. В наиболее известной и распространенной системе L-3   ProVision, выше которую проходили многие читатели, используется механическое сканирование двумя линейными вертикальными антенными решетками. В вертикальном направлении синтезированная окно получается за счет электронной коммутации антенн, а в горизонтальном направлении   — за счет механического перемещения   [1].

В системах, появившихся впоследствии времени, таких как Eqo производства Smiths Detection [2] и QPS производства Rohde&Schwarz [3], механическое эпейрофорез для формирования апертуры не используется. Вместо этого происходит быстрое перескакивание антенн или антенных элементов, расположенных на плоской панели, что позволяет в реальном времени испытывать радиолокационное изображение досматриваемого со стороны расположения панели. Несмотря на быструю электронную коммутацию антенн в двух последних системах, их пропускная способность остается на уровне системы с механическим сканированием L-3   ProVision, так как досматриваемый кому (должно обязательно снять верхнюю одежду, пройти в зону досмотра, принять стационарную позу получай время сканирования (QPS), либо поворачиваться, стоя на месте, для получения радиолокационных изображений со всех сторон   (Eqo).

В системах досмотра с электронной коммутацией микроволновая статья значительно сложнее, чем в системах с использованием механического сканирования, поскольку требуется перекидывание возросшего числа антенн. Из-за большего числа каналов в системе генерируется сверхбольшой поток данных (обратите внимание на этот параметр у системы QPS), для обработки которого в реальном времени нужно высокопроизводительный компьютер, расходующий основную часть потребляемой энергии. Единственное преимущество систем досмотра в форм-факторе экрана   — сие меньшие габариты по сравнению с портальным исполнением L-3   ProVision.

Опираясь на необычный подход к синтезированию апертуры, пропускную способность микроволновых систем досмотра можно снизить, окружив досматриваемого человека множеством панелей с антеннами для получения одновременного обзора с разных ракурсов. Такого рода подход был реализован в системе досмотра easyCheck, разработанной компанией Camero [4]. Буква система имеет портальное исполнение в виде панелей с антеннами, расположенными вокруг досматриваемого человека. Многоракурсные радиолокационные изображения проходящего насквозь портал человека получаются с частотой 8   Гц, что позволяет в движении обнаружить скрытые по-под одеждой объекты, представляющие опасность.

В настоящее время все представленные на рынке системы досмотра автоматически распознают опасные предметы и сообщают творение распознавания в виде пиктограмм, не предъявляя радиолокационные изображения оператору, тем самым сохраняя приватность досматриваемых.

В разрабатываемой нами системе досмотра пользу кого формирования синтезированной апертуры будет использоваться естественное перемещение человека между неподвижными вертикальными линейными антенными решетками, что такое? позволяет превзойти аналоги по следующим характеристикам: пропускной способности, массе, габаритам, себестоимости и энергопотреблению. Когерентная обработка радиолокационного сигнала в такой-сякой(-этакий) системе осуществляется с помощью RGB-D видеосенсора или лидара, который синхронно с радиолокационной системой регистрирует передислокация досматриваемого человека в пространстве. Регистрируемая видеосенсором карта глубины служит для извлечения траектории частей тела человека интересах последующей компенсации связанных с движением фазовых набегов в радиолокационном сигнале. Синтезируемую апертуру, формируемую вслед за счет движения самой цели мимо стационарной антенны или системы антенн, называют инверсной синтезированной апертурой.

Микроволновая прием досмотра, использующая принцип инверсного апертурного синтеза, должна иметь перечисленные выше превосходящие характеристики по мнению следующим причинам:

• Предельная пропускная способность будет достигаться за счет того, зачем досматриваемому человеку не нужно останавливаться, так как для получения радиолокационного изображения надо пройти между линейками антенн.
• Масса и габариты становятся минимальными, так вроде не нужны ни портал для обособления зоны перемещения антенн, ни массивные панели с антеннами.
• Количество антенн становится существенно меньшим, нежели у микроволновых систем с исключительно электронной коммутацией, что уменьшает сложность и стоимость микроволновой части системы досмотра.
• Выборки радиолокационного сигнала поступают с меньшего числа каналов и обрабатываются точно по мере поступления таким образом, что после прохода человеком зоны досмотра, пространство которой должна быть равна горизонтальному размеру панелей или портала традиционных систем, радиолокационное изображение рассчитывается единовременно для всей поверхности тела человека. Благодаря низкому потоку радиолокационных данных и их обработки в соответствии с мере поступления, мощный процессор данных не потребуется, и микроволновая система может составлять построена в мобильном варианте в форм-факторе рамочного металлодетектора или двух стоек с антеннами, расположенными согласно обе стороны идущего человека.

Работоспособность описанной микроволновой системы досмотра была исследована с использованием созданной с целью этих целей экспериментальной установки [5,6], фотография которой показана на следующем рисунке.

Сборка состоит из модуля линейного перемещения (1) приемной и передающей антенн (2), векторного анализатора цепей (3), гибких антенных фидеров (4), манекена человека (5), тележки пользу кого перемещения манекена (6), модуля линейного перемещения манекена (7), RGB-D видеосенсора (8) и персонального компьютера (9). Приемная и передающая антенны (2) подключаются к векторному анализатору цепей посредством гибких фидеров (4). Сбор данных происходит методом кукольной мультипликации. Независимое перемещение приемной и передающей антенн (разве используются два модуля) вдоль параллельных линий позволяет имитировать поведение линейных моностатических и мультистатических (MIMO) антенных решеток. При этом, положения антенн, в которых происходят выборки радиолокационного сигнала, задаются программно, по причине чему с помощью установки можно исследовать характеристики любой линейной антенной решетки. Кукла человека (5), направление движения которого можно задавать, ориентируя размещенный в полу модуль линейного перемещения (7), перемещается инкрементально через программируемые интервалы. После задания параметров эксперимента: интервалов выборок радиолокационного сигнала, интервала перемещения манекена, диапазона изменения частоты зондирующего сигнала, количества дискретных частот, испытание проходит автоматически. В ходе эксперимента для каждого положения манекена регистрируются локальная система глубины сцены зондирования и выборки радиолокационного сигнала в заданных положениях антенн. Полученные причина обрабатываются совместно для получения радиолокационных изображений. Для получения аналогичных данных в реальном времени ото передвигающегося шагом человека потребуется электронно коммутируемая линейная антенная решетка. Главнейший особенностью разрабатываемой системы досмотра является использование RGB-D видеосенсора (в экспериментальной установке да мы с тобой использовали Microsoft Kinect v2) или аналогичного устройства, которое позволяет получить детальное радиолокационное изображение с использованием существенно меньшего объема радиолокационных данных.

Примеры регистрируемых в ходе проведения экспериментов исходных данных показаны держи следующих рисунках.

1-й кадр

101-й кадр

201-й кадр

ИК-изображения, полученые с помощью Microsoft Kinect.

1-й люди

101-й кадр

201-й кадр

Карты глубины, полученные с помощью Microsoft Kinect.

Синфазная компонента сигнала

Квадратурная компонента сигнала

Полярный угол сигнала

Радиолокационный сигнал (радиоголограмма), зарегистрированный на частоте 15.55   ГГц.

Показанные выше ИК-изображения и карточная игра глубины сцены зондирования, с порядковыми номерами 1, 101, 201   были получены в ходе эксперимента, в котором кукла перемещался на расстояние 1   м с остановками через каждые 0.5   см, в результате аюшки? был получен 201   кадр. Радиолокационный сигнал (радиоголограмма) на частоте 15.55   ГГц представлен в виде полутоновых изображений. Важнейший столбец слева у радиоголограммы соответствует выборкам радиолокационного сигнала с шагом 0.5   см, полученным в результате механического сканирования к сцены зондирования с порядковым номером 1.   Последний столбец у радиоголограммы соответствует выборкам радиолокационного сигнала про сцены зондирования с порядковым номером 201.   Промежуточные столбцы радиоголограммы соответствуют сценам с промежуточными порядковыми номерами. Всего радиоголограмма имеет 201   столбец, после числу статических сцен, и 201   строку, по числу выборок радиолокационного сигнала получи интервале длиной 1   метр с шагом выборок 0.5   см. Для регистрации аналогичной радиоголограммы в реальном времени потребовалась бы моностатическая линейная антенная трельяж длиной 1   метр, состоящая из 201   антенны, расположенных на расстоянии 0.5   см ведет дружбу) от друга. Для многочастотного сигнала, состоящего из N частот, получается, соответственно, N радиоголограмм.

Прежде тем как обрабатывать полученные данные, требуется провести калибровку оптической системы видеосенсора, а в свою очередь совместную калибровку радиолокационной и оптической систем установки. О калибровке оптической системы Microsoft Kinect v2 и канала дальности было рассказано на этом месте. Калибровка радиолокационной системы осуществлялась в два этапа. На первом этапе определялось отношение перемещаемой модулем линейного перемещения антенны в системе координат, связанной с видеосенсором. Второй страница заключался в измерении зависящего от частоты зондирующего сигнала положения фазового центра антенны, что-нибудь необходимо для обработки широкополосного сигнала. Положение центра открытого конца круглого волновода, используемого в качестве антенны, заносилось в систему координат видеосенсора с через графического маркера, закрепляемого на конце антенны, как показано на следующем рисунке.

Состояние маркера регистрировалось для двух крайних положений на линии сканирования. Прочие положения антенны вычислялись с помощью интерполяции. Шаговые двигатели и оптическая система видеосенсора обеспечивали неправильность позиционирования выборок сигнала, которая несущественно влияла на разрешение радиолокационного изображения.

При использовании широкой полосы зондирующего сигнала расположение фазового центра антенны на разных частотах может быть разное. Около фазовым центром антенны понимают воображаемый центр, который может быть принят ради центр излучаемой антенной сферической волны. У сферической волны поверхностями равной фазы являются сферы. Дорнирование антенны проводилась на малом по сравнению с длиной волны излучения рассеивателе и заключалась в нахождении корректирующего множителя в (видах регистрируемого антенной сигнала, который позволяет получить теоретически ожидаемую зависимость фазы сигнала. Влияние калибровки антенны иллюстрирует полагающийся рисунок, где показан результат восстановления радиолокационного изображения для точечного рассеивателя, расположенного получай расстоянии 20   см от линии сканирования, которая совпадает с осью Y получай графике. Зондирование и восстановление радиолокационного изображения осуществлялось в диапазоне частот от 6   перед 12   ГГц.

Без калибровки антенны

После калибровки

Модель

Восстановленное радиолокационное изображение точечного рассеивателя

На первом месте слева изображение на рисунке выше получено после калибровки антенных фидеров пользу кого среднего положения на линии сканирования с использованием эталонных нагрузок (калибровочного набора) чтобы векторного анализатора цепей. Видно, что смещение плоскостей измерения к концам фидеров неважный (=маловажный) позволяет получить сфокусированное радиолокационное изображение. На втором изображении показано радиолокационное изображение, полученное после калибровки антенны и корректировки исходных данных. Возьми третьем приводится эталонное изображение, полученное в результате численного моделирования.

После калибровки антенной системы дозволительно обработать данные, полученные в экспериментах с манекеном с широкополосным зондирующим сигналом. Обработка радиолокационного сигнала состояла из следующих этапов: нахождения особых точек в полутоновом изображении манекена; генерирование плотной сетки, связанной с особыми точками, с носа) узел которой является подвижной точкой фокусировки для радиолокационного сигнала; нахождения траектории особых точек через кадра к кадру; нахождения траектории узлов плотной сетки; интегрирования сфокусированного радиолокационного сигнала для того каждого узла плотной сетки от кадра к кадру; визуализации полученного массива данных в виде радиолокационного изображения.

Картина ниже иллюстрирует извлечение особых точек и слежение за ними на последовательности полутоновых изображений движущегося манекена. На человека полутоновому изображению соответствует кадр глубины, который содержит необходимый атрибут дальности угоду кому) каждого пикселя полутонового изображения.

1-й кадр

101-й кадр

201-й кадр

Слежение за манекеном бери последовательности кадров, полученных в ходе имитационного эксперимента.

На текущем этапе проекта проводились имитационные эксперименты с манекеном. Получи и распишись следующем рисунке изображен манекен, под одеждой которого были скрыты непохожие предметы, представляющие угрозу: нож в чехле, газовый пистолет за поясом из текстильные изделия и куски мыла с болтами на поверхности в качестве имитатора самодельного взрывного устройства.

В имитационном эксперименте с показанным в рисунке манекеном использовался сигнал со ступенчатым переключением частоты в диапазоне ото 6   до 12   ГГц с шагом изменения частоты 250   МГц, в результате что отраженный сигнал регистрировался на 25   частотах. Манекен передвигался через интервалы в 1   см получай общей дистанции 100   см с помощью модуля линейного перемещения. Линия, вдоль которой происходило фотосканирование антеннами, имела длину также 100   см с шагом выборки 1   см. Общий объем радиолокационных данных, таким образом, представлял из себя массив комплексных чисел размером 101⨯101⨯25. Промежуток до манекена изменялось от 150   до 110   см вдоль оптической оси видеосенсора. Среднее пространство от манекена до линии сканирования антеннами составляло 80   см.

Получи следующем рисунке показано итоговое радиолокационное изображение, полученное фокусировкой на последовательность слоев с поверхности одежды до глубины 2.5   см и представлением полученных данных в приповерхностном слое методом проекции максимального значения.

На правах видно на приведенном рисунке, различимы все скрытые предметы под одеждой. Отбивание от ножа можно принять за отражение от поверхности правого чресла манекена. Ожидается, что изображения скрытых предметов на теле движущегося человека будут иметь вящий контраст, чем на манекене, поскольку у человека, идущего шагом, ориентация фрагментов поверхности тела постоянно меняется в пространстве, и при накоплении сигнала такие участки для радиолокационных изображениях будут иметь значительно меньшую яркость. Радиолокационные изображения, полученные угоду кому) тела человека, должны быть также менее зашумленными по сравнению с радиолокационными изображениями манекена, поскольку просвечивающий для радиоволн манекен создает сложную интерференционную картину поля на его поверхности, приводя к артефактам нате получаемых радиолокационных изображениях.

Пространственное разрешение приведенного радиолокационного изображения со скрытыми по-под одеждой предметами ограничено длиной волны зондируемого сигнала и для средней частоты используемого диапазона 9   ГГц составляет что-то около 3   см. Разрешение радиолокационных изображений можно увеличить, увеличив частоту излучения, да при этом возрастает поглощение волн в одежде, из-за чего плотная верхняя одежа становится непрозрачной. В отличие от микроволновых сканеров, используемых в аэропортах, обеспечение высокого разрешения радиолокационных изображений нате наземном транспорте не требуется. Более важным является возможность досмотра в плотной верхней одежде.

Возможный внешний вид микроволновой системы досмотра с инверсной синтезированной апертурой представлен сверху следующем рисунке.

На рисунках приведены варианты системы досмотра с различным числом линейных антенных решеток, достаточное количество которых можно установить в ходе имитационных экспериментов в описанной установке, не создавая сложную радиолокационную систему с фиксированным количеством антенн и их расположением. Количество антенных решеток необходимо быть достаточным для получения радиолокационных изображений для всей поверхности досматриваемого.

Следующим этапным порядком на пути создания системы досмотра будет разработка быстродействующих линейных антенных решеток угоду кому) сбора данных в реальном времени с целью проведения экспериментов на движущемся человеке. Вместо векторного анализатора цепей достаточно использоваться один или несколько генераторов микроволнового излучения с перестройкой частоты и квадратурный приемник.

Микроволновая способ досмотра с инверсным синтезированием апертуры может изменить подход к обеспечению безопасности держи наземном транспорте подобно тому, как микроволновые сканеры повлияли на сохранность на воздушном транспорте. Появление на рынке доступных устройств для трехмерного видеозахвата наблюдаемой сцены позволяет осуществить комплексную систему досмотра структурированного пассажиропотока, которая позволила бы без каких-либо неудобств автоматически присматривать пассажиров в верхней одежде в движении, используя безопасное микроволновое излучение.

Как говорилось выше, имитационные эксперименты с установкой поспроизводят технику кукольной мультипликации. Применяя ее к радиолокационным данным, позволяется получить «радиолокационный мультипликационный фильм», в котором каждое следующее радиолокационное изображение из этого явствует путем интегрирования вновь поступивших данных с предыдущим радиолокационным изображением, в результате а увеличивается разрешение. Посмотрев анимацию, можно заметить, что детализированное радиолокационное изображение может -побывать) получено, когда манекен проехал достаточное расстояние, сформировав синтезированную апертуру достаточной длины, почему находится в полном соответствии с положениями классической радиолокации.

Работа поддержана грантом РНФ №15–19–30012.

Публицистика

• D. L. McMakin, P. E. Keller, D. M. Sheen, and T. E. Hall, «Dual-surface dielectric depth detector for holographic millimeter-wave security scanners,» in Proc. SPIE 7309, Orlando, Florida, USA, Apr. 2009. [Online].
• B. N. Lyons, E. Entchev, and M. K. Crowley, «Reflect-array based mmwave people screening system,» in Proc. SPIE 8900, Dresden, Germany, Oct. 2013. [Online].
• S. S. Ahmed, «Personnel screening with advanced multistatic imaging technology,» in Proc. SPIE 8715, Baltimore, Maryland, USA, May 2013. [Online].
• A. Beeri and R. Daisy, «System and method for volume visualization in ultra-wideband radar imaging system,» USA Patent 9   354   307, May, 2016. [Online].
• A. Zhuravlev, V. Razevig, A. Tataraidze, M. Chizh, S. Ivashov, and A. Ivashov, «Experimental setup to simulate the performance of ISAR-based microwave personnel screening system,» in 2016   IEEE International Symposium on Phased Array Systems and Technology (PAST), Boston, MA, USA, 2016, pp. 1–7. [Online].
• A. Zhuravlev, V. Razevig, M. Chizh, and S. Ivashov, «Imaging of concealed objects on moving persons by creating synthetic aperture due to their natural motion,» in 2017   IEEE International Conference on Microwaves, Communications, Antennas and Electronic Systems (COMCAS), Tel Aviv, Israel, 2017, pp.   1–4.