Как объединение данных датчиков с искусственным интеллектом улучшает навигацию и обнаружение дронов

Разбор трёх уровней объединения данных, алгоритмов от комплементарного фильтра до графов факторов и практики работы без спутниковой навигации. Слияние камер, доплеровского радара и звуковых спектрограмм подняло точность обнаружения дрона на 15,6%, а классификации — на 28,1%.

От бортовой навигации до обнаружения чужих дронов: именно объединение данных нескольких датчиков средствами искусственного интеллекта в реальном времени удерживает такие системы надёжными и точными, когда условия становятся тяжёлыми.

На дронах используется множество датчиков — для понимания обстановки, построения карты местности и целей, обхода препятствий и выбора маршрута. Системы противодействия дронам точно так же полагаются на набор датчиков для обнаружения, слежения за траекторией и распознавания типа аппарата. У каждого датчика свои сильные и слабые стороны. Объединение данных (сенсорное слияние) сводит их показания вместе с помощью вычислений искусственного интеллекта в реальном времени, повышая надёжность и точность даже в сложной обстановке.

Какие датчики применяются

Инерциальные измерительные блоки, куда входят гироскопы и акселерометры, вычисляют угловую скорость и ускорение. Частота обновления у них высокая — от 100 до 1000 Гц, и они хорошо предсказывают положение на коротких интервалах и закрывают провалы в данных спутниковой навигации. Спутниковая навигация даёт абсолютное положение дрона с хорошей долговременной точностью, но обновляется медленно, всего 1–10 Гц, и не работает в городских «каньонах» и в помещениях. Главный недостаток гироскопов — уход показаний со временем.

Лидары строятся на приёме отражённого лазерного луча. Они дают точную трёхмерную карту поверхности даже при слабом освещении и способны выявлять замаскированные объекты. Недостатки — больший вес и потребление (особенно у дальнобойных систем), плохая работа в дождь и снег, цена и высокие требования к вычислениям.

Камеры видимого диапазона с частотой кадров 30–60 Гц дают цветное изображение высокого разрешения и полезны для опознания цели на большом расстоянии. Стереокамеры добавляют дальность и годятся для обхода препятствий, но плохо работают при слабом освещении. Инфракрасные и тепловизионные камеры, наоборот, работают в темноте: длинноволновые дают контрастное тепловое изображение в полной темноте, коротковолновые пробиваются сквозь туман и дымку. Для обнаружения дронов применяют также акустические датчики, пассивный радиочастотный приём и радары.

Три уровня объединения данных

**Нижний уровень.** Необработанные данные двух и более датчиков объединяются напрямую. Такой способ, называемый ещё сильносвязанным слиянием, потенциально даёт наивысшую точность, но требует и наибольших вычислительных мощностей, когда отслеживается много признаков. Необработанные измерения нужно тщательно калибровать и снабжать быстрыми аппаратными метками времени с синхронизацией данных, а это требует широкой полосы.

**Средний уровень.** Показания каждого датчика проходят предварительную обработку до объединения. Она может быть встроенной функцией самого датчика — например, выделение признаков изображения периферийным искусственным интеллектом в камере или построение топологии в лидаре. Последующая обработка объединённых данных уже не так тяжела, как при слиянии нижнего уровня, и даёт хороший баланс точности и вычислительной цены.

**Верхний уровень.** Независимые вычислительные цепочки датчиков сами принимают решения по своим показаниям, а слияние происходит уже на уровне этих решений. Получается более модульное и масштабируемое решение, но потенциально менее точное.

Алгоритмы слияния

Алгоритмы выбираются под задачу. Чаще других применяют комплементарные фильтры, фильтры Калмана и графы факторов.

Для инерциального блока сильносвязанный комплементарный фильтр дёшев по вычислениям и реализуется прямо во встроенном микроконтроллере. Пример — слияние частотных данных гироскопа и акселерометра: при верном соотношении весов высокочастотная точность гироскопа дополняет устойчивую долговременную опору акселерометра, и курс остаётся стабильным.

Фильтр Калмана оценивает и предсказывает состояние системы по данным датчиков в реальном времени. Эта вероятностная оценка строится на линейной модели с нормальным распределением шума. Неопределённость данных датчика — насколько они зашумлены — задаёт коэффициент усиления Калмана для следующего предсказания. Линейный фильтр годится для базовой навигации, например для объединения спутниковых и инерциальных данных.

Расширенный фильтр Калмана строит оценку в нелинейных системах, линеаризуя текущую оценку разложением Тейлора первого порядка на каждом шаге. Он стал самым распространённым решением для навигации дронов: эффективен и надёжен в почти линейных сценариях. Но может потерять устойчивость, если система сильно нелинейна или начальное предсказание далеко от истины.

Сигма-точечный фильтр Калмана вычислительно тяжелее и применяется там, где нелинейность велика, — например, когда дрону нужна резкая манёвренность. На каждой оценке он преобразует распределение вероятности через набор сигма-точек, прогоняя их через нелинейную модель и пересчитывая среднее и ковариацию.

Графы факторов рассматривают весь маршрут дрона как сеть состояний, связанных данными датчиков. Вся траектория оптимизируется целиком, поэтому такие расчёты обычно ведут пакетно — вычислительные требования очень высоки.

Примеры

Свёрточные нейронные сети применяются и для навигации, и для обнаружения. Профессор Чихун Чхве с коллегами из Корейского аэрокосмического университета показали обнаружение и классификацию дронов на основе слияния данных камер, доплеровского радара и звуковых спектрограмм. Сначала для каждого типа датчика строилась своя модель на базе предобученной сети GoogLeNet, дообученной под задачу. Затем выходы сетей сводились в модель логистической регрессии для обнаружения и в модель полиномиальной логистической регрессии для классификации — это слияние верхнего уровня. По сравнению с одиночными датчиками точность обнаружения выросла на 15,6%, точность классификации — на 28,1%.

Навигация без спутникового сигнала

В городской застройке, помещениях, метро и туннелях доступ к спутниковым данным ограничен. Там дрону приходится опираться на инерциальные датчики для определения ориентации и на визуальную одометрию по камерам и лидару. В туннелях и метро добавляются плохое освещение и пыль.

Гибридные системы одновременной локализации и построения карты объединяют камеры глубины с лидаром байесовским слиянием: они строят карту местности и одновременно отслеживают на ней положение дрона. Многоспектральная съёмка объединяет данные камеры видимого диапазона с длинноволновой и коротковолновой инфракрасными камерами, давая составное изображение, которое берёт лучшее от каждой. Такой подход годится и для навигации, и для обнаружения дронов при слабом освещении.

Полёт роя

Полёт нескольких дронов строем без спутниковой навигации требует точного взаимного позиционирования. Задача сложная: каждый аппарат должен отслеживать не только своё положение, но и положение соседей, чтобы избежать столкновений. Здесь важны сильносвязанное слияние и распределённый периферийный искусственный интеллект — они помогают держать строй, распределять задачи и перестраиваться при потере отдельных аппаратов.

Ячеистая сеть, в которой каждый дрон служит узлом, позволяет обмениваться данными напрямую, без центрального узла связи. Данные разных аппаратов можно объединять и получать более точную картину местности или цели, поскольку каждый видит её со своего ракурса. Пример такой сети — Lattice Mesh компании Anduril.

Требования к обработке

У датчиков разная частота обновления, и программному слиянию нужно свести измерения по времени. При типовом контуре управления 400 Гц с циклом 2,5 мс метки времени должны быть точны до долей миллисекунды, иначе появляются искажения от движения.

Снизить сложность разработки помогают вычислительные модули. Пример — сверхкомпактный Open-Q 5165N компании Lantronix на процессоре Qualcomm Dragonwing со встроенным движком искусственного интеллекта и отдельным блоком машинного зрения. Сенсорная подсистема Qualcomm следит за сигналом кадровой синхронизации, одновременно принимая данные гироскопа и акселерометра. Переходы сигнала дают детерминированную опору: по ним определяется начало каждого видеокадра и с ним связываются соответствующие инерциальные измерения. Так данные инерциального блока с частотой около 800 Гц — 1 кГц точно сопоставляются с видеопотоком до 60 кадров в секунду.

«Модуль Open-Q 5165N даёт плотно интегрированную основу для слияния данных в реальном времени: обработка с камер, инерциальные данные высокой частоты и периферийный искусственный интеллект собраны на одной компактной платформе, — говорит Эрик Джонсон, директор по встраиваемым вычислениям Lantronix. — Он рассчитан на автономные системы и опирается на аппаратные метки времени и цепочку слияния с малой задержкой».

Программное обеспечение Lantronix хранит и сопоставляет инерциальные данные по времени, привязывает нужные отсчёты к каждому видеокадру и отдаёт эту информацию дальше — в стабилизацию, слияние данных и обработку изображения. Реализация сочетает аппаратную синхронизацию с программным сопоставлением меток времени, скрывая от приложения интерфейсы конкретных датчиков и камер.

Модуль 5165N выбран для дронов Black Widow в рамках программы ближней разведки Армии США.