Российские инженеры научили дрон искать борщевик 4 тысячи Взгляд в будущее

Российские инженеры разработали и испытали дрон, обнаруживающий борщевик Сосновского (Heracleum sosnowskyi) с воздуха и размечающий его на снимках для последующего уничтожения. Испытания показали, что точность определения борщевика на кадрах составляет 96,9 процента. Статья о разработке опубликована в IEEE Transactions on Computers.Борщевик Сосновского - это один из самых известных и проблемных инвазивных видов в России (впрочем, он также распространился и на территорию Европы). Изначально его ареал обитания был ограничен Кавказом, но после того, как в середине XX его решили культивировать на остальной территории СССР, он стал активно распространяться в новой среде и это распространение не удается взять под контроль до сих пор, спустя несколько десятилетий после прекращения сельскохозяйственной культивации.
Одна из проблем в борьбе с борщевиком заключается в его живучести и масштабном распространении семян даже из единичных растений. Из-за этого для обнаружения и составления карт для уничтожения этого растения необходимо либо вручную обходить поля и прочие территории, либо использовать летательные аппараты - большинство спутников дают недостаточно высокое разрешение для выявления единичных растений. Но учет растений с помощью летательных аппаратов пока слабо автоматизирован и зачастую основан на применении дорогих в эксплуатации самолетов.Инженеры из Сколтеха под руководством Андрея Сомова (Andrey Somov) разработали алгоритм, позволяющий использовать мультикоптеры для автономного распознавания борщевика Сосновского на территории под ними. В качестве аппаратной платформы они выбрали квадрокоптер DJI Matrice 200 и одноплатный компьютер NVIDIA Jetson Nano с относительно мощным видеоускорителем, позволяющим запускать прямо на устройстве нейросети.
За поиск борщевика на кадрах с камеры дрона отвечает сверточная нейросеть, которая получает кадр и проводит семантическую сегментацию, размечая на нем области с борщевиком. Разработчики выбрали три популярные архитектуры сверточных нейросетей, чтобы сравнить их эффективность для этой задачи: U-Net, SegNet и RefineNet. Они сами собрали датасет для обучения алгоритмов. Для этого они сняли множество кадров с дрона в Московской области, используя два разных дрона и одну экшн-камеру (закрепленную на дроне). В результате они получили 263 снимка и разметили на них области с борщевиком. Датасет доступен на GitHub.Обучив нейросети, авторы протестировал их на одноплатном компьютере и выяснили, что они работают с частотой в десятые или сотые доли кадров в секунду. Наилучший результат дала сеть на базе U-Net - 0,7 кадра в секунду. Наилучшую классификацию показала сеть на базе SegNet с площадью под ROC-кривой (распространенная метрика оценки качества бинарной классификации), равной 0,969.Ранее другие инженеры тоже использовали дроны для распознавания растений на снимках, в том числе хлопка и деревьев в лесу. А также дроны предлагают использовать и для уничтожения растений, например, сорняков и кокаиновых кустов.
Источник: https://nplus1.ru/news/2021/05/11/hogweed
4 тысячи на 3 тысячи - стандартный размер фотографий, которые операторы получают с коптеров на поисках пропавшего человека. Конечно же - в пикселях.
Всем привет, с вами снова Lacmus Foundation - открытое сообщество разработчиков программы для спасения людей.
Надеюсь, вы читали прошлый наш пост - нейросети находят пропавших людей.
Сегодня мы немного ответим на задаваемые нам вопросы и снова попытаемся найти человека на фотографиях с воздуха вручную. Правильные ответы будут в комментариях.
Начнём с вопросов.
Пост набрал внушительное количество комментариев - признаемся, мы не ожидали такого резонанса, но нам было приятно отвечать на них. Даже появилось несколько подписчиков - мы рады, что технология вызывает заинтересованность.


Итак, вопросы-ответы:


Q:- Нельзя ли запускать нейросеть на мощных видеокартах, чтобы фотографии обрабатывались быстрее?


A:- Можно и даже нужно. Но в нашем случае поисковые работы обычно проходят вдалеке от цивилизации, где нет постоянного электричества, стабильного широкого канала связи (для загрузки изображений на сервер), а возить с собой генератор - роскошь.


Q:- Нельзя ли передавать фотографии с дрона сразу на ноутбук оператора?


A:- Можно, но сложно. И прожорливо по питанию. И нестабильно. Проще и надёжнее натыкать коптеру Полётное Задание, по возвращении вытащить флешку с фотками, вставить взамен чистую, поменять аккумулятор и отправить фоткать следующий квадрат. А с флешки уже добыть фотографии и обрабатывать их на ноутбуке. При такой схеме летаем дольше, фотографируем больше, ищем эффективнее.


Q:- Зацепить на коптер тепловизор и им искать людей! Не?


A:- Можно. Но у тепловизоров на данный момент низкое разрешение. Летать приходится достаточно высоко (50 м, ибо деревья). С такой высоты тепловизор увидит человека как два-три пиксела. Это уже сопоставимо с помехами. А цена коптера с таким тепловизором приближается к квартире. Для волонтёров и добровольцев подобное оборудование - роскошь.


С вопросами разобрались. Теперь - фотографии.
В прошлый раз была фотография на чистой заснеженной целине. Усложним задачу - добавим в сцену немного деревьев. Теперь фотографии будет три (напомню: с поиска их может приехать 2 - 4 тысячи)






P.S. Во время фотосъёмок ни один человек или коптер - не пострадал.
P.P.S. Нам нужно улучшать нейросеть. Для этого нужно больше фотографий. С коптеров и с геотегами. Поэтому - пожалуйста, отписывайтесь в комментариях, если Вы готовы помочь с фотографиями с коптеров.
Засим всё. Хороших выходных. Берегите себя.


Кина Будет в ВК: https://vk.com/kinabudet