Автоматизация беспилотного учета производителей кеты и кижуча методами искусственного интеллекта

Опубликованные методики беспилотного учета тихоокеанских лососей позволяют получать силами специалистов дальневосточных филиалов ВНИРО качественные фотоматериалы, однако их обработка в целях подсчета на них производителей весьма трудоемка, а практика применения методов искусственного интеллекта, в частности моделей глубокого обучения (иначе — искусственных нейронных сетей), отсутствует. Публикации по автоматизации беспилотного учета тихоокеанских лососей посредством нейросетей посвящены лишь сненке кеты и носят предварительный характер. Нами создана модель глубокого обучения, способная эффективно проводить автоматическое видоспецифичное выявление производителей кеты и кижуча, а также сненки кеты в многовидовых скоплениях на материалах беспилотного учета. Нейросеть базируется на обширных обучающих материалах, работает на изображениях одновременно с несколькими классами объектов по их выявлению. Приведено подробное воспроизводимое техническое описание подготовки, проверки качества и эксплуатации модели глубокого обучения по тихоокеанским лососям на базе настольной ГИС. Описаны различные факторы, влияющие на качество работы нейросети, даны рекомендации по его повышению. Обосновано, почему показатели качества модели следует рассматривать лишь в контексте визуальных характеристик целевых объектов на обрабатываемых фотоматериалах, которые могут значительно варьировать. Предложены способы повышения качества результатов работы нейросети посредством задействования функционала геоинформационного программного обеспечения. Приведены рекомендации по оптимизации создания модели с помощью инструментария фотограмметрического и геоинформационного программного обеспечения. Предложена схема пересчета выдачи нейросети по обработанным фотоматериалам для получения скорректированной оценки тотального количества объектов на отснятой акватории.

1. Методические рекомендации по проведению учета приплода байкальской нерпы (Pusa sibirica) с беспилотных летательных аппаратов в Байкальском рыбохозяйственном бассейне / сост. В.А. Бизиков, В.А. Петерфельд, В.И. Черноок и др. — М. : ВНИРО, 2021. — 56 с.

2. Свиридов В.В., Коцюк Д.В., Подорожнюк Е.В. Беспилотный фотограмметрический учет тихоокеанских лососей посредством БПЛА потребительского класса // Изв. ТИНРО. — 2022а. — Т. 202, вып. 2. — С. 429–449. DOI: 10.26428/1606-9919-2022-202-429-449. EDN: CNQHAF.

3. Свиридов В.В., Подорожнюк Е.В., Никитин В.Д., Скорик А.В. Модификации беспилотного учета производителей тихоокеанских лососей в реках Сахалинской области и Хабаровского края // Изв. ТИНРО. — 2022б. — Т. 202, вып. 4. — С. 1015–1031. DOI: 10.26428/1606-9919-2022-202-1015-1031. EDN: JULFRV.

4. Свиридов В.В., Поваров А.Ю. Применение методов искусственного интеллекта для автоматизации беспилотного учета отнерестившихся особей кеты в Хабаровском крае // Вопр. рыб-ва. — 2024. — Т. 25, № 4. — С. 113–124. DOI: 10.36038/0234-2774-2024-25-4-113-124.

5. Attard M.R., Phillips R.A., Bowler E. et al. Review of Satellite Remote Sensing and Unoccupied Aircraft Systems for Counting Wildlife on Land // Remote Sensing. — 2024. — Vol. 16, № 4. — P. 1–23. DOI: 10.3390/rs16040627.

6. Borowicz A., Le H., Humphries G. et al. Aerial-trained deep learning networks for surveying cetaceans from satellite imagery // PLoS ONE. — 2019. — Vol. 14, № 10: e0212532. DOI: 10.1371/journal.pone.0212532.

7. Boulent J., Charry B., Kennedy M. et al. Scaling whale monitoring using deep learning: A human-in-the-loop solution for analyzing aerial datasets // Frontiers in Marine Science. — 2023. — Vol. 10. — P. 1–13. DOI: 10.3389/fmars.2023.1099479.

8. Butcher P., Colefax A., Gorkin I. et al. The drone revolution of shark science: A review // Drones. — 2021. — Vol. 5, № 1. — P. 1–8. DOI: 10.3390/drones5010008.

9. Desgarnier L., Mouillot D., Vigliola L. et al. Putting eagle rays on the map by coupling aerial video-surveys and deep learning // Biological Conservation. — 2022. — Vol. 267. — P. 109494. DOI: 10.1016/j.biocon.2022.109494.

10. Dujon A., Ierodiaconou D., Geeson J. et al. Machine learning to detect marine animals in UAV imagery: effect of morphology, spacing, behaviour and habitat // Remote Sensing in Ecology and Conservation. — 2021. — Vol. 7, № 3. — P. 341–354. DOI: 10.1002/rse2.205.

11. Gorkin R., Adams K., Berryman M.J. et al. Sharkeye: Real-Time Autonomous Personal Shark Alerting via Aerial Surveillance // Drones. — 2020. — Vol. 4, № 2. — P. 1–18. DOI: 10.3390/drones4020018.

12. Gray P., Bierlich K., Mantell S. et al. Drones and convolutional neural networks facilitate automated and accurate cetacean species identification and photogrammetry // Methods in Ecology and Evolution. — 2019. — Vol. 10, № 9. — P. 1490–1500. DOI: 10.1111/2041-210X.13246.

13. Guirado E., Tabik S., Rivas M. et al. Whale counting in satellite and aerial images with deep learning // Scientific reports. — 2019. — Vol. 9, № 1. — P. 14259. DOI: 10.1038/s41598-019-50795-9.

14. Infantes E., Carroll D., Silva W. et al. An automated work-flow for pinniped surveys: a new tool for monitoring population dynamics // Frontiers in Ecology and Evolution. — 2022. — Vol. 10. — P. 1–17. DOI: 10.3389/fevo.2022.905309.

15. Li J.Y., Duce S., Joyce K.E. et al. SeeCucumbers: Using Deep Learning and Drone Imagery to Detect Sea Cucumbers on Coral Reef Flats // Drones. — 2021. — Vol. 5, № 2. — P. 1–28. DOI: 10.3390/drones5020028.

16. Rodofili E., Lecours V., LaRue M. Remote sensing techniques for automated marine mammals detection: review of methods and current challenges // Peer J. — 2022. — Vol. 10. — P. 1–22. DOI: 10.7717/peerj.13540.