Dikkat Tabanlı 3D-2D Evrişimli Sinir Ağı Modeli ile Hiperspektral Görüntülerin Sınıflandırılması (AttentionBased-3D2D-CNN-HSI-Classification)

Havvanur BOZÖMEROĞLU¹*, Zeynep ORMAN¹

¹İstanbul Üniversitesi-Cerrahpaşa, Mühendislik Fakültesi, Bilgisayar Mühendisliği Bölümü, İstanbul, TÜRKİYE

Özet

Uzaktan algılama yöntemleri, uzak sensörler aracılığıyla yeryüzündeki değişiklikleri izlemek ve analiz etmek amacıyla veri toplar. Hiperspektral Görüntüleme (HSI), elektromanyetik spektrumun çeşitli bölümlerinden gelen enerjiyi ölçerek bir nesnenin yüzeyine ait spektral imzaları elde eder. HSI, her pikselden elde edilen spektral veriler sayesinde nesnelerin türünü, bileşimini ve fiziksel durumunu ayırt etmeye olanak tanır. Bu çalışmada, hiperspektral görüntü verilerinin yüksek boyutlu özelliklerini çıkarmak amacıyla dikkat mekanizması içeren hibrit bir 2D ve 3D evrişimli sinir ağı (ESA) modeli önerilmektedir. Önerilen model, uzaysal ve spektral özellikleri dikkat mekanizmalı 3D ESA katmanı ve 2D ESA katmanı kullanarak birleştirilir. Dikkat mekanizması, önemli özelliklere odaklanarak sınıflandırma performansını artırmaktadır. Önerilen model, Indian Pines, Pavia Üniversitesi ve Salinas veri kümeleri üzerinde test edilerek performansı detaylı bir şekilde analiz edilmiştir. Elde edilen sonuçlar, literatürde mevcut çalışmalar ile karşılaştırılarak modelin hiperspektral veri sınıflandırmasında yüksek doğruluk sağladığı gösterilmiştir.

Anahtar kelimeler: Hiperspektral Görüntüler, Derin Öğrenme, 2D ESA, 3D ESA, Dikkat Mekanizması

Classification of Hyperspectral Images Using Attention-Based 3D-2D CNN Model

Abstract

Remote sensing methods collect data to monitor and analyze changes on the Earth's surface using distant sensors. Hyperspectral Imaging (HSI) measures energy from various parts of the electromagnetic spectrum to obtain spectral signatures of an object's surface. HSI allows distinguishing the type, composition, and physical state of objects based on spectral data obtained from each pixel. In this study, a hybrid 2D and 3D convolutional neural network (CNN) model incorporating an attention mechanism is proposed to extract high-dimensional features of hyperspectral image data. The proposed model combines spatial and spectral features using a 3D ESA layer with attention mechanism and a 2D ESA layer. The attention mechanism enhances classification performance by focusing on important features. The proposed model's performance is thoroughly analyzed by testing it on the Indian Pines, University of Pavia, and Salinas datasets. The obtained results are compared with existing studies in the literature, demonstrating that the model provides high accuracy in hyperspectral data classification.

Keywords: Hyperspectral Images, Deep Learning, 2D CNN, 3D CNN, Attention Mechanism

¹*İletişim e-posta: [email protected]