Otonom sistemler ve güvenlik

HAVELSAN tarafından üç ayda bir yayımlanan “HAVELSAN Dergi”nin 5. sayısında, HAVELSAN’da otonom sistemler takım lider Engin Fırat’ın otonomi ve güvenlik hakkındaki bir yazısına yer veriliyor.

“HAVELSAN Dergi”nin 5. sayısına, mobil uygulamamızın dergi bölümünden ücretsiz olarak ulaşabilirsiniz.

Dergide yer alan “Otonom Sistemler ve Güvenlik” başlıklı yazıyı, takipçilerimize sunuyoruz:

Otonom robotik bir sistem, çevresini algılayarak, bu çevre içerisinde nasıl hareket edeceğini planlar ve kontrolcüleri ile de ortaya koyduğu plana uygun olarak hareket eder. Son aşama olarak çevredeki robotlar ile iletişime geçerek kendi durumunu paylaşır ve çevredeki robotların durumları ile ilgili bilgi alır. Dört ayrı aşamadan oluşan bu basit otonomi döngüsü, otonom temizlik robotlarından, otonom görüntü kaydı yapan bir hava aracına, otonom trafik yönetimi yapan bir sistemden, otonom siber güvenlik sistemine kadar tüm sistemlerde ortaktır. Bahsi edilen bu döngü içerisinde yapay zekâ algoritmaları geniş kapsamda kullanılmaktadır. Robotik bir sistemde, algılama ve konumlama alt sistemleri içerisinde, robot üzerindeki RADAR, LIDAR ve kamera gibi sensörlerden alınan 2 boyutlu ve 3 boyutlu veriler makine öğrenmesi modelleri ile işlenir. Kameradan alınan 2 boyutlu imgelerin işlenmesi ile obje bulma, ayrıştırma (segmentation), obje takibi, derinlik tahmini, objeye olan uzaklığı kestirme, ölçek tahmini, sahne tanıma gibi problemler çözülür. RADAR ve LIDAR gibi sensörlerden alınan 3 boyutlu sensör verisinin işlenmesi ile de 3 boyutlu obje bulma ve sınıflandırması gibi problemler yapay zekâ modelleri sayesinde çözülebilmektedir.

Davranışsal kestirim alt sistemi içerisinde, zaman serisi verisi işlenerek robot çevresindeki dinamik objelerin 3-5 saniyelik bir gelecekte nasıl hareket edecekleri kestirilmeye çalışılır. Bu problemin çözümü için “Yinelemeli Yapay Sinir Ağları (RNN)” kullanılır.

Planlama alt sistemi robotun içerisinde bulunduğu duruma uygun olarak gelecek planlamasını yapar. Bu alt sistem içerisinde, klasik robotik yaklaşımlar ve pekiştirmeli öğrenme tabanlı yapay zekâ modellerinin birlikte çalıştığı hibrit yaklaşımlar kullanılarak, yapay zekâ modellerinin de yardımı ile robotun geleceği planlaması ve karar vermesi sağlanır.

Peki, otonom sistem içerisinde bu kadar geniş şekilde kullanım alanı makine öğrenmesi modellerine ne kadar güvenebiliriz? Son zamanlarda yapılan çalışmalar, gerçek hayattaki problemlerin çözümünde ciddi başarılar gösteren makine öğrenmesi temelli yapay zekâ modellerinin aslında basit yöntemler ile kandırılabildiklerini göstermiştir.

Bu konu ilk olarak, Goodfellow vd. [1] tarafından yapılan çalışmada gündeme getirilmiştir. Bu çalışmada GoogLeNet mimarisine sahip bir modele x sinyali (panda resmi) ve x’ sinyali (gürültü eklenmiş x sinyali) verilmiş ve çıktı olarak da x sinyali için 57.7% güven oranı ile “panda”, x’ sinyali için de 99.3% güven oranı ile “şebek” sınıfı elde edilmiştir. x sinyali ve x’ sinyali arasında insan gözü ile ayırt edilebilecek herhangi bir farklılık bulunmamasına rağmen, sınıflandırıcı iki farklı sinyal için tamamen farklı sonuçlar üretmiştir. Bu perspektiften bakıldığı zaman, bu şekilde bir atak, yapay zekâ modeli için bir optik illüzyona yol açmaktadır.

Bu çalışma, atak eden kişinin, kandırılması hedeflenen mimariye ve ilgili modele sahip olması nedeniyle white-box atak olarak kategorize edilir.

Bir diğer atak şekli ise, Brown vd. tarafından geliştirilen ve black-box olarak kategorize edilen atak şeklidir. Bu atak şeklinde, atak edilecek yapay sinir ağı mimarisine ve modele herhangi bir erişim olmadan üretilen fiziksel yamalar ile verilen bir yapay zekâ modeli kandırılmıştır. Üretilen yama, değişen ölçek ve geometrik dönüşümlerde verilen modeli fiziksel dünyada kandırabilmektedir.

Verilen resimde de görüleceği üzere, üretilen yama konulmadan önce doğru sonuç üreten sınıflandırıcı, yamanın konulması ile yanlış sonuç üretmektedir.

Verilen ilk örnek için koruma, sensörler için güvenilir iletişim protokolleri ile çözülebilirken, fiziksel olarak gerçekleştirilebilecek ataklar için bu şekilde bir çözüm bulunmamaktadır. Bunun yerine, otonom sistem üzerinde kullanılan yapay zekâ modelinin bu şekilde ataklara karşı güvenilir hale getirilmesi ile ilgili çalışmalar bulunmakta ve alandaki çalışmalar devam etmektedir.

Buna benzer atak yöntemleri, evimizde çalışan kişisel asistanların içerisinde yer alan konuşma tanıma (speech recognition) sistemlerine karşı da kullanılabilmektedir. Benzer şekilde verilen bir ses kaydına doğru gürültünün eklenmesi ile kişisel asistan insan tarafından doğru algılanan bir konuşmanın kişisel asistan tarafından bambaşka algılanmasına sebep verebilmektedir. Örneğin, “Bugün hava nasıl?” ses kaydına doğru şekilde eklenen gürültü, kişisel asistan tarafından “Ev kilit sistemini pasif duruma getir.” şeklinde anlaşılabilir.

Son zamanlarda başarım seviyesi gittikçe yükselen ve zor problemlerin çözümünde kullanılan, derin pekiştirmeli öğrenme alanında yine benzer atak şekilleri görülmektedir. Derin pekiştirmeli öğrenme yöntemi ile eğitilen yapay zekâ modelleri Atari, Go ve Dota gibi oyunlarda insan performansında başarım elde etmektedir. Otonom sistemlerde de genel olarak planlama alt sisteminde kullanılan bu modellere yapılan benzer saldırılar ile yapay zekâ ajanının bulunduğu ortamda yanlış davranışlar sergilediği yapılan çalışmalarda gösterilmiştir.

Otonom sistemler içerisinde önem teşkil eden yapay zekâ modellerinin bu anlamda kandırılmaya karşı dirençli hale getirilmesi önem arz etmektedir. Her hangi bir alt sistem içerisinde kandırılan bir yapay zekâ modeli, tüm sistemi etkileyerek nihayetinde robotun beklenmedik yanlış tepkiler vermesine yol açacaktır. Örneğin otonom sivil kara aracının “dur” trafik işaretini “azami hız 120” trafik işareti olarak yanlış kategorize etmesi veya otonom zırhlı kara aracında düşman unsurun dost unsur olarak sınıflandırılması sonucu, otonom sistemin ciddi ve önlenemez hatalar yapmasına sebep olacaktır.

Günümüzde, üretilen veri miktarının artması ve yapay sinir ağlarının da önceden çözülmesi zor problemlerin çözümünde ciddi başarı elde etmesi neticesinde, yapay zekâ modelleri sadece otonomi alanında değil hayatın birçok alanında kullanılmaya başlanmıştır. Tariflenen şekilde yapılan ataklar ise, yapay zekâ modelleri üzerinden birçok sistemin yanlış davranmasına sebep verebilecek ve geri dönülemez kayıplara yol açabilecektir.