Mesafe kameraları kullanarak uzaysal işitme duyusunun görme duyusunun yerini alması
(TÜBİTAK 3001, 12/2014 - 12/2016)
Duyuların birbirleri yerine kullanılması, bir bireyin bir kipten elde ettiği (örneğin görme) duyu bilgisinin bir başka kip olarak (örneğin işitme veya dokunma) özümsenmesi için kullanılan bir yöntemdir. Duyu yer değiştirmesi özellikle görme kaybı yaşayanlar için umut vaat etmekte ve noksan olan kipten elde edilebilecek bilgiler ikame edilen kipten sağlanabilmektedir.
Genel olarak duyu yer değiştirmesi sistemlerinde görsel bilginin iletilmesi için tipik olarak RGB veya daha sıklıkla gri tonlarda resimlerin bilgisi kullanılır, ve deri üzerine konumlandırılmış dokunsal diziler veya görsel verinin spektrotemporal ses kodlaması vasıtasıyla iletim sağlanır. Bu sistemlerin yetenekleri henüz potansiyel kullanıcıların gündelik hayatlarına girecek kadar istenilen performans, yoğunluk ve tepkiye ulaşamamıştır. Mesafe sensörleri görme engelli bireyler için yararlı olsa da, çıkışları kullanıcılara genellikle düşük bant genişliğine sahip olan uygulamalar yoluyla ulaşır; örneğin engel tespit uyarısı veya odaktaki nesne hakkında seyrek bilgi sağlama şeklinde.
Önerilen projenin amacı uçuş zamanı (time-of-flight) kameralar veya benzer  mesafe kameraları kullanarak yoğun görsel verinin önemli bir bileşenini, yani mesafe resimlerinden oluşan video akışını kullanıcıya sağlamak ve bu sayede duyu yer değiştirmesini gerçekleyebilmektir. Bu resimler fark haritalarında (disparity map) olduğu gibi 2 boyutlu menzil dizilerinden oluşur ve ileri işleme tekniklerinde kullanılmak için 3 boyutlu nokta bulutlarına dönüştürülebilir. Normal görüntüleme ile birleştirilmiş mesafe kamerası temelli görüntüleme, diğer bir adıyla RGBD görüntüleme, geçen yıllar içerisinde uygun fiyatlı hale gelmiştir ve bir kamera yaklaşık 250 ABD Doları'na mal olabilmektedir. Projede mesafe verisini kullanıcıya iletecek olan ve iki kulağa ait bilgiler içeren “binoral (binaural) işaretler” incelenecektir. Bu binoral işaretler, ayrık ses kaynaklarının 3 boyutlu konumlanmasını doğru olarak sağlayabilmesi ile bilinir ve insanlar tarafından algılanması için ilave bir eğitime ihtiyaç duyulmaz. Önerilen projede binoral işaretler, akıllı yüzey segmentasyonu ve yüzey özelliklerinin ses temelli kodlanması teknikleri ile birlikte kullanılacaktır. Mesafe resimlerinden oluşan videoların sunumu için bu işaretlerin ne kadar temsil edilebilir olduğu, öznel ve nesnel kıstaslar kullanılarak değerlendirilecektir. Bu projenin amacı bu uygulama alanındaki çözümleri araştırmak ve performans, yoğunluk ve tepkiyi arttırarak bu sistemlerin görme engelli bireylerin gündelik hayatlarında geçerli bir seçim olmasını sağlamaktır.
Mesafe resimlerinin bir duyu yer değiştirmesi sisteminde ilk kez kullanılacak olması ve uzaysal işitme işaretlerin bu alanda yeteri kadar incelenmemiş olması önerimizin yenilikçi yönünü oluşturmaktadır.
Projenin, mesafe bilgisini ses bilgisi ile kodlama prensibine dayalı iki farklı yöntemi içeren bir çerçeve içerisinde ele alınması, bu yöntemlere kullanıcı kontrolü eklenmesi ve farklı kodlama kombinasyonlarının incelenmesi tasarlanmıştır. Birinci yöntem uzay-zamansal yüzey temel öğesi (spatio-temporal surface primitive) ve ikinci yöntem ise uzaysal tarama (spatial scanning) yöntemi olarak adlandırılacaktır. Uzay-zamansal yüzey temel öğesi yaklaşımı mesafe verisini görece pürüzsüz veya basit ayrık komşusal yüzey bölgelerine böler ve sonra bu bölgelerin yerel şekillerini yüzeyin konumuna bağlı yaratılan ses sinyalleri olarak kodlar. Bu yöntem uzaysal verinin sezgisel ve tepkisel bir kodlamasına dayandığından avantajlıdır. Uzaysal tarama yaklaşımı ise bir önceki yaklaşıma göre tepkisellikten ödün vermesine karşın mesafeyi tek bir boyutta tarayarak kullanıcıya çok daha yoğun bir bilgi akışı yaratılmasını, ve tarama çizgisinin resim üzerinde aşağıya kayma hareketi ile değişen ve binoral işaretlerinden faydalanan ses sinyallerine dönüştürülmesini sağlar.
Proje sonunda kavram kanıtı (proof-of-concept) olarak kullanılabilecek bir sistem ve gerçeğe uygun senaryoları temel alan deneylerin değerlendirmelerinin ortaya çıkarılması amaçlanmaktadır.