Derin Öğrenme ile Yüz ve Duygu Tanıma

Derin Öğrenme ile Yüz ve Duygu Tanıma
12 Eki 2021

Derin öğrenme (Deep Learning) çalışmaları günümüzde hızla artan ve gelişen disiplinler arasında yer almaktadır. Özellikle büyük veri kavramı hayatımıza girdikten sonra verilerin işlenmesinde derin öğrenme yöntemleri kullanılmaya başlanmıştır. Bu çalışmamızda, kullanıcı tarafından belirlenen resim üzerindeki yüzün tespit edilmesi ve tespit edilen yüzün derin öğrenme algoritmaları ve yöntemleri ile duygu analizi ve cinsiyet tespiti yapılması konularında değineceğiz.

Çalışmamızda, yüz tanıma için Viola-Jones algoritması; duygu analizi ve cinsiyet tespiti için Evrişimsel Sinir Ağlarının (CNN) “Mini_Xception” modeli kullanılmıştır. Yapılan 18 farklı deney ile tahmin oranları çıkarılarak en başarılı duygu tanıma %93,11 ile en başarılı cinsiyet tanıma %90,75 olarak ölçülmüştür. Çalışma kapsamında yapılan deneyler görsel çalışmalarla desteklenmiştir.

Yüz Tanıma (Face Recognition) Süreçleri

Bilgisayarla görme, günümüzde yüz tanıma sistemleri ve nesne sınıflandırma alanlarında yaygın olarak kullanılmaktadır. Yüz tanıma, görüntü veya videolardan elde edilen verilerdeki kişilerin otomatik olarak tanımlanması veya doğrulanmasıdır. Yüz tanıma süreçlerinin dört temel aşaması vardır. Bu işlemler:

  • Yüz Algılama,
  • Normalleştirme,
  • Özellik Çıkarma,
  • Sınıflandırma

Table 1. Kabul Edilen Sonuçlar

 

Yüz tanımada normalleştirme ve sınıflandırma algoritmaları ne kadar başarılı olursa olsun, öznitelik çıkarma aşaması başarılı olmazsa o sistem istenilen başarıyı sağlayamaz. Hem model eğitimi hem de değerlendirme için yaygın olarak kullanılan kombinasyonlar son çalışmalarda test edilmiştir. Gerçek zamanlı evrişimli sinir ağları mimarisi kullanılarak, yüz tanıma, cinsiyet sınıflandırması ve duygu sınıflandırması tek bir adımda aynı anda gerçekleştirilir.

Resimler üzerinden yüz görüntülerinden yaş tahmini yapan uygulamalar geliştirilmiş ve bu uygulamalar için yüz resimlerinden veri setleri oluşturulmuştur. İnsan yüzlerinin işlenmesi; yüz tanıma (face recognition), yüz izleme ve yüz oluşturma aşamalarından oluşur. Viola-Jones yüz tanıma algoritması ile GPU (Graphics Processing Unit) üzerinde CUDA ve OpenCV kullanılarak paralel uygulamalar gerçekleştirilmektedir. Bu sayede elde edilebilecek algoritmanın hesaplama hızı artırılmakta ve daha iyi hesaplama sonuçları elde etmek için seri ve paralel uygulamalar arasında karşılaştırmalı analizler yapılmaktadır. Yüz tanıma, insan-bilgisayar etkileşimi gibi bilgisayarla görü alanındaki çeşitli uygulamalarda ilk adımdır. Bir çalışmada, yüzün hesaplama hızı açısından NVIDIA CUDA (Compute Unified Device Architecture) kullanılarak grafik işlem biriminde (GPU) hesaplama başlatılarak Viola Jones yüz tanıma algoritmasına dayalı güçlü bir GPU tabanlı yüz tanıma uygulaması geliştirilmiştir.

Table 2. Kabul Edilen Sonuçların Detayları

Bu çalışma ile kullanıcı tarafından belirlenen resim üzerinde yüzlerin bulunması, bulunan yüzün derin öğrenme yöntemleri ile duygu analizi ve cinsiyet tespiti yapılmıştır. Yüz tanıma, duygu analizi ve cinsiyet belirleme için Viola-Jones algoritması CNN’nin “Mini_Xception” modeli kullanılarak gerçekleştirilmektedir. Yanlış tanımlanmış resimlerin tanımlanabilmesi için sistemin öğretimi sırasında benzer resimler eklenmelidir. Bu nedenle veri setine daha belirgin resimler eklenmeli ve modele öğretilmelidir. Yüz tanıma için kullanılan daha önce öğretilen xml uzantılı dosya daha fazla veri seti ile eğitilebilir ve daha iyi sonuçlar alınabilir. CNN’nin duygu analizi ve cinsiyet belirleme için kullandığı “Mini_Xception” modelinin yapısı değiştirilebilir, farklı bir model kullanılabilir veya adım sayısı artırılabilir.

Çalışma hakkında detaylı bilgi almak ve sorularınız için GTech Büyük Veri ve İleri Analitik sayfamızda yer alan iletişim formunu doldurarak uzmanımıza ulaşabilirsiniz.

Yazan: Celal Akçelik

GTech Büyük Veri ve Analitik Danışmanı

Kaynakça

[1]       Singh, N., Sabrol, H. Convolutional Neural Networks-An Extensive arena of Deep Learning. A Comprehensive Study. Arch Computat Methods Eng (2021). https://doi.org/10.1007/s11831-021-09551-4

[2]       I. Masi, Y. Wu, T. Hassner and P. Natarajan, “Deep Face Recognition: A Survey,” 31st SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI), 2018, pp. 471-478, 2018, doi: 10.1109/SIBGRAPI.2018.00067.

[3]       Arriaga, O., Valdenegro-Toro, M., & Plöger, P. “Real-time convolutional neural networks for emotion and gender classification”. arXiv preprint arXiv:1710.07557, 2017.

[4]       Omkar M. Parkhi, Andrea Vedaldi, Andrew Zisserman, “Deep face recognition”, British Machine Vision Association, pp.1-12, 2015.

[5]       Samira Ebrahimi Kahou, et al., “Emonets: Multimodal deep learning approaches for emotion recognition in video”, Journal on Multimodal User Interfaces 10(2), pp. 99-111, 2016.