2FA sistem zasnovan na neuronskim mrežama za detekciju i verifikaciju lica

[njmarko]

Članovi tima

Ime i prezime	Broj indeksa	Grupa
Marko Njegomir	SW-38/2018	3
Dušan Erdeljan	SW-43/2018	3

Asistent

Branislav Anđelić

Problem koji se rešava

Ideja je da se prilikom logovanja nakon unošenja korisničkog imena i šifre, kao two-factor autentifikacija koristi potvrda identiteta pomoću verifikacije lica.

Kada se aktivira sistem za prepoznavanje lica u realnom vremenu upotrebom web kamere, tada se neuronskom mrežom prvo vrši detekcija svih vidljivih lica upotrebom object detection algoritma, i zatim se kropuje lice koje je najbliže centru. Ukoliko je detektovano više lica na ekranu, ispisuje se poruka upozorenja za korisnika koja skreće pažnju da sistem najbolje funkcioniše ako
se samo jedno lice nalazi u centru kadra. Detekcija lica bi se radila na frontendu upotrebom tensorflow.js modela.

Zatim se na bekend strimuje sekvenca kropovanih slika i na bekendu se radi verifikacija lica na osnovu identiteta obezbeđenog u vidu unetih kredencijala. CNN model za verifikaciju lica na bekendu će biti treniran nakon registracije upotrebom transfer learning-a, gde će se većina slojeva prethodno istreniranog modela zaključati, a preostali slojevi će se trenirati da se prilagode prepoznavanju lica registrovanog korisnika.

U slučaju neuspešne verifikacije, nakon određenog perioda, korisniku će biti ponuđena opcija da ipak iskoristi neki drugi vid two-factor autentifikacije. Ti drugi vidovi autentifikacije neće biti implementirani.

Algoritmi

• YOLO algoritam prilagođen za detekciju lica
• FaceVerification (pretrained modeli + transfer learning)
  • VggFace2
  • FaceNet

Metrika

• True positive rate
• False positive rate

Metrike koristimo za model za verifikaciju lica po uzoru na poglavlje 4 u radu FaceNet.

Evaluacija rešenja

Sistem će biti evaluiran empirijskim putem.

Repozitorijum

2FAce-verification

[bandjeo]

Tema odobrena, ostavite link ka repozitorijumu. Srećan rad.