Come rilevare Edge of lips usando Opencv in iOS?

Question

Sono nuovo in OpenCV quindi per favore aiutatemi. Voglio rilevare bordo labbra utilizzando OpenCV. Quindi puoi darmi qualche link e una soluzione? Ive ha verificato la normale procedura di rilevamento di viso e bocca utilizzando OpenCV ma la precisione non è presente. Ho usato "haarcascade_mcs_mouth" per rilevare la bocca in una foto ma il risultato non è stato così buono. E ho sentito parlare del metodo AAM, ma non ho potuto ottenere alcun documento a riguardo. per favore aiutatemi ...

Answer 1

Il riconoscimento delle labbra è un problema in Computer Vision che non è completamente risolto. Le classificazioni tipo haar che hai utilizzato (incluse in OpenCV) funzionano bene nel riconoscimento facciale, ma per il riconoscimento labiale sono state sviluppate tecniche migliori. Dovrai costruire algoritmi diversi e scegliere quello migliore per il tuo scopo. Il fatto che tu stia sviluppando per iOS rende il compito più difficile a causa di vincoli aggiuntivi (ingombro della memoria, CPU, ecc.). Ho condensato per voi una breve panoramica dello stato dell'arte in riconoscimento delle labbra in modo da poter ulteriori ricerche:

metodi per riconoscere le labbra possono essere classificati in tre grandi categorie:

tecniche basate

• Immagine: Questi sono basati sull'ipotesi che la pelle e le labbra hanno colori diversi. Il documento [2] è un esempio di questo tipo di approccio applicato per il riconoscimento della lingua dei segni. Il clustering dei colori è stato esplorato anche da [3]. Presume che nell'immagine ci siano due classi di pixel: pelle e labbra. Questo metodo non è appropriato se la persona ha la barba o mostra i denti, per esempio.

• Tecniche basate su modello: questi metodi sono più affidabili di quelli precedenti poiché utilizzano informazioni preliminari sulla forma delle labbra. Tuttavia, sono più costosi dal punto di vista computazionale, quindi potrebbero non essere adatti per un'implementazione su dispositivi mobili. AAM (Active Appearance Models) appartiene a questo gruppo e apprende la forma delle labbra da dati annotati manualmente. Nella sezione "Collegamenti esterni" di Wikipedia article è possibile vedere alcune implementazioni e librerie open source che possono essere trasferite su C++/OpenCV.

• Tecniche ibride: questi metodi sono una combinazione di metodi basati su immagini e metodi basati su modelli. Tipicamente, una tecnica basata sul colore viene prima applicata all'immagine per stimare la posizione e la dimensione della regione del labbro; quindi, una tecnica basata su modelli (come AAM) viene applicata alla regione di interesse per estrarre i contorni delle labbra. [4] è un esempio di questa tecnica.

[2] U. Canzler e T. Dziurzyk, "Estrazione di caratteristiche non manuali per Videobased Iscriviti riconoscimento della lingua". ; In Atti di MVA. 2002, 318-321

[3] Leung, Shu-Hung, Shi-Lin Wang e Wing-Hong Lau. "Segmentazione dell'immagine del labbro con clustering fuzzy che incorpora una funzione di forma ellittica." Elaborazione di immagini, transazioni IEEE il 13.1 (2004): 51-62.

[4] Bouvier, Christian, P-Y. Coulon e Xavier Maldague. "Segmentazione delle labbra senza supervisione basata sull'ottimizzazione del ROI e sul modello parametrico." Elaborazione di immagini, 2007. ICIP 2007. Conferenza internazionale IEEE su. Vol. 4. IEEE, 2007.