Preelaborazione delle immagini con OpenCV prima di eseguire il riconoscimento dei caratteri (tesseract)

Question

Sto cercando di sviluppare una semplice applicazione per PC per il riconoscimento delle targhe (Java + OpenCV + Tess4j). Le immagini non sono molto buone (in più andranno bene). Voglio preelaborare l'immagine per tesseract e sono bloccato al rilevamento della targa (rilevamento rettangolo).

miei passi:

1) Fonte immagine

Mat img = new Mat(); 
img = Imgcodecs.imread("sample_photo.jpg"); 
Imgcodecs.imwrite("preprocess/True_Image.png", img); 

2) Scala di grigi

Mat imgGray = new Mat(); 
Imgproc.cvtColor(img, imgGray, Imgproc.COLOR_BGR2GRAY); 
Imgcodecs.imwrite("preprocess/Gray.png", imgGray); 

3) Controllo sfocatura

Mat imgGaussianBlur = new Mat(); 
Imgproc.GaussianBlur(imgGray,imgGaussianBlur,new Size(3, 3),0); 
Imgcodecs.imwrite("preprocess/gaussian_blur.png", imgGaussianBlur); 

4) Soglia Adaptive

Mat imgAdaptiveThreshold = new Mat(); 
Imgproc.adaptiveThreshold(imgGaussianBlur, imgAdaptiveThreshold, 255, CV_ADAPTIVE_THRESH_MEAN_C ,CV_THRESH_BINARY, 99, 4); 
Imgcodecs.imwrite("preprocess/adaptive_threshold.png", imgAdaptiveThreshold); 

Qui dovrebbe essere 5 ° passo, che è il rilevamento della regione di piastra (probabilmente anche senza raddrizzamento per ora).

ho croped zona necessaria da immagine (dopo il 4 ° passo) con Paint, ed ha ottenuto:

Poi ho fatto OCR (via Tesseract, tess4j):

File imageFile = new File("preprocess/adaptive_threshold_AFTER_PAINT.png"); 
ITesseract instance = new Tesseract(); 
instance.setLanguage("eng"); 
instance.setTessVariable("tessedit_char_whitelist", "acekopxyABCEHKMOPTXY"); 
String result = instance.doOCR(imageFile); 
System.out.println(result); 

e ottenuto (abbastanza buono?) risultato - "Y841ox EH" (quasi vero)

Come è possibile rilevare e ritagliare la regione della piastra dopo il 4 ° passaggio? Devo apportare alcune modifiche (miglioramenti) in 1-4 passaggi? Vorrei vedere qualche esempio implementato tramite Java + OpenCV (non JavaCV).
Grazie in anticipo.

EDIT (grazie alla risposta di @Abdul Fatir) Beh, fornisco di lavoro (per me atleast) esempio di codice (Netbeans + Java + OpenCV + Tess4j) per chi interessato a questa domanda. Il codice non è il massimo, ma l'ho fatto solo per studiare.
http://pastebin.com/H46wuXWn (non dimenticate di mettere tessdata cartella nella cartella del progetto)

Answer 1

Ecco come suggerisco di eseguire questa operazione.

1. Converti in scala di grigi.
2. Gaussian Blur con filtro 3x3 o 5x5.

3. Applica il filtro Sobel per trovare i bordi verticali.

   Sobel(gray, dst, -1, 1, 0)

4. Threshold l'immagine risultante per ottenere un'immagine binaria.
5. Applicare un'operazione di chiusura morfologica utilizzando un elemento di strutturazione adatto.
6. Trova i contorni dell'immagine risultante.
7. Trova minAreaRect di ogni contorno. Seleziona i rettangoli in base al formato e all'area minima e massima.
8. Per ciascun contorno selezionato, trovare la densità del bordo. Impostare una soglia per la densità degli spigoli e scegliere i rettangoli che superano quella soglia come possibili regioni della piastra.
9. Pochi rettangoli rimarranno dopo questo. Puoi filtrarli in base all'orientamento o ai criteri che ritieni adatti.
10. Ritaglia queste parti rettangolari rilevate dall'immagine dopo adaptiveThreshold e applica OCR.

a) Risultato dopo il punto 5

b) Risultato dopo la fase 7. quelli verdi sono tutti i minAreaRect s e quelli rossi sono quelli che soddisfano i seguenti criteri: gamma Aspect ratio (2,12) & gamma Area (300,10000)

c) Risultato dopo passaggio 9. Rettangolo selezionato. Criteri: Densità Bordo> 0,5

EDIT

Per bordo densità, quello che ho fatto negli esempi di cui sopra è il seguente.

1. Applicare il rilevatore Canny Edge direttamente all'immagine di input. Lasciare che l'immagine dell'utensile sia Ic.
2. Moltiplicare i risultati del filtro Sobel e Ic. Fondamentalmente, prendi un E di immagini Sobel e Canny.
3. Gaussian Sfocare l'immagine risultante con un filtro di grandi dimensioni. Ho usato 21x21.
4. Soglia l'immagine risultante utilizzando il metodo OTSU. Otterrai un'immagine binaria
5. Per ciascun rettangolo rosso, ruota la porzione all'interno di questo rettangolo (nell'immagine binaria) per renderla verticale. Passa attraverso i pixel del rettangolo e contati i pixel bianchi. (How to rotate?)

Densità bordo = numero di pixel bianchi nel rettangolo/numero totale.di Pixel nel rettangolo

6. Scegliere una soglia per la densità del bordo.

NOTA: Invece di passare attraverso i passaggi da 1 a 3, è anche possibile utilizzare l'immagine binaria dal passaggio 5 per calcolare la densità bordo.

Answer 2

• a trovare tutti i componenti collegati (le aree bianche) e determinare il loro contorno.
• Se li si filtra in base alla dimensione (come parte dell'immagine), rapporto (larghezza-altezza) e rapporto bianco/nero per recuperare le targhe candidate.
• annullare la trasformazione del rettangolo
• Rimuovere i bulloni
• Pass immagine al motore OCR.

Answer 3

modello realtà OpenCV ha pre-addestrato appositamente per targhe russi: haarcascade_russian_plate_number

Inoltre v'è il progetto open source per ANPR targhe russi: plate_recognition. Non si usa tesseract, ma ha una buona rete neurale pre-addestrata.