Soglia adattiva CIKernel/CIFilter iOS

Question

Ho ricercato dappertutto per trovare un kernel che esegua il thresholding adattivo su iOS. Sfortunatamente non capisco il linguaggio del kernel o la logica dietro di esso. Qui di seguito, ho trovato una routine che esegue thresholding (https://gist.github.com/xhruso00/a3f8a9c8ae7e33b8b23d)

static NSString * const kKernelSource = @"kernel vec4 thresholdKernel(sampler image)\n" 
"{\n" 
" float inputThreshold = 0.05;\n" 
" float pass = 1.0;\n" 
" float fail = 0.0;\n" 
" const vec4 vec_Y = vec4(0.299, 0.587, 0.114, 0.0);\n" 
" vec4 src = unpremultiply(sample(image, samplerCoord(image)));\n" 
" float Y = dot(src, vec_Y);\n" 
" src.rgb = vec3(compare(Y - inputThreshold, fail, pass));\n" 
" return premultiply(src);\n" 
"}"; 

E 'possibile riscrivere questo in un kernel soglia adattativa? L'immagine che sto fornendo è stata trasformata in B & W ed è già stata sfocata. Ci sono risorse a cui potresti indirizzarmi? Mi piacerebbe restare con CoreImage mentre il mio intero stack è costruito attorno ad esso.

Edit: Il miglior esempio/di riferimento da quello che sto cercando di realizzare è stato implementato in GPUImageAdaptiveThresholdFilter di GPUImage - https://github.com/BradLarson/GPUImage/blob/c5f0914152419437869c35e29858773b1a06083c/framework/Source/GPUImageAdaptiveThresholdFilter.m

Answer 1

filtro di Simon è l'approccio giusto per ottenere l'effetto desiderato, tuttavia, è necessario modificare un paio di cose.

Prima di tutto, passare l'ordine di imageLuma e thresholdLuma, poiché vogliamo che le lettere nere rimangano nere e non viceversa. Inoltre, dovresti aggiungere una costante (ho scelto 0.01) per rimuovere il rumore.

var thresholdKernel = CIColorKernel(string: 
    "kernel vec4 thresholdFilter(__sample image, __sample threshold)" + 
     "{" + 
     " float imageLuma = dot(image.rgb, vec3(0.2126, 0.7152, 0.0722));" + 
     " float thresholdLuma = dot(threshold.rgb, vec3(0.2126, 0.7152, 0.0722));" + 
     " return vec4(vec3(step(thresholdLuma, imageLuma+0.001)), 1);"  
    "}" 

override var outputImage: CIImage! { 
    guard let inputImage = inputImage, 
     let thresholdKernel = thresholdKernel else { 
     return nil 
    } 
    let blurred = inputImage.applyingFilter("CIBoxBlur", withInputParameters: [kCIInputRadiusKey: 5]) // block size 
    let extent = inputImage.extent 
    let arguments = [inputImage, blurred] 
    return thresholdKernel.apply(withExtent: extent, arguments: arguments) 
} 

E questo è, ciò che si ottiene solo utilizzando Apple Core Image, senza dover installare librerie esterne :)

Naturalmente, si può giocare un po 'con i valori di dimensioni costanti e blocco.

Answer 2

Come funziona questo aspetto: Ho usato il CoreImage CIBoxBlur (anche se i filtri di convoluzione dedicati può essere più veloce) e ha passato l'output di quello nel mio existing threshold filter.

class AdaptiveThresholdFilter: CIFilter 
{ 
    var inputImage : CIImage? 


    var thresholdKernel = CIColorKernel(string: 
    "kernel vec4 thresholdFilter(__sample image, __sample threshold)" + 
    "{" + 
    " float imageLuma = dot(image.rgb, vec3(0.2126, 0.7152, 0.0722));" + 
    " float thresholdLuma = dot(threshold.rgb, vec3(0.2126, 0.7152, 0.0722));" + 

    " return vec4(vec3(step(imageLuma, thresholdLuma)), 1.0);" + 
    "}" 
    ) 


    override var outputImage: CIImage! 
    { 
     guard let inputImage = inputImage, 
      thresholdKernel = thresholdKernel else 
     { 
      return nil 
     } 

     let blurred = inputImage.imageByApplyingFilter("CIBoxBlur", 
       withInputParameters: [kCIInputRadiusKey: 9]) 

     let extent = inputImage.extent 
     let arguments = [inputImage, blurred] 

     return thresholdKernel.applyWithExtent(extent, arguments: arguments) 
    } 
} 

ho trovato this image di una pagina ombreggiato e con questo codice:

let page = CIImage(image: UIImage(named: "son1.gif")!) 

let filter = AdaptiveThresholdFilter() 

filter.inputImage = page 

let final = filter.outputImage 

ho ottenuto questo risultato:

Cheers!

Simon