Unione di texture di foto - (da fotocamere calibrate) - proiettate su una geometria

Question

Sto cercando documenti/algoritmi per unire texture geometriche proiettate. Per essere più specifici, dato un set di fotocamere/fotografie e geometrie completamente calibrati, come possiamo definire una metrica per scegliere quale fotografia deve essere usata per tessere una data patch della geometria.

Posso pensare ad alcuni attributi che uno può cercare minimizzare tra cui l'angolo tra la superficie normale e la fotocamera, la distanza della telecamera dalla superficie, nonché minimizzare alcune parametrizzazioni di nitidezza.

La domanda è: come si combinano queste cose e ci sono soluzioni esistenti ben consolidate?

Answer 1

Sono certo che ci sono approcci teorici che potrebbero alla fine produrre risultati. Ma mi piacerebbe raccomandare un metodo più diretto:

Se si dispone di una GPU e si dispone di un'esperienza di shader DirectX o OpenGL (o esperienza di programmazione GPU), sarebbe relativamente semplice "splatare" ogni trama su il modello e controlla il risultato.

Inizialmente utilizza gli occhi e crea una metrica semplice che può rendere un giudizio rapido correlato al tuo occhio. (Ad esempio, poiché la nitidezza è probabilmente una caratteristica desiderata di una buona trama, prendi un FFT 2D dell'output e la parte mappata dell'input: La mappatura con il più alto contenuto di frequenza e la minima perdita potrebbe essere la tua migliore selezione.)

A volte il modo più semplice ('provateli tutti e test', AKA 'brute-force') può essere il migliore, specialmente se avete un po 'di potenza GPU disponibile. Cioè, non cercare di sviluppare un predittore teorico di successo (che può essere un dolore reale per lo sviluppo e il debug), ma piuttosto generare tutti i possibili risultati e confrontarli per vedere qual è il migliore.

Dopo tutto, anche se si sviluppa un metodo a priori basato su previsioni, sarà comunque necessario applicare la proiezione e verificare il risultato per assicurarsi che funzioni. E dal momento che è necessario codificare quel test in ogni caso, perché codificare qualcos'altro?