MediaCodec con Surface Input: registrazione in background

Question

Sto lavorando a un'applicazione di codifica video che voglio impedire di arrestare quando l'attività di hosting entra nello sfondo, o lo schermo si attiva/disattiva.

L'architettura del mio encoder è derivata dall'eccellente esempio CameraToMpegTest, con l'aggiunta della visualizzazione di fotogrammi della telecamera su un GLSurfaceView (vedere i collegamenti Github di seguito). Attualmente sto eseguendo sfondo la registrazione con una soluzione a due stati:

• Quando l'hosting di attività è in primo piano, codificare un frame video su ogni chiamata a 's il GLSurfaceView.Renderer. Ciò mi consente di accedere allo stato EGL di GLSurfaceView a raffica in modo da non bloccare altri eventi in coda al thread di rendering.

• Quando l'attività di hosting passa allo sfondo, interrompere la codifica e codificare fotogrammi su un altro thread in background all'interno di un ciclo. Questa modalità è identica all'esempio di CameraToMpegTest.

Tuttavia se lo schermo è spento EGLContext del GLSurfaceView è perduto e una nuova chiamata a onSurfaceCreated verifica. In questo caso dobbiamo ricreare la superficie della finestra EGL collegata alla superficie di input di MediaCodec. Purtroppo questo secondo invito a eglCreateWindowSurface produce:

E/libEGL(18839): EGLNativeWindowType 0x7a931098 already connected to another API 

prima di chiamare, io release all EGL resources connected to the Android Surface.

C'è un modo per scambiare la superficie EGLSurface collegata alla superficie di ingresso di MediaCodec?

La fonte completa della mia applicazione di prova è Github. Main Activity.

Aggiornamento ho applicato le lezioni apprese qui in una video sdk for Android basata sulle classi MediaMuxer MediaCodec &. Spero che sia d'aiuto!

Answer 1

fondo prima ...

Quando si chiama eglCreateWindowSurface(), i Android EGL wrapper chiamate native_window_api_connect() sul Surface avete passato. Questo alla fine si trasforma in un produttore BufferQueue collegare chiamata, il che significa che questa superficie EGL è ora l'unico fonte di buffer grafici per lo Surface.

La superficie EGL rimane collegata allo Surface finché la superficie EGL non viene distrutta. Quando lo è, il surface destructor chiama native_window_api_disconnect() per scollegare la superficie EGL dal BufferQueue.La superficie EGL è riferimento conteggiata, con il refcount incrementato quando la superficie viene passato eglMakeCurrent() modo da distruggere due cose deve accadere:

1. eglDestroySurface() deve essere chiamato
2. superficie EGL non deve essere "di" in ogni filo

il secondo elemento richiede chiamando eglMakeCurrent() con un'altra superficie EGL (o EGL_NO_SURFACE), o chiamando eglReleaseThread(), su ogni filo che aveva usato in precedenza la superficie. Un modo rapido per confermare l'operazione consiste nell'aggiungere la registrazione prima delle chiamate a eglMakeCurrent() quando la superficie viene resa corrente e non corrente e confrontare gli ID di filettatura visualizzando l'output del logcat con adb logcat -v threadtime. Potrebbe anche essere utile usare query EGL come eglGetCurrentSurface(EGL_DRAW) per confermare che stai facendo la non-corrente nel thread che ha reso la superficie corrente.

Se la superficie EGL non viene distrutta, non si disconnetterà dallo Surface e tenterà di connettere un nuovo produttore (chiamando eglCreateWindowSurface con una nuova superficie EGL) verrà rifiutata con il messaggio "già connesso".

Aggiornamento: La mia implementazione è ora disponibile nello Grafika test project. Se lo installi, seleziona "Mostra + cattura fotocamera", avvia la registrazione, attiva la potenza e quindi interrompe la registrazione, dovresti avere un film completo con una lunga pausa nel mezzo. Puoi tornare indietro, selezionare "Riproduci video" e scegliere "camera-test.mp4" per vederlo.