Usa MediaCodec e MediaExtractor per decodificare e codificare video

Question

Ho bisogno di decodificare un video in una sequenza di bitmap, in modo tale da essere in grado di modificarli e quindi comprimerli nuovamente in un file video in Android.

Ho intenzione di gestirlo utilizzando getFrameAtTime e salvandolo in una sequenza di immagini. Quindi posso modificare le immagini nella sequenza e ricollegarla a un film. Ma ho due problemi con questo:

• primo luogo, come ho letto, il getFrameAtTime è per la creazione di miniature e non garantirà la restituzione del frame corretto. Questo rende il video lento.
• In secondo luogo, salvare le immagini e leggerle richiede molto tempo.

ho letto che il modo corretto di fare la decodifica è con MediaExtractor, questo va bene, ma ho solo esempi per renderlo direttamente a un surfaceView. C'è un modo per me di convertire lo outputBuffer in un bitmap?

Avrei bisogno di farlo funzionare con un livello API di 16 e superiore.

Answer 1

È possibile trovare una raccolta di esempi utili sul sito bigflake.

In particolare, il ExtractMpegFramesTest dimostra come decodificare un file .mp4 per Bitmap, e le DecodeEditEncodeTest decodifica e ri-codifica un flusso H.264, modificando i fotogrammi con uno shader GLES.

Molti degli esempi utilizzare funzionalità introdotte in API 18, come Surface input per MediaCodec (che evita una serie di questioni di colore-formato), e MediaMuxer (che permette di convertire il formato H.264 flusso elementare grezzo in uscita di MediaCodec in un file .mp4). Alcuni dispositivi ti consentiranno di estrarre video in dati YUV in ByteBuffer, modificarlo e ricodificarlo, ma altri dispositivi estraggono in formati di colore YUV proprietari che potrebbero essere rifiutati dalla versione API 16 di MediaCodec.

Si consiglia di codificare per API 18 (Android 4.3 "Jellybean" MR2) o successivo.

Answer 2

Ci sono molte persone che dicono che il metodo onFrameAvailable() non viene mai chiamato. Bene, l'ascoltatore dovrebbe trovarsi in un thread diverso rispetto al thread principale. Per impostare l'ascoltatore fare questo: (dove questo è l'ascoltatore classe che implementa SurfaceTexture.IOnFrameAvailableListener):

mSurfaceTexture.SetOnFrameAvailableListener(this);