AVFoundation: lavorazione da video a trama OpenGL - Come riprodurre e sincronizzare l'audio?

Question

Sono riuscito a caricare una traccia video di un filmato fotogramma per fotogramma in una trama OpenGL con AVFoundation. Ho seguito la procedura descritta nella risposta qui: iOS4: how do I use video file as an OpenGL texture? e ha preso un certo codice dal campione GLVideoFrame da WWDC2010 che può essere scaricato qui: http://bit.ly/cEf0rM

Come faccio a giocare la traccia audio del filmato in modo sincrono al video. Penso che non sarebbe una buona idea riprodurlo in un player separato, ma utilizzare la traccia audio dello stesso AVAsset.

AVAssetTrack* audioTrack = [[asset tracksWithMediaType:AVMediaTypeAudio] objectAtIndex:0]; 

a recuperare un VideoFrame ed è timestamp nel CADisplayLink-richiamata tramite

CMSampleBufferRef sampleBuffer = [self.readerOutput copyNextSampleBuffer]; 
CMTime timestamp = CMSampleBufferGetPresentationTimeStamp(sampleBuffer); 

dove readerOutput è di tipo AVAssetReaderTrackOutput*

Come ottenere i corrispondenti audio-campioni? E come suonarli?

---

Edit:

Ho guardato un po 'intorno e penso, cosa migliore sarebbe quella di utilizzare AudioQueue dal AudioToolbox.framework utilizzando l'approccio descritto qui: AVAssetReader and Audio Queue streaming problem

C'è anche un lettore audio in AVFoundation: AVAudioPlayer. Ma non so esattamente come dovrei passare i dati al suo initWithData -initializer che si aspetta NSData. Inoltre, non penso che sia la scelta migliore per il mio caso perché dovrebbe essere creata una nuova sostanza AVAudioPlayer per ogni nuova porzione di campioni audio, come ho capito.

Altri suggerimenti? Qual è il modo migliore per riprodurre i campioni audio grezzi che ottengo dallo AVAssetReaderTrackOutput?

Answer 1

Si desidera eseguire una composizione AV. È possibile unire più origini multimediali, sincronizzate temporalmente, in un unico output.

http://developer.apple.com/library/ios/#DOCUMENTATION/AVFoundation/Reference/AVComposition_Class/Reference/Reference.html