Tracciamento OpenCV mediante flusso ottico

Question

Uso questo come funzione del mio algoritmo di tracciamento.

//1. detect the features 
    cv::goodFeaturesToTrack(gray_prev, // the image 
    features, // the output detected features 
    max_count, // the maximum number of features 
    qlevel,  // quality level 
    minDist); // min distance between two features 

    // 2. track features 
    cv::calcOpticalFlowPyrLK(
    gray_prev, gray, // 2 consecutive images 
    points_prev, // input point positions in first im 
    points_cur, // output point positions in the 2nd 
    status, // tracking success 
    err);  // tracking error 

cv::calcOpticalFlowPyrLK prende vettore di punti dall'immagine precedente come input e restituisce punti appropriati sulla immagine successiva. Supponiamo di avere pixel casuali (x, y) nell'immagine precedente, come posso calcolare la posizione di questo pixel sull'immagine successiva utilizzando la funzione di flusso ottico OpenCV?

Answer 1

Come si scrive, cv::goodFeaturesToTrack prende un'immagine come input e produce un vettore di punti che ritiene "buono da tracciare". Questi sono scelti in base alla loro capacità di distinguersi da ciò che li circonda e sono basati sugli angoli di Harris nell'immagine. Un tracker verrebbe normalmente inizializzato passando la prima immagine a goodFeaturesToTrack e ottenendo un set di funzionalità da tracciare. Queste caratteristiche possono essere passate a cv::calcOpticalFlowPyrLK come i punti precedenti, insieme all'immagine successiva nella sequenza e produrrà i punti successivi come output, che quindi diventeranno punti di input nella successiva iterazione.

Se si desidera provare a tracciare un diverso set di pixel (anziché le funzioni generate da cv::goodFeaturesToTrack o una funzione simile), fornire semplicemente questi a cv::calcOpticalFlowPyrLK insieme all'immagine successiva.

Molto semplicemente, in codice:

// Obtain first image and set up two feature vectors 
cv::Mat image_prev, image_next; 
std::vector<cv::Point> features_prev, features_next; 

image_next = getImage(); 

// Obtain initial set of features 
cv::goodFeaturesToTrack(image_next, // the image 
    features_next, // the output detected features 
    max_count, // the maximum number of features 
    qlevel,  // quality level 
    minDist  // min distance between two features 
); 

// Tracker is initialised and initial features are stored in features_next 
// Now iterate through rest of images 
for(;;) 
{ 
    image_prev = image_next.clone(); 
    feature_prev = features_next; 
    image_next = getImage(); // Get next image 

    // Find position of feature in new image 
    cv::calcOpticalFlowPyrLK(
     image_prev, image_next, // 2 consecutive images 
     points_prev, // input point positions in first im 
     points_next, // output point positions in the 2nd 
     status, // tracking success 
     err  // tracking error 
    ); 

    if (stopTracking()) break; 
} 

Answer 2

cv :: calcOpticalFlowPyrLK (..) funzione utilizza argomenti:

cv :: calcOpticalFlowPyrLK (prev_gray, curr_gray, features_prev, features_next, lo stato, err);

cv::Mat prev_gray, curr_gray; 
std::vector<cv::Point2f> features_prev, features_next; 
std::vector<uchar> status; 
std::vector<float> err; 

semplice codice (parziale) per trovare pixel nel frame successivo:

features_prev.push_back(cv::Point(4, 5)); 
cv::calcOpticalFlowPyrLK(prev_gray, curr_gray, features_prev, features_next, status, err); 

Se pixel è stato trovato con successo status[0] == 1 e features_next[0] mostrerà coordinate di pixel nel fotogramma successivo. Informazioni sul valore possono essere trovate in questo esempio: OpenCV/samples/cpp/lkdemo.cpp