Come implementare la vera pipeline di funzioni in C#?

Question

Come creare una vera pipeline di funzioni utilizzando C#? Ho qualche idea, come i seguenti, ma non è un vero e proprio oleodotto

public static IEnumerable<T> ForEachPipeline<T>(this IEnumerable<T> source, params Func<T, T>[] pipeline) 
{ 
foreach (var element in source) { 
    yield return ExecutePipeline(element, pipeline); 
} 
} 

private static T ExecutePipeline<T>(T element, IEnumerable<Func<T, T>> jobs) 
{ 
var arg = element; 
T result = default(T); 
foreach (var job in jobs) { 
    result = job.Invoke(arg); 
    arg = result; 
} 
return result; 
} 

Nel codice sopra ogni elemento di IEnumerable<T> sarebbe in grado di ottenere nella pipeline solo dopo che l'elemento precedente termina l'esecuzione di tutte le funzioni (ad esempio uscite la pipeline), ma secondo la definizione se element1 termina l'esecuzione di func1 e inizia l'esecuzione di func2, a quel punto dovrebbe iniziare l'esecuzione di func1 e così via mantenendo così il flusso continuo di dati nella pipeline.

Questo tipo di scenario è possibile implementare in C#? Se possibile, dammi qualche codice di esempio.

Answer 1

Dal commento: Esiste un solo contesto di esecuzione a meno che non vengano introdotti i thread (l'approccio alternativo con un thread singolo è solo la generazione di risultati non pigro ad ogni passaggio). Con i thread, ogni fase è solo una coda FIFO che trasmette messaggi attorno a una "pompa". I thread (in realtà, la concorrenza) aumentano notevolmente la complessità, forse si vedono i metodi .NET4 "Parallel".

Un metodo "facile" è solo per configurare N "avvia" utilizzando Parallel.ForEach - se e solo se è possibile garantire che i calcoli sono privi di effetti collaterali.

Modifica: Vedere i commenti.

Answer 2

Questo comportamento è più efficiente di una vera pipeline. Il pipelining ha senso solo se le operazioni possono essere eseguite in parallelo, ma tutti questi lavori condividono un singolo thread della CPU e quindi devono essere eseguiti in sequenza anche se pipeline.

Se capisci che non ci saranno miglioramenti delle prestazioni e vuoi ancora fare pipeline, lascia un commento e ti mostrerò come, ma prima voglio assicurarmi di sapere cosa stai chiedendo.

Answer 3

Credo che manchi un elemento architettonico principale, che il lavoro sia gestito o meno. Pipeline è molto simile alla catena GoF tradizionali di responsabilità, date un'occhiata qui se non si ha il libro GoF intorno:

http://www.dofactory.com/Patterns/PatternChain.aspx#_self1

Credo che bisogna per restringere la "T" in una certa interfaccia che indica la pipeline se il lavoro è stato gestito (utilizzare l'istruzione "where").

Inoltre, dai un'occhiata al framework PLINQ. So che non è esattamente quello che stai cercando (lì, l'intento è di eseguire diversi lavori in parallelo), ma potrebbe darti delle buone idee.