Quali concetti statistici sono utili per la profilazione?

Question

Ho intenzione di fare un po 'di rispolverare la mia conoscenza delle statistiche. Un'area in cui sembra che le statistiche sarebbero utili è nel codice di profilazione. Dico questo perché sembra che la profilazione implichi quasi sempre il tentativo di estrarre alcune informazioni da una grande quantità di dati.

Esistono argomenti in statistica che potrei rispolverare per ottenere una migliore comprensione dell'output del profiler? Punti bonus se puoi indicarmi un libro o un'altra risorsa che mi aiuterà a capire meglio questi argomenti.

Answer 1

Non sono sicuro che i libri sulle statistiche siano utili quando si tratta di profilare. Esecuzione di un profiler dovrebbe darvi un elenco di funzioni e la percentuale di tempo trascorso in ciascuno. Poi guardi quello che ha preso la maggior parte delle percentuali e vedere se è possibile ottimizzarlo in qualsiasi modo. Ripeti fino a quando il tuo codice è abbastanza veloce. Non ho molto spazio per la deviazione standard o per il chi quadrato, mi sento.

Answer 2

Penso che il concetto statistico più importante da comprendere in questo contesto sia Amdahl's law. Sebbene comunemente indicato in contesti di parallelizzazione, la legge di Amdahl ha un'interpretazione più generale. Ecco un estratto dalla pagina Wikipedia:

Più tecnicamente, la legge è interessato con l'aumento di velocità ottenibile da un miglioramento un calcolo che colpisce una percentuale P di tale calcolo in cui il miglioramento ha un'accelerazione di S. (Ad esempio, se un miglioramento di può accelerare il 30% del calcolo , P sarà 0.3, se il miglioramento di rende la porzione interessata due volte più veloce, S sarà 2.) La legge di Amdahl afferma che la velocità complessiva di che applica il miglioramento sarà

Answer 3

Se si applica il metodo di programmazione MVC con PHP Questo sarebbe ciò che è necessario al profilo:

Application: 
    Controller Setup time 
    Model Setup time 
    View Setup time 
Database 
    Query - Time 
Cookies 
    Name - Value 
Sessions 
    Name - Value 

Answer 4

statistiche è divertente e interessante, ma per tuning delle prestazioni, non ne hai bisogno. Here's an explanation why, ma una semplice analogia potrebbe dare l'idea.

Un problema di prestazioni è come un oggetto (che potrebbe essere effettivamente più oggetti connessi) sepolto sotto un acro di neve, e si sta cercando di trovarlo sondando a caso con un bastone. Se il tuo bastone lo colpisce un paio di volte, lo hai trovato - la sua dimensione esatta non è così importante. (Se vuoi davvero una stima migliore di quanto è grande, prendi più sonde, ma questo non cambierà la sua dimensione.) Il numero di volte che devi sondare la neve prima di trovarlo dipende da quanta parte dell'area la neve è sotto

Una volta trovato, è possibile estrarlo. Ora c'è meno neve, ma potrebbero esserci più oggetti sotto la neve che rimane. Quindi con più sondaggi, puoi trovare e rimuovere anche quelli. In questo modo, puoi andare avanti fino a quando non riesci a trovare altro che puoi rimuovere.

Nel software, la neve è il tempo, e il sondaggio sta prendendo campioni a caso della pila di chiamate. In questo modo, è possibile trovare e rimuovere più problemi, risultando in large speedup factors.

E le statistiche non hanno nulla a che fare con questo.

Answer 5

Penso che un concetto relativo sia alla statistica che alla profilazione (la tua domanda originale) che è molto utile e utilizzato da alcuni (vedi la tecnica consigliata di volta in volta) è mentre si fa "micro profiling": molti programmatori si radunerà e urlerà "non puoi micro profilo, il microprofilo semplicemente non funziona, troppe cose possono influenzare il tuo calcolo".

Eppure basta eseguire n volte la profilazione, e tenere solo x% delle vostre osservazioni, quelle intorno alla mediana, perché la mediana è una "statistica robusta" (contrariamente alla media) che non è influenzata per valori anomali (i valori anomali sono precisamente il valore che non si vuole prendere in considerazione quando si effettua tale profilazione).

Questa è sicuramente una tecnica statistica molto utile per i programmatori che vogliono microprofilo il loro codice.

Answer 6

Tutto ciò che so sulla creazione di profili è ciò che ho appena letto su Wikipedia :-) ma conosco un bel po 'di statistiche. L'articolo di profilazione parlava di campionamento e analisi statistica dei dati campionati. Chiaramente l'analisi statistica sarà in grado di utilizzare questi campioni per sviluppare alcune dichiarazioni statistiche sulle prestazioni. Supponiamo che tu abbia una certa misura delle prestazioni, m, e che campiona quella misura 1000 volte. Diciamo anche che sai qualcosa sui processi sottostanti che hanno creato quel valore di m. Ad esempio, se m è la somma di un gruppo di variabili casuali, la distribuzione di m è probabilmente normale. Se m è il PRODOTTO di un gruppo di variabili casuali, la distribuzione è probabilmente lognormale. E così via ...

Se non si conosce la distribuzione sottostante e si desidera fare alcune affermazioni sul confronto delle prestazioni, potrebbero essere necessarie le cosiddette statistiche non parametriche.

Nel complesso, io suggerirei di qualsiasi testo standard su inferenza statistica (DeGroot), un testo che copre distribuzioni di probabilità diversa e dove sono applicabili (Hastings & Peacock), e un libro sulle statistiche non parametriche (Conover) . Spero che questo ti aiuti.

Answer 7

Zed Shaw, come al solito, ha qualche thoughts in materia di statistiche e di programmazione, ma lui li mette molto più eloquente di quanto ho potuto.