Rappresentazione interna di stringhe in PHP

Question

Sto scrivendo un semplice parser per siti web su PHP 5.2.10.
Quando si usa la codifica interno predefinito (che è ISO-8859-1), ottengo un errore sempre alla stessa chiamata di funzione:

$start = mb_strpos($index, '<a name=gr1>'); 

Fatal error: Allowed memory size of 50331648 bytes exhausted (tried to allocate 11924760 bytes)

La lunghezza della stringa $ indice in questo caso è stato 2.981.190 byte - esattamente 4 volte meno di PHP ha cercato di allocare.

Ora, se io uso

mb_internal_encoding('UTF-8') 

l'errore scompare. Ciò significa che PHP utilizza più memoria per stringhe a byte singolo che per multibyte? Com'è possibile? Qualche idea?

UPD: L'utilizzo della memoria non sembra dipendere dalla codifica: la media memory_get_usage() è quasi la stessa usando UTF-8 e ISO-8859-1. Penso che il problema potrebbe essere in mb_strpos. Infatti, la stringa $ index ha la codifica Windows-1251 (cirillico), quindi contiene simboli non validi per UTF-8. Questo potrebbe causare mb_strpos in qualche modo provare a convertire o semplicemente utilizzare la memoria aggiuntiva per alcune esigenze. Cercherò di trovare la risposta nei sorgenti di mb_strpos.

Answer 1

Scusate se avete già pensato a questi potenziali problemi.

Le funzioni stringa multibyte controlleranno UTF-8 codifiche per gli errori e, se ci sono caratteri non validi, restituisce una stringa vuota o falso (come nel caso di mb_strpos(): http://www.serverphorums.com/read.php?7,552099

Stai controllando il risultato che stai ricevendo utilizzando l'operatore === per assicurarsi che non si sta ricevendo false invece di 0?

la funzione mb_strpos() usa mbfl_strpos(), che rende copie delle stringhe (aghi, Mucchio di fieno) quando deve eseguire conversioni (portando ad aumenti nella memoria, come si osserva d): https://github.com/php/php-src/blob/master/ext/mbstring/libmbfl/mbfl/mbfilter.c#L811

Quindi, mi chiedo se si utilizza la codifica interna di default (ISO-8859-1) lasciare tutto attraverso, e il limite di memoria è stato colpito, mentre la codifica UTF-8 cortocircuitato a causa della caratteri non validi e restituiti falsa (che, se si stesse provando con ==, farebbe sembrare che la funzione semplicemente non ha trovato una corrispondenza.)

pena un colpo :)