Divisione di una stringa in un iteratore

Question

Python ha un build-in (nel senso delle librerie standard) per eseguire una divisione su stringhe che produce un iteratore piuttosto che un elenco? Ho in mente di lavorare su stringhe molto lunghe e di non dover consumare la maggior parte della stringa.

Answer 1

Non dividere direttamente le stringhe in quanto tali, ma il modulo re ha re.finditer() (e il corrispondente metodo finditer() su qualsiasi espressione regolare compilata).

@Zero chiesto un esempio:

>>> import re 
>>> s = "The quick brown\nfox" 
>>> for m in re.finditer('\S+', s): 
...  print(m.span(), m.group(0)) 
... 
(0, 3) The 
(4, 9) quick 
(13, 18) brown 
(19, 22) fox 

Answer 2

come S. Lott, non si sa bene ciò che si desidera. Ecco il codice che può aiutare:

s = "This is a string." 
for character in s: 
    print character 
for word in s.split(' '): 
    print word 

Ci sono anche s.index() e s.find() per trovare il carattere successivo.

---

tardi: Va bene, qualcosa di simile.

>>> def tokenizer(s, c): 
...  i = 0 
...  while True: 
...   try: 
...    j = s.index(c, i) 
...   except ValueError: 
...    yield s[i:] 
...    return 
...   yield s[i:j] 
...   i = j + 1 
... 
>>> for w in tokenizer(s, ' '): 
...  print w 
... 
This 
is 
a 
string. 

Answer 3

Si potrebbe usare qualcosa di simile SPARK (che è stato assorbito nella distribuzione di Python per sé, anche se non importabile dalla libreria standard), ma alla fine usa le espressioni regolari e in modo Duncan's answer sarebbe forse servire altrettanto bene se fosse facile come "dividere in spazi".

L'altra opzione, molto più ardua, sarebbe quella di scrivere il proprio modulo Python in C per farlo, se si desidera realmente la velocità, ma è ovviamente un investimento molto più lungo.

Answer 4

Se non è necessario consumare l'intera stringa, è perché si sta cercando qualcosa di specifico, giusto? Quindi cerca quello, con re o .find() invece di dividere. In questo modo puoi trovare la parte della stringa che ti interessa e dividerla.

Answer 5

Vedere itertools. Contiene cose come takewhile, islice e groupby che ti consentono di suddividere un iterabile (una stringa è iterabile) in un altro iterabile basato su indici o condizioni di tipo booleane.

Answer 6

Non esiste un analogico basato su iteratore incorporato di str.split. A seconda delle esigenze si potrebbe fare una lista iteratore:

iterator = iter("abcdcba".split("b")) 
iterator 
# <list_iterator at 0x49159b0> 
next(iterator) 
# 'a' 

Tuttavia, uno strumento da questa libreria di terze parti probabilmente offre ciò che si vuole, more_itertools.split_at. Vedi anche this post per un esempio.