Come analizzare tra <div class ="foo"> and</div> facilmente in Perl

Question

Voglio analizzare un sito Web in una struttura dati Perl. primo passo per caricare la pagina con

use LWP::Simple; 
my $html = get("http://f.oo"); 

Ora so due modi per affrontare con esso. Prima sono le espressioni regolari e il secondo i moduli.

Ho iniziato a leggere su HTML::Parser e ho trovato alcuni esempi. Ma non sono sicuro della conoscenza di Perl.

Il mio esempio di codice va avanti

my @links; 

my $p = HTML::Parser->new(); 
$p->handler(start => \&start_handler,"tagname,attr,self"); 
$p->parse($html); 

foreach my $link(@links){ 
    print "Linktext: ",$link->[1],"\tURL: ",$link->[0],"\n"; 
} 

sub start_handler{ 
    return if(shift ne 'a'); 
    my ($class) = shift->{href}; 
    my $self = shift; 
    my $text; 
    $self->handler(text => sub{$text = shift;},"dtext"); 
    $self->handler(end => sub{push(@links,[$class,$text]) if(shift eq 'a')},"tagname"); 
} 

non capisco il motivo per cui ci sono due volte un turno. Il secondo dovrebbe essere l'auto puntatore. Ma il primo mi fa pensare che l'auto riferimento sia già spostato, usato come un hash e il valore per href è memorizzato in $class. Qualcuno potrebbe spiegare questa riga (my ($class) = shift->{href};)?

Accanto a questa mancanza, non voglio per analizzare tutti gli URL, voglio mettere tutto il codice tra <div class ="foo"> e </div> in una stringa, dove un sacco di codice è tra, specialmente altri <div></div> tag. Quindi io o un modulo dobbiamo trovare l'estremità giusta. Dopo di che ho programmato di eseguire la scansione di nuovo la stringa, per trovare classi speciali, come <h1>,<h2>, <p class ="foo2"></p>, ecc

Spero che queste informazioni ti aiuta a darmi alcuni consigli utili, e vi prego di avere in mente che prima di tutto voglio un modo semplice di comprensione, che non deve essere una grande prestazione nel primo livello!

Answer 1

Secondo i documenti, la firma del gestore è (\%attr, \@attr_seq, $text). Ci sono tre turni, uno per ogni argomento.

my ($class) = shift->{href}; 

è equivalente a:

my $class; 
my %attr_seq; 
my $attr_seq_ref; 

$attr_seq_ref = shift; 
%attr_seq = %$attr_seq_ref; 
$class = $attr_seq{'href'}; 

Answer 2

Usa HTML::TokeParser::Simple.

codice non testato in base alla descrizione:

#!/usr/bin/env perl 

use strict; use warnings; 

use HTML::TokeParser::Simple; 

my $p = HTML::TokeParser::Simple->new(url => 'http://example.com/example.html'); 

my $level; 

while (my $tag = $p->get_tag('div')) { 
    my $class = $tag->get_attr('class'); 
    next unless defined($class) and $class eq 'foo'; 

    $level += 1; 

    while (my $token = $p->get_token) { 
     $level += 1 if $token->is_start_tag('div'); 
     $level -= 1 if $token->is_end_tag('div'); 
     print $token->as_is; 
     unless ($level) { 
      last; 
     } 
    } 
} 

Answer 3

HTML :: Parser è più di un tokenizer di un parser. Lascia un sacco di duro lavoro a voi. Hai preso in considerazione l'utilizzo di HTML::TreeBuilder (che utilizza HTML :: Parser) o XML::LibXML (una grande libreria che supporta HTML)?

Answer 4

Non c'è bisogno di complicarsi così tanto. È possibile recuperare e trovare elementi nel DOM utilizzando CSS selectors con Mojo::UserAgent:

say Mojo::UserAgent->new->get('http://f.oo')->res->dom->find('div.foo'); 

o, scorrere gli elementi trovati:

say $_ for Mojo::UserAgent->new->get('http://f.oo')->res->dom 
    ->find('div.foo')->each; 

o, ciclo usando una richiamata:

Mojo::UserAgent->new->get('http://f.oo')->res->dom->find('div.foo')->each(sub { 
    my ($count, $el) = @_; 
    say "$count: $el"; 
});