Codice rubino per verificare se un sito web ha URL ottimizzati per i motori di ricerca

Question

Sto sviluppando un'applicazione in rotaie che richiede di verificare se il sito web inserito ha URL di motori di ricerca generati o meno. Una soluzione che ho in mente sta usando nokogiri per analizzare l'HTML del sito e guarda nel tag link per trovare gli URL e vedere se sono adatti ai motori di ricerca. C'è un altro modo in cui questo può essere fatto? Qualsiasi aiuto sarebbe davvero grandioso.

Answer 1

Hai due problemi qui:

1. Come si formalmente (programmazione) definiscono ciò che un "search engine URL frienldy è". Suppongo che tu abbia già un modo per farlo. Quindi lascia ...

2. Come controllare tutti i collegamenti su un sito web.

Quindi per (2) Vorrei guardare qualcosa come Anemone che renderà più facile per voi a strisciare siti web completi:

Anemone è una libreria Ruby che lo rende rapido e indolore per scrivere programmi che ragno un sito web. Fornisce un semplice DSL per eseguire azioni su ogni pagina di un sito, ignorare determinati URL e calcolare il percorso più breve per una determinata pagina su un sito.

Il design multi-thread rende Anemone veloce. L'API lo rende semplice. E l'espressività di Ruby lo rende potente.

Per la ricerca per indicizzazione semplice, Anemone ti fornirà anche una serie di tutti i collegamenti su una pagina, quindi non avrai nemmeno bisogno di Nokogiri. Per cose più complesse forse vuoi combinare Anemone con qualcosa come Mechanize e Nokogiri. Questo dipende dalle tue esigenze.