Quali sono alcune caratteristiche interessanti del codice sorgente di EveryBlock.com?

Question

Il codice sorgente EveryBlock.com, un importante sito Web basato su Django fondato da Adrian Holovaty, uno dei dittatori co-benevolenti per la vita del framework Django, è stato recentemente open-sourced. La fonte è disponibile come tarballs e su github.

Questo ampio codice di codice da un creatore di Django dovrebbe avere alcune caratteristiche interessanti, modelli, trucchi o tecniche. Qual è il tuo preferito?

Answer 1

Il massiccio mostro di espressioni regolari che usano per geocodificare le posizioni dal testo inglese. Le frasi tratte da notizie come "Le riprese sono state ascoltate nell'area di East 3 tra Locust e Pine St" genereranno un poligono PostGIS che poi corrisponderà alle posizioni degli utenti e al livello sulle mappe. È un sito fantastico, sono stato entusiasta di questo, ma non avevo visto l'annuncio fino ad ora.

Answer 2

Molto bello che hanno rilasciato la fonte. È un bel po 'di codice e penso che ci sia qualcosa da imparare dal verificarlo.

Sono molto interessato alla funzionalità di geo/mapping, ma trovo anche abbastanza interessanti le routine di raschiamento utilizzate per raccogliere dati pubblici da varie fonti pubbliche.

Answer 3

Alcune delle cose che ho notato:

• Il sistema di pubblicazione ebpub utilizza l'autenticazione Django personalizzato e di agevole uso, per cui non è possibile utilizzare django-admin.

• Altho 'utilizza Database relazionale PostgreSQL, gli elementi di dati per varie voci di dati sono memorizzati in una singola tabella, con tipi di campi definiti in un'altra tabella, per la scalabilità. (Un'alternativa ai sistemi di memorizzazione coppie chiave-valore, CouchDB)

• Il sistema utilizza il back-end del database personalizzato, in modo che tale database di moduli modificati possa essere consultato con praticità nelle viste.

• L'applicazione blog è molto piccola e dolce; Solo il modello 1 Entry e nessuna vista, Solo viste generiche.

• Alcuni dei bot presenti potrebbero essere utilizzati per più scopi, con piccoli ritocchi.

Answer 4

Vedo che hanno uno scraper per sito per città.
Ho trovato che questo è troppo lavoro in quanto vi è un modo migliore di utilizzare uno scraper generico con varie direttive che saranno specifiche del sito. Questo è il modo in cui ho scritto il mio raschietto per newjoblist.com

Mi piace il look & mi sento sicuro.

mappa è troppo sbiadita

Credo che la fonte è bene guardare e imparare che cosa fare o non fare. Un ottimo riferimento.