2011-08-31 7 views
10

Se hai svolto ricerche serie sulle API di ricerca, sai che la maggior parte di esse ha un enorme numero di restrizioni TOS/TOU che le rendono quasi impossibili da usare in qualsiasi altra applicazione tranne le più insulse.Quali API di ricerca gratuite oa pagamento consentono l'esecuzione di query programmatiche e la memorizzazione nella cache/archiviazione dei dati risultanti?

Bing's 2.0 API, Yahoo Search BOSS, Google Places, Google AJAX Search (morti), et al, sono troppo restrittivi per noi. Ho bisogno di eseguire un numero finito e relativamente piccolo di query (forse 500k) una sola volta, memorizzando dati specifici dai risultati per l'uso all'interno della nostra applicazione.

Ad esempio, dobbiamo abbinare i nomi commerciali ai loro siti web di destinazione (abbiamo scritto l'algoritmo per fare una "ipotesi migliore" da un insieme di risultati, se necessario, abbiamo solo bisogno di un set di risultati vaniglia). Inoltre, dobbiamo abbinare un indirizzo a questa società in questione.

Sfortunatamente, posso trovare le API di ricerca ZERO che ci consentiranno di attivare le query in modo programmatico e non avviato dall'utente.

Siamo persino ansiosi di dare a qualcuno un po 'di denaro freddo e duro per accedere a questo tipo di dati; Google, Bing, Yahoo e altri semplicemente non vogliono i nostri soldi (come dimostrano le loro Tue) ...

Qualche idea?

+0

Ciao a tutti! Vedo che questo ha ricevuto un voto ravvicinato. Se c'è una community SO che sarebbe più appropriata per questa domanda, per favore fatemelo sapere. Ho guardato onestamente tutti loro, e il SO originale sembrava essere il più rilevante. Grazie! :) – rinogo

+0

Hai provato Blekko? Cosa intendi con "Posso trovare API di ricerca ZERO che ci consentiranno di attivare le query in modo programmatico e non avviato dall'utente"? C'è stata una discussione sul motore di ricerca personalizzato di Google con la possibilità di effettuare ricerche su tutto il Web (aggiungere un sito e rimuoverlo in seguito). Inoltre puoi acquistare "crediti" per il motore di ricerca personalizzato, anche se in questo caso alcuni utenti hanno trovato una limitazione. Ad ogni modo, capisco il tuo punto in merito ai limiti delle attuali API di ricerca e Google è il miglior motore di ricerca, anche se altri concorrenti non hanno un indice più grande. –

+0

Grazie mille per la tua risposta, sw. Spinto dal tuo suggerimento, ho controllato Blekko, e anche i loro TOU sono abbastanza restrittivi. (Per il momento, tuttavia, c'è un barlume di speranza per l'API Blekko: http://dev-ops.net/2011/02/02/blekko-search-engine-with-some-nice-features/) Il CSE di Google non funzionerà per noi; preferiamo una soluzione legittima a lungo termine piuttosto che una patch a breve termine, legalmente discutibile. Abbiamo soldi e siamo disposti a separarci! :) Perché nessuno dei grandi nomi è disposto ad accogliere entità con esigenze aziendali legittime come la nostra? – rinogo

risposta

3

Un indice liberamente accessibile di 5 miliardi di pagine Web, il loro grado di pagina, i loro grafici di collegamento e altri metadati, ospitati su Amazon EC2.

http://commoncrawl.org/

loro termini di servizio (o CDU) sono abbastanza ragionevoli e senza restrizioni troppo:

http://commoncrawl.org/about/terms-of-use/

+0

Non ho esaminato molto questo (potrebbe soddisfare i requisiti, non è sicuro); Ho pensato di aggiungerlo come commento: http://80legs.com/ – rinogo

0

Se si conosce un po 'di Visual Basic Io suggerirei di giocare con Bing Ad Intelligence. È un plugin Excel gratuito e tutto ciò che serve per usarlo è un account Microsoft gratuito.

Il limite di query è 20.000 parole per query. Puoi ottenere informazioni su clic, impressioni, CTR, CPC, offerta media e costo totale. Il limite di query è leggermente inferiore se si utilizzano le funzionalità di ricerca di parole chiave più avanzate.

Problemi correlati