App Store di scansione e scraping di iTunes

Question

Ho notato che iTunes preview consente di eseguire la scansione e la scansione delle pagine tramite il protocollo http://. Tuttavia, molti dei link stanno cercando di essere aperti in iTunes piuttosto che nel browser. Ad esempio, quando si passa alla pagina iBooks, si tenta immediatamente di aprire un url con un protocollo itms://.

Esistono altri metodi di scansione dell'App Store o è l'unico modo?

I collegamenti del protocollo itms:// possono essere sottoposti a scansione in qualche modo?

Answer 1

L'unica differenza tra i link http: // e itms: // è che è necessario impostare l'utente-agente su un utente-agente di iTunes e, a seconda della versione, potrebbe essere necessario includere un codice di verifica basato su un algoritmo non-così-segreto.

Per esempio, questo è il codice per iTunes 9:

# Some magic. Generates a seed we use for X-Apple-Validation. Adapted from LWP::UserAgent::iTMS_Client. 
function comp_seed($url, $user_agent) { 
    $random = sprintf("%04X%04X", rand(0,0x10000), rand(0,0x10000)); 
    $static = base64_decode("ROkjAaKid4EUF5kGtTNn3Q=="); 
    $url_end = (preg_match("|.*/.*/.*(/.+)$|",$url,$matches)) ? $matches[1] : '?'; 
    $digest = md5(join("",array($url_end, $user_agent, $static, $random))); 
    return $random . '-' . strtoupper($digest); 
} 

Tuttavia, se si sta solo raschiando, iTunes anteprima dovrebbe funzionare per i vostri scopi, il legame che ci ha dato alla pagina di iBook aveva più che sufficienti informazioni grattare, raschiare.

Answer 2

avrei un'occhiata decente a iTunes Search API e l'API iTunes Enterprise Partner

• Search API - http://www.apple.com/itunes/affiliates/resources/blog/introduction---search-api.html
• Enterprise Partner API - http://www.apple.com/itunes/affiliates/resources/documentation/itunes-enterprise-partner-feed.html

Si potrebbe ottenere la maggior parte/tutte le informazioni necessarie in un bel formato di file JSON.

Se non è possibile ottenere le informazioni necessarie con l'API, sarei interessato di cosa si tratta :)

Answer 3

Abbiamo provato raschiando noi stessi troppo circa un anno fa ed è diventato semplicemente troppo di un mal di testa. Il commento di Philipp è buono perché il feed aziendale di Apple (necessario applicarlo con un uso legittimo) ha una buona quantità di informazioni utili che potresti essere in procinto di raschiare.

Ci sono alcune aziende che offrono anche i dati come servizio: abto e AppMonsta sono due di quelli che ho sentito quando stavo cercando. Non riesco a trovare più nulla, ma sembra essere http://appmonsta.com. L'API di ricerca sembra ok (mai sperimentata) ma limitata.

Buona fortuna!

Answer 4

Come menzionato da phillipp, l'API di ricerca di iTunes è un modo semplice per recuperare i dati sugli elenchi di App Store in formato JSON.

Basta interrogare per questo con l'ID applicazione (potete trovare l'applicazione id visualizzando il web elenco per il vostro app a itunes.apple.com), es:

http://itunes.apple.com/lookup?id=INSERT_YOUR_APP_ID_HERE 

quindi, analizzare il JSON risultante a tuo piacimento.