API di streaming EventMachine e Twitter

Question

Sto eseguendo un processo EventMachine utilizzando l'API di streaming di Twitter. Ho sempre un problema se il contenuto dello stream non è frequente.

Ecco la versione minima dello script:

require 'rubygems' 
require 'eventmachine' 
require 'em-http' 
require 'json' 

usage = "#{$0} <user> <password> <track>" 
abort usage unless user = ARGV.shift 
abort usage unless password = ARGV.shift 
abort usage unless keywords= ARGV.shift 

def startIt(user,password,keywords) 
EventMachine.run do 
    http = EventMachine::HttpRequest.new("https://stream.twitter.com/1/statuses/filter.json",{:port=>443}).post(
        :head =>{ 'Authorization' => [ user, password ] } , 
        :body =>{"track"=>keywords}, 
        :keepalive=>true, 
        :timeout=>-1) 

    buffer = "" 
    http.stream do |chunk| 
    buffer += chunk 
    while line = buffer.slice!(/.+\r?\n/) 
     if line.length>5 
      tweet=JSON.parse(line) 
      puts Time.new.to_s+"#{tweet['user']['screen_name']}: #{tweet['text']}" 
     end 
    end 

    end 
    http.errback { 
     puts Time.new.to_s+"Error: " 
     puts http.error 
    } 
end 
    rescue => error 
     puts "error rescue "+error.to_s 
end 

while true 
    startIt user,password,keywords 
end 

Se cerco una parola chiave come "iPhone", tutto funziona bene Se cerco una parola chiave meno frequentemente usato, il mio flusso continua ad essere chiuso molto rapidamente, circa 20 secondi dopo l'ultimo messaggio. Nota: http.error è sempre vuoto, quindi è molto difficile capire mentre lo stream è chiuso ... All'altro estremo, la versione php nerly simile non è chiusa, quindi sembra probabilmente in discussione con eventmachine/http- ma non capisco quale ...

Answer 1

È necessario aggiungere le impostazioni per evitare il timeout della connessione. Prova questo:

http = EventMachine::HttpRequest.new(
    "https://stream.twitter.com/1/statuses/filter.json", 
    :connection_timeout => 0, 
    :inactivity_timeout => 0 
).post(
    :head => {'Authorization' => [ user, password ] } , 
    :body => {'track' => keywords} 
) 

Buona fortuna, Christian