Risultati diversificati sulla ricerca Elasticsearch

Question

Ho fatto una query complessa utilizzando la popolarità per migliorare i risultati dei documenti sui social media utilizzando Elasticsearch. La query funziona davvero bene ei risultati principali sono sempre centrati sulla query e con elementi interessanti.

Tuttavia ha un problema, per alcune query i primi risultati sono tutti dallo stesso utente.

Mi piacerebbe downscore un documento se lo stesso utente è stato recuperato su un documento più alto. In questo modo mi aspetto di avere più diversificazione dei risultati.

Nota che non voglio che vengano rimossi, poiché in alcuni casi potrebbe essere ancora interessante trovare più documenti dello stesso utente, ma vorrei che si trovassero in una posizione più bassa.

Qualcuno può suggerire un modo per farlo funzionare?

---

Come suggerito in alcuni commenti che ho aggiornare una (versione semplificata) della mia interrogazione:

query = {"function_score": { 
    "functions": [ 
    {"gauss": {"createdAt": 
     {"origin": "now", "scale": "30d", "offset": "7d", "decay" :0.9 } 
    }}, 
    {"gauss": {"shares.last.twitter_retweets_log": 
     {"origin": 4.52, "scale": 2.61, "decay" : 0.9} 
    }}, 
    ], 
    "query": {"bool":{"must":[ 
    {"exists":{"field": "images"}}, 
    {"multi_match":{"query": "foo boo", fields:["text", "link.title"]}} 
    ]}}, 
    "score_mode": "multiply" 
}}; 

---

PS: alcuni documenti che possono essere interessanti, come si parla di diversità, ma io non sono sicuro di come applicare:

• https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-sampler-aggregation.html?q=sampler
• https://lucene.apache.org/core/5_1_0/misc/org/apache/lucene/search/DiversifiedTopDocsCollector.html

Answer 1

È possibile accoppiare il campionatore con l'aggregazione top_hits per ottenere risultati diversificati.

{ 
    "query": { 
     "match": { 
      "query": "iphone" 
     } 
    }, 
    "size":0, 
    "aggs": { 
     "sample": { 
      "sampler": { 
       "shard_size": 200, 
       "field" : "user.id"     
      }, 
      "aggs": { 
       "diversifiedMatches": { 
        "top_hits": { 
         "size":10 
        } 
       } 
      } 
     } 
    } 
} 

Ci sono alcune avvertenze Es:

1) La deduplicazione è per-shard non globale

2) La scelta di campo di diversificazione deve essere un singolo valore di campo

3) No supporto per paginazione

4) Nessun supporto per l'ordinamento su qualcosa di diverso dal punteggio

Affrontare le questioni di cui sopra sarebbe difficile e richiederebbe un coordinamento costoso/complesso internamente più una maggiore guida da parte del cliente su quando e dove i risultati "duplicati" possono essere reintrodotti (pagina 2? pagina 3? quanti?) ecc.