Perché il premio Netflix è così impegnativo?

Question

Dopo aver letto il numero recent article in Wired, sono curioso: cos'è il premio Netflix che è così impegnativo? Intendo questo nel modo più sincero possibile, sono solo curioso delle difficoltà poste dal concorso. La maggior parte dei motori di raccomandazione in generale è così difficile da migliorare? Se è così, perché è così? Oppure, Netflix è insolitamente difficile da migliorare, e se questo è il caso, cosa c'è di speciale in Netflix che rende questo molto più difficile di, per esempio, Amazon?

Answer 1

Perché NetFlix ha già un motore di raccomandazione davvero valido. Se sapessero come migliorarlo facilmente, lo avrebbero già fatto. L'intero modello di business riguarda i prodotti di vendita incrociata (film) ai consumatori. L'algoritmo di raccomandazione è davvero il fulcro della loro attività. Quanto meglio funziona, tanto più denaro guadagnano.

Answer 2

Penso che ci siano stati degli articoli scritti su questo, ma non so dove si trovino al momento, quindi lo spiegherò qui.

Quando le persone acquistano libri Amazon (ad esempio), tendono a comprare libri di un tipo specifico, quindi può essere facile suggerire altri libri dello stesso tipo.

Con i film, le persone possono fare la stessa cosa, tuttavia la gente di solito non si limita a un genere. Le persone possono guardare una più ampia varietà di film: horror, commedia, azione, romanticismo, ecc.

Prevedere cosa ti piace di quei generi può essere difficile da prevedere se hai solo noleggiato un film finora e quel film è un dramma.

Se qualcuno dovesse inventare un motore di raccomandazione molto intelligente, Netflix potrebbe trarne beneficio in modo fenomenale. Penso che stiano principalmente cercando un motore che possa raccomandare cose basate su uno o due film. I nuovi clienti che non conoscono molto di Netflix hanno una migliore possibilità di aggirarsi se trovano i film che amano in anticipo senza doverli cercare.

A mio parere, hanno già un motore di raccomandazione alla pari con Amazon. Penso che stiano cercando di migliorarlo ulteriormente.

Answer 3

Io e il mio collega vi abbiamo preso parte. Non ho un forte background di intelligenza artificiale, ma i motori di raccomandazione richiedono una conoscenza approfondita degli algoritmi di letteratura esistenti come il campionamento di Gibbs, il metodo K, il vicino più vicino ecc. Abbiamo usato il campionamento di Gibbs e posso dire che abbiamo succhiato :) rispetto a quello che Netflix ha già.

Answer 4

I sistemi di raccomandazione soffrono di problemi che sono difficili da risolvere:

• Cold start - In un nuovo sistema o con un nuovo utente, non ci sono dati sufficienti per creare un modello statistico accurato per una raccomandazione.
• Rating bias - Se si basano i suggerimenti sulle valutazioni degli utenti, gli utenti che valutano spesso influenzano i risultati nei loro gusti. Se sei il tipo di persona a cui non piace il passaggio in più del punteggio, è possibile che le persone con gusti simili non apprezzino la valutazione, quindi le loro opinioni sono escluse dalle raccomandazioni.
• Gli articoli che non sono classificati hanno meno probabilità di essere valutati - se si seleziona, e quindi valutare, gli articoli in base alle loro valutazioni, gli articoli che non sono classificati sono meno visibili e avrà difficoltà a ottenere le valutazioni di cui hanno bisogno influire sulle raccomandazioni. Nella direzione opposta, gli articoli popolari hanno più visibilità, sono valutati più spesso e quindi svolgono un ruolo più importante nelle raccomandazioni.
• Temporal bias - Le valutazioni degli utenti cambiano nel tempo. Con modifiche a lungo termine, puoi compensare aggiungendo un elemento temporale ai tuoi consigli. Le modifiche a breve termine sono più difficili da risolvere.Dopo una maratona Chuck Norris, potresti essere più propenso a dare ai film d'azione voti alti. Il giorno dopo, dopo aver gridato a Steel Magnolias, potresti essere temporaneamente sbilanciato nei film d'azione.
• Motivazioni diverse: nel item-based recommender systems, il libro di maglieria che hai acquistato per il compleanno di tua zia altererà i tuoi consigli (se non ti prendi il tempo di dire al sistema di non usarlo). Puoi dare a un film per bambini cattivi un punteggio elevato perché i tuoi bambini lo adoravano.

Tutti insieme, questo rende i sistemi di raccomandazione difficili da migliorare in passato okay. Un sistema con un'accuratezza dell'80% sembra ottimo ma è sbagliato 1 su 5 volte. Questo li rende più difficili di quelli che valgono per alcuni utenti.