Ignora inserimento chiave duplicato con Entity Framework

Question

Sto utilizzando ASP.NET MVC4 con Entity Framework Code First. Ho una tabella chiamata "utenti", con la chiave primaria "UserId". Questa tabella potrebbe contenere oltre 200.000 voci.

Ho bisogno di inserire altri 50 utenti. Potrei fare questo come

foreach(User user in NewUsers){ 
    context.Add(user); 
} 
dbcontext.SaveChanges(); 

Il problema è che uno o più di quei nuovi utenti potrebbero già esistere nel DB. Se li aggiungo e poi provo a salvare, genera un errore e nessuno di quelli validi viene aggiunto. Potrei modificare il codice per fare questo:

foreach(User user in NewUsers){ 
    if(dbcontext.Users.FirstOrDefault(u => u.UserId) == null) 
    { 
     dbcontext.Users.Add(user); 
    } 
} 
dbcontext.SaveChanges(); 

che funzionerebbe. Il problema è, quindi deve eseguire una query 50 volte su una tabella di immissione 200.000+. Quindi la mia domanda è: qual è il metodo più efficiente di inserire questi utenti, ignorando eventuali duplicati?

Answer 1

Si può fare questo:

var newUserIDs = NewUsers.Select(u => u.UserId).Distinct().ToArray(); 
var usersInDb = dbcontext.Users.Where(u => newUserIDs.Contains(u.UserId)) 
           .Select(u => u.UserId).ToArray(); 
var usersNotInDb = NewUsers.Where(u => !usersInDb.Contains(u.UserId)); 
foreach(User user in usersNotInDb){ 
    context.Add(user); 
} 

dbcontext.SaveChanges(); 

Questo eseguirà una singola query nel database per trovare gli utenti che già esistono, poi filtrare fuori della vostra NewUsers set.

Answer 2

Poiché questa è la chiave principale, le opzioni sono limitate. Se questa non era la chiave primaria e solo un indice univoco, supponendo SQL Server, è possibile impostare la chiave univoca per ignorare i duplicati.

Quello che potrei suggerire è semplicemente racchiudere un tentativo/aggirare l'Add e mangiare l'eccezione se l'eccezione è un errore di chiave duplicato.

Si potrebbe anche vedere se il proprio oggetto supporta il metodo AddOrUpdate(). So che questo è supportato nelle implementazioni Code First. Credo che in questo caso farà un add on a new or update se la riga esiste. Tuttavia, questo potrebbe comportare ancora un viaggio nel DB per vedere se l'utente esiste già per sapere se fare un add o un aggiornamento. E, in alcuni casi, potresti non voler eseguire effettivamente un aggiornamento.

Penso che se fossi in me, andrei sulla rotta Try/Catch.

Answer 3

è possibile filtrare gli utenti esistenti con una query

foreach(User user in NewUsers.Where(us => !dbcontext.Users.Any(u => u.userId == us.userId))) 
{ 
    dbcontext.Users.Add(user); 
} 
dbcontext.SaveChanges(); 

EDIT:

Come sottolineato nei commenti alla proposta di cui sopra si tradurrà in una chiamata SQL per ogni elemento della collezione newusers. Potrei confermarlo con SQL Server Profiler.

Un risultato intresting del profiling è la SQL un po 'strano generati da EF per ogni elemento (i nomi dei modelli sono diverso da quello nel PO, ma la domanda è la stessa):

exec sp_executesql N'SELECT 
CASE WHEN (EXISTS (SELECT 
    1 AS [C1] 
    FROM [dbo].[EventGroup] AS [Extent1] 
    WHERE [Extent1].[EventGroupID] = @p__linq__0 
)) THEN cast(1 as bit) WHEN (NOT EXISTS (SELECT 
    1 AS [C1] 
    FROM [dbo].[EventGroup] AS [Extent2] 
    WHERE [Extent2].[EventGroupID] = @p__linq__0 
)) THEN cast(0 as bit) END AS [C1] 
FROM (SELECT 1 AS X) AS [SingleRowTable1]',N'@p__linq__0 int',@p__linq__0=10 

Piuttosto un bel pezzo di codice per fare il lavoro di un semplice one-liner.

Il mio punto di vista è che scrivere codice dichiarativo piacevole e leggibile e lasciare che il compilatore e l'ottimizzatore facciano il lavoro sporco è una grande attitudine. Questo è uno dei casi in cui il risultato di un tale stile è sorprendente e devi sporcarti.

Answer 4

Il seguente metodo di estensione vi permetterà di inserire i record di qualsiasi tipo, ignorando i duplicati:

public static void AddRangeIgnore(this DbSet dbSet, IEnumerable<object> entities) 
    { 
     var entitiesList = entities.ToList(); 
     var firstEntity = entitiesList.FirstOrDefault(); 

     if (firstEntity == null || !firstEntity.HasKey() || firstEntity.HasIdentityKey()) 
     { 
      dbSet.AddRange(entitiesList); 
      return; 
     } 

     var uniqueEntities = new List<object>(); 

     using (var dbContext = _dataService.CreateDbContext()) 
     { 
      var uniqueDbSet = dbContext.Set(entitiesList.First().GetType()); 

      foreach (object entity in entitiesList) 
      { 
       var keyValues = entity.GetKeyValues(); 
       var existingEntity = uniqueDbSet.Find(keyValues); 

       if (existingEntity == null) 
       { 
        uniqueEntities.Add(entity); 
        uniqueDbSet.Attach(entity); 
       } 
      } 
     } 

     dbSet.AddRange(uniqueEntities); 
    } 

    public static object[] GetKeyValues(this object entity) 
    { 
     using (var dbContext = _dataService.CreateDbContext()) 
     { 
      var entityType = entity.GetType(); 
      dbContext.Set(entityType).Attach(entity); 
      var objectStateEntry = ((IObjectContextAdapter)dbContext).ObjectContext.ObjectStateManager.GetObjectStateEntry(entity); 
      var value = objectStateEntry.EntityKey 
             .EntityKeyValues 
             .Select(kv => kv.Value) 
             .ToArray(); 
      return value; 
     } 
    } 

    public static bool HasKey(this object entity) 
    { 
     using (var dbContext = _dataService.CreateDbContext()) 
     { 
      var entityType = entity.GetType(); 
      dbContext.Set(entityType).Attach(entity); 
      var objectStateEntry = ((IObjectContextAdapter)dbContext).ObjectContext.ObjectStateManager.GetObjectStateEntry(entity); 
      return objectStateEntry.EntityKey != null; 
     } 
    } 

    public static bool HasIdentityKey(this object entity) 
    { 
     using (var dbContext = _dataService.CreateDbContext()) 
     { 
      var entityType = entity.GetType(); 
      dbContext.Set(entityType).Attach(entity); 
      var objectStateEntry = ((IObjectContextAdapter)dbContext).ObjectContext.ObjectStateManager.GetObjectStateEntry(entity); 
      var keyPropertyName = objectStateEntry.EntityKey 
             .EntityKeyValues 
             .Select(kv => kv.Key) 
             .FirstOrDefault(); 

      if (keyPropertyName == null) 
      { 
       return false; 
      } 

      var keyProperty = entityType.GetProperty(keyPropertyName); 
      var attribute = (DatabaseGeneratedAttribute)Attribute.GetCustomAttribute(keyProperty, typeof(DatabaseGeneratedAttribute)); 
      return attribute != null && attribute.DatabaseGeneratedOption == DatabaseGeneratedOption.Identity; 
     } 
    }