Quale sarebbe il modo migliore per recuperare circa un milione di record dal DB?

Question

Ho bisogno di recuperare e mostrare i dati su una pagina web il cui numero di record può variare in base ai filtri da circa 500 record a 1 milione di record.

Il caching sarà utile qui perché penso che milioni di record in memoria non siano un buon pensiero. SqldataReader?

Il cercapersone è un imperativo da implementare naturalmente. Mostrare 1 milione di record è uno scenario peggiore (lo stupido All filter in casi d'uso!).

Devo utilizzare architettura connessa (SqlDataReader) o architettura disconnessa (DataSets)?

Answer 1

Prima di tutto, pensateci in questo modo: la visualizzazione di 1 milione di record non ha assolutamente senso per nessun utente. Quindi, devi pensare a ciò che l'utente si aspetta di vedere. Forse un riassunto ?! Forse impaginare i record in pagine di 25 o 50 o 100 record. Ciascuno di questi approcci non richiede di tenere in memoria 1 record M alla volta.

Inoltre, quando si esegue una query su un database SQL e si utilizza SqlDataReader, non si riceveranno tutti i record, ma il driver SQL invierà la query al server SQL, il server eseguirà la query, preparerà un set di risultati e creare un cursore forward-only sul server. Quindi il driver recupera un record alla volta, ogni volta che si chiama Read() su SqlDataReader. Il comportamento è molto simile se si utilizza LINQ to SQL che utilizza l'esecuzione posticipata. Il set di risultati non viene trasferito completamente finché (o meno) non si specifica specificamente ogni singola riga.

Quindi, una semplice query di impaginazione farà il trucco. O in altri casi una sorta di rapporto di sintesi che aggrega i dati da quei 1 milione di record di una o due pagine di dati rilevanti.

Ovviamente, se è necessario spostarsi avanti e indietro tra le pagine, è possibile che una sorta di memorizzazione nella cache abbia un senso, ma, ripensandoci, quanto spesso un utente desidera effettivamente sfogliare 1 milione di record, probabilmente mai.

Come ultima nota, se si implementa l'impaginazione, accertarsi che il metodo utilizzato per implementare l'impaginazione si basi sul server SQL che invia i dati una pagina alla volta e non legge tutti i 1 milione di record in ASP.NET e quindi impaginando la copia locale dei dati perché sarebbe molto inefficiente e lento. Ecco un esempio di una query di SQL Server che esegue l'impaginazione: SO Question #109232

Answer 2

Se il server non riesce a memorizzare nella cache 1 milione di record, come pensi che il browser Web dell'utente gestirà un milione di record di codice HTML in arrivo?

consideri paginazione (here is an example with 1 million records)

Considera anche che l'utente non vuole mai più di circa 30 a 50 record. Stai mostrando loro un livello di dettaglio troppo basso o hai bisogno di più filtri.

Answer 3

Concordo con il resto degli utenti. la visualizzazione dei record 1M è ridicola. Tuttavia, è possibile visualizzare i primi record X e la pagina.

Il trucco è nella stored procedure facendo il recupero

ALTER PROCEDURE [dbo].[MyHugeTable_GetWithPaging] 
( 
     @StartRowIndex  int, 
     @MaximumRows  int 
) 

AS 
SET NOCOUNT ON 

Select 
    RowNum, 
    [UserName] 
From 
    (Select 
     [ID], 
     [UserName] 
     Row_Number() Over(Order By [ID] Desc) As RowNum 
     From dbo.[MyHugeTable] t) 
As DerivedTableName 
Where RowNum Between @StartRowIndex And (@StartRowIndex + @MaximumRows) 

Answer 4

io suggerisco query dinamica utilizzo con paginazione. quindi, quando fai clic su una pagina specifica, recupera i record solo per quelle pagine. Per recuperare record dal database da intervallo specifico, utilizzare la seguente query.

come questo.

Create proc Test 

@take smallint, 
@skip smallint, 
@orderBy nvarchar(20), 
@subscriptionid smallint, 


as 

DECLARE @SQLQuery AS NVARCHAR(max) 

SET @SQLQuery=' Select ROW_NUMBER() OVER (ORDER BY P.ProductId desc) as RowNum,* from product" 

set @SQLQuery=@SQLQuery + ' and Subscriptionid='+CONVERT(nvarchar, @subscriptionid) 

set @SQLQuery= ';WITH Results_CTE AS ('+@SQLQuery 

    set @SQLQuery= @SQLQuery +') SELECT * FROM Results_CTE WHERE RowNum > '+CONVERT(nvarchar, @skip)+' AND RowNum <= '+CONVERT(nvarchar, @skip+@take) --//paging'; 
END 

EXECUTE sp_executesql @SQLQuery