Reindicizzazione enorme database (la Wikipedia in inglese) in modo efficiente

Question

il succo

Prima di eseguire una massiccia 40+ GB importazione della Wikipedia inglese, ho dovuto rimuovere temporaneamente gli indici e campi di incremento automatico da tre tavoli ('page', 'revision' e 'text') per gestire il carico. Ora finalmente ho importato con successo la Wikipedia in inglese sul mio computer locale e ho creato un mirror locale (API MediaWiki). Sìì!

Tuttavia, ora devo ricreare gli indici e i campi di auto-incremento in meno di un decennio. Fortunatamente, (1) ho preso molte schermate delle tabelle rilevanti in phpmyadmin prima di rimuovere gli indici e i campi; (2) Posso spiegare con estrema precisione i passi che ho compiuto prima dell'importazione; e (3) questo non dovrebbe essere troppo difficile per chiunque parli fluentemente con MySQL. Sfortunatamente, non ho alcuna esperienza in MySQL, quindi le spiegazioni di "piccoli passi" sarebbero estremamente utili.

APPUNTO quello che ho fatto (PREPARAZIONE per l'importazione):

passaggi 1, 2, 3: Questa immagine descrive la tabella pagina prima che ho modificato il campo page_id facendo clic su 'Change' e deselezionare 'Auto-Increment' (in preparazione per l'importazione). Ho eseguito esattamente le stesse modifiche per il campo rev_id nella tabella revisione e old_id nella tabella testo ma omesso lo schermo-colpi per evitare ridondanza.

Fase 4: Questa immagine descrive gli indici per la tabella pagina prima ho lasciato cadere tutti loro.

Fase 5: Questa immagine descrive gli indici per la tabella revisione prima ho lasciato cadere tutti loro.

Fase 6: Questa immagine descrive gli indici per la tabella testo prima ho lasciato cadere tutti loro.

COSA ho bisogno ora (il ripristino dopo l'importazione):

Ho solo bisogno di ripristinare gli indici originali e campi di incremento automatico senza aspettare un centinaio di anni.

set-up dettagli: PHP 5.3.8 (apache2handler), MySQL 5.5.16 (InnoDB), Apache 2.2.21, Ubuntu 12.04 LTS, MediaWiki 1.19.0 (wiki privato)

Answer 1

mi piace molto Wikipedia quindi cercherò di aiutare.

è necessario utilizzare un sacco di

ALTER TABLE 

Aggiungere le chiavi primarie

ALTER TABLE page ADD PRIMARY KEY (page_id); 
ALTER TABLE revision ADD PRIMARY KEY (rev_id); 
ALTER TABLE text ADD PRIMARY KEY (old_id); 

Aggiungere incrementi Auto Back

ALTER TABLE page MODIFY COLUMN page_id INT(10) UNSIGNED NOT NULL AUTO_INCREMENT; 

ho bisogno le descrizioni di tabella per tutte le tabelle prima di continuare. Se rev_id e old_id sono stesse definizioni come page_id poi:

ALTER TABLE revision MODIFY COLUMN rev_id INT(10) UNSIGNED NOT NULL AUTO_INCREMENT; 
ALTER TABLE text MODIFY COLUMN old_id INT(10) UNSIGNED NOT NULL AUTO_INCREMENT; 

Aggiungi chiavi univoche

ALTER TABLE page ADD UNIQUE name_title(page_namespace, page_title); 
ALTER TABLE revision ADD UNIQUE rev_page_id(rev_page, rev_id); 

Altri rilevamenti

ALTER TABLE page ADD INDEX page_random(page_random); 
ALTER TABLE page ADD INDEX page_len(page_len); 
ALTER TABLE page ADD INDEX page_redirect_namespace(page_is_redirect, page_namespace, page_len); 
ALTER TABLE revision ADD INDEX rev_timestamp(rev_timestamp); 
ALTER TABLE revision ADD INDEX page_timestamp(rev_page, rev_timestamp); 
ALTER TABLE revision ADD INDEX user_timestamp(rev_user, rev_timestamp); 
ALTER TABLE revision ADD INDEX user_text_timestamp(rev_user_text, rev_timestamp); 

Anche in questo caso, ci possono essere le definizioni delle colonne che cambiano questa roba. È necessario fornire le informazioni CREATE TABLE.