Modo pratico di spiegare "Teoria dell'informazione"

Question

La teoria dell'informazione entra in gioco dove è sempre presente la decodifica & codifica. Ad esempio: compressione (multimedia), crittografia.

Nella Teoria delle informazioni troviamo termini come "Entropia", "Informazioni sul sé", "Informazioni reciproche" e l'intero argomento si basa su questi termini. Il che non sembra altro che astratto. Francamente, non hanno alcun senso.

C'è qualche libro/materiale/spiegazione (se è possibile) che spiega queste cose in modo pratico?

EDIT:

An Introduction to Information Theory: symbols, signals & noise by John Robinson Pierce è Il Libro che spiega il modo in cui voglio (praticamente). È troppo bello. Ho iniziato a leggerlo.

Answer 1

La carta originale di Shanon "A mathematical theory of communication" è una risorsa molto molto importante per lo studio di questa teoria. Nessuno NESSUNO dovrebbe perderlo.

Leggendolo capirai come Shanon è arrivato alla teoria che dovrebbe chiarire la maggior parte dei dubbi.

Anche studiare il funzionamento di dell'algoritmo di compressione di Huffman sarà molto utile.

EDIT:

Introduzione alla Teoria

John R. Pierce

sembra buono secondo le recensioni di Amazon (io non l'ho provato).

[da googleing "teoria dell'informazione laico"]

Answer 2

stavo andando a raccomandare Feynman per scopi pop-sci, ma riflettendoci penso che potrebbe essere una buona scelta per facilitare in uno studio serio pure. Non si può davvero conoscere questa roba senza ottenere i calcoli, ma Feynman è così evocativo che si intrufola la matematica senza spaventare i cavalli.

Feynman Lectures on Computation http://ecx.images-amazon.com/images/I/51BKJV58A9L._SL500_AA240_.jpg

Copre un po 'più terra di una semplice teoria dell'informazione, ma roba buona e piacevole da leggere. (Inoltre, io sono obbligato a tirare per il Team Fisica. Rah! Rah! Rhee!)

Answer 3

mio punto di vista sulla "Teoria dell'informazione" è che è essenzialmente solo applicato la matematica/statistica, ma perché è applicata alle comunicazioni/segnala che è stato chiamato "Teoria dell'informazione".

Il modo migliore per iniziare a capire i concetti è quello di impostare se stessi un compito reale. Ad esempio, prendi alcune pagine del tuo blog preferito salvalo come file di testo e poi prova a ridurre la dimensione del file, assicurandoti comunque di poter ricostruire completamente il file (cioè compressione lossless). Ad esempio, inizierai a sostituire tutte le istanze di e con un 1 per esempio ....

Sono sempre del parere learning by doing sarà l'approccio migliore

Answer 4

mi ricordo articoli in, credo, Computer World Personal che ha presentato una versione di ID3 per identificare le monete, anche se ha usato un euristica alternativa alla formula del registro. Penso che abbia ridotto al minimo le somme dei quadrati piuttosto che massimizzare l'entropia, ma è stato tanto tempo fa. C'era un altro articolo in (penso) Byte che usava la formula log per informazioni (non entropia) per cose simili. Cose del genere mi hanno dato una mano che ha reso la teoria più facile da gestire.

EDIT - da "non entropia" Voglio dire, penso che abbia usato le medie ponderate dei valori di informazione, ma non ha usato il nome "entropia".

Penso che la costruzione di alberi decisionali semplici da tabelle decisionali sia un ottimo modo per comprendere la relazione tra probabilità e informazione. Rende il collegamento dalla probabilità alle informazioni più intuitivo e fornisce esempi della media ponderata per illustrare l'effetto di massimizzazione dell'entropia delle probabilità equilibrate. Un buon giorno, un tipo di lezione.

E ciò che è anche bello è che si può sostituire l'albero decisionale con un albero di decodifica di Huffman (che è, dopo tutto, un "che Token sto decodifica?" Albero di decisione) e fare che puntano a codifica.

BTW - dare un'occhiata a questo link ...

• http://www.inference.phy.cam.ac.uk/mackay/

Mackay ha un libro di testo scaricabile gratuitamente (e disponibile in stampa), e mentre io non l'ho letto tutto , le parti che ho letto sembravano molto buone. La spiegazione di "spiegare la distanza" in Bayes, a partire da pagina 293, in particolare, tiene ben presente.

CiteSeerX è una risorsa molto utile per le carte di teoria dell'informazione (tra le altre cose) .Due carte interessanti sono ...

• http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.18.2410
• http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.51.3672

Anche se probabilmente non è CN2 primo giorno materiale.

Answer 5

La teoria dell'informazione ha applicazioni molto efficienti ad es. apprendimento automatico e data mining. in particolare la visualizzazione dei dati, la selezione delle variabili, la trasformazione dei dati e le proiezioni, i criteri teorici delle informazioni sono tra gli approcci più popolari.

Vedere ad es.

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf o http://www.mdpi.com/1424-8220/11/6/5695

teoria dell'informazione permette di avvicinarsi compattazione dei dati ottimale in modo formale esempioin termini di distribuzioni posteriori e Markov Coperte:

http://www.mdpi.com/1099-4300/13/7/1403

Ci permette di recuperare limiti superiori e inferiori sulla probabilità di errore nella selezione delle variabili:

http://www.mdpi.com/1099-4300/12/10/2144

Uno dei vantaggi di utilizzando la teoria dell'informazione rispetto alle statistiche è che non è necessario necessariamente impostare distribuzioni di probabilità. Si possono calcolare informazioni, ridondanza, entropia, trasferire entropia senza tentare di stimare le distribuzioni di probabilità. L'eliminazione variabile senza perdita di informazioni è definita in termini di conservazione delle probabilità condizionali posteriori, utilizzando la teoria dell'informazione si possono trovare formulazioni simili ... senza la necessità di calcolare densità di probabilità. Le caculazioni sono piuttosto in termini di mutua informazione tra variabili e la letteratura ha fornito molti stimatori efficienti e approssimazioni dimensionali inferiori per questi. Vedi: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf http://www.mdpi.com/1424-8220/11/6/5695

Answer 6

ho potuto suggerire questo libro di Glynn Winskel. È stato usato nella mia università per il corso di Teoria dell'Informazione. Parte dalla Teoria della Logica, quindi definisce un semplice linguaggio imperativo, chiamato IMP, e segue con molti concetti sulla semantica formale nel linguaggio.

semantica formale dei linguaggi di programmazione

http://mitpress.mit.edu/books/formal-semantics-programming-languages

Answer 7

però, i concetti possono essere astratto, ma trovare un buon uso in tempi recenti per l'apprendimento macchina/Intelligenza artificiale. Questo potrebbe essere una buona motivazione per le necessità pratiche di questo concetto teorico. In breve, si vuole stimare quanto bene il proprio approssimatore funzionale (LSTM, RNN o CNN o regressione lineare) funzioni correttamente nella modellazione della vera distribuzione - questa è informazione reciproca o entropia relativa, per esempio minimizzare l'entropia incrociata in cnn o minimizzare la funzione di distorsione/distanza in regressione lineare ..

Inoltre, non si costruirà una comunicazione utile o un sistema di rete senza un'analisi teorica della capacità e delle proprietà del canale.

In sostanza, potrebbe sembrare teorico ma è al centro dell'attuale epoca della comunicazione.

per avere una visione più elaborata su quello che voglio dire, vi invito a guardare questo ISIT lezione: https://www.youtube.com/watch?v=O_uBxFGk-U4&t=1563s dal Prof David Tse