Theorem von Shannon-Hartley - Wikipedia

In der Informationstheorie gibt der Shannon-Hartley-Theorem die maximale Rate an, mit der Informationen über einen Kommunikationskanal mit einer bestimmten Bandbreite in Gegenwart von Rauschen übertragen werden können. Es ist eine Anwendung des Codierungs-Theorems mit Rauschkanal auf den archetypischen Fall eines zeitkontinuierlichen analogen Kommunikationskanals, der Gaußschem Rauschen unterliegt. Der Satz legt die Kanalkapazität von Shannon für eine solche Kommunikationsverbindung fest, eine Grenze für die maximale Anzahl fehlerfreier Informationen pro Zeiteinheit, die mit einer bestimmten Bandbreite bei Vorhandensein der Rauschstörung übertragen werden kann, vorausgesetzt, dass die Signalleistung begrenzt ist. und dass der Gaußsche Rauschprozess durch eine bekannte Leistungs- oder Leistungsspektraldichte gekennzeichnet ist. Das Gesetz ist nach Claude Shannon und Ralph Hartley benannt.

Aussage des Theorems [ edit ]

Das Shannon-Hartley-Theorem gibt die Kanalkapazität an ${\displaystyle C}$ C "/> , was die theoretisch engste obere Schranke der -Informationsrate von Daten bedeutet, die mit einer beliebig niedrigen Fehlerrate unter Verwendung einer durchschnittlichen empfangenen Signalleistung kommuniziert werden kann ${\displaystyle S}$ additiven weißen Gaußschen Rauschen der Leistung ${ displaystyle N}$ unterliegt:

wobei

Historische Entwicklung [ edit ]

In den späten 1920er-Jahren entwickelten Harry Nyquist und Ralph Hartley eine Handvoll grundlegender Ideen in Bezug auf die Informationsübertragung, insbesondere im Zusammenhang mit dem Telegraph als Kommunikationssystem. Zu dieser Zeit waren diese Konzepte zwar einzelne Durchbrüche, doch sie waren nicht Teil einer umfassenden Theorie. In den 1940er Jahren entwickelte Claude Shannon das Konzept der Kanalkapazität, teilweise basierend auf den Ideen von Nyquist und Hartley, und formulierte dann eine vollständige Theorie der Information und ihrer Übertragung.

Nyquist-Rate [ edit ]

Im Jahr 1927 stellte Nyquist fest, dass die Anzahl unabhängiger Impulse, die pro Zeiteinheit durch einen Telegraphenkanal geleitet werden könnten, auf die doppelte Bandbreite begrenzt ist Kanal. In Symbolen

${\displaystyle f_p\le \; <!--\; \le \; -->2B}$ ]

wobei ${ displaystyle f_ {p}}$ die Pulsfrequenz (in Impulsen pro Sekunde) und ${ displaystyle B}$ ist die Bandbreite (in Hertz). Die Menge ${ displaystyle 2B}$ wurde später als Nyquist-Rate [19456564] bezeichnet und mit der Grenzimpulsrate übertragen von ${ displaystyle 2B}$ Impulsen pro Sekunde als Signalisierung bei der Nyquist-Rate . Nyquist veröffentlichte seine Ergebnisse 1928 im Rahmen seiner Arbeit &quot;Bestimmte Themen in der Telegraph Transmission Theory&quot;.

Hartleys Gesetz [ edit ]

Im Jahr 1928 formulierte Hartley eine Methode zur Quantifizierung von Informationen und deren Zeilenrate (auch als Signalübertragungsrate bezeichnet), Bits per R Zweitens) ^[1] Diese Methode, die später als Hartleys Gesetz bekannt wurde, wurde zu einem wichtigen Vorläufer für Shannons differenziertere Vorstellung von Kanalkapazität.

Hartley argumentierte, dass die maximale Anzahl unterscheidbarer Impulspegel, die zuverlässig über einen Kommunikationskanal gesendet und empfangen werden können, durch den dynamischen Bereich der Signalamplitude und die Genauigkeit, mit der der Empfänger Amplitudenpegel unterscheiden kann, begrenzt ist. Insbesondere wenn die Amplitude des übertragenen Signals auf den Bereich von [- A ... + A ] Volt beschränkt ist und die Genauigkeit des Empfängers ± Δ ist V Volt, dann ist die maximale Anzahl unterschiedlicher Impulse M durch angegeben

${\displaystyle M=1+\frac{A}{\mathrm{\Delta \; <!--\; \Delta \; -->}V}}$.

Indem Sie Informationen pro Impuls in Bit / Impuls als Basis-2- -Logarithmus der Zahl von nehmen verschiedene Botschaften M die gesendet werden konnten, konstruierte Hartley ^[2] ein Maß für die Linienrate R als:

${\displaystyle R=f_p{\log }_{2}19\; <!--\; \; -->(M)(Display65)\; R\; =\; f\_\; \{p\}\; log\; \_\; \{2\}\; (M),\}}$

wobei ${ displaystyle f_ {p}}$ ist die Impulsrate, auch Symbolrate genannt, in Symbolen / Sekunde oder Baud.

Hartley kombinierte dann die obige Quantifizierung mit der Beobachtung von Nyquist, dass die Anzahl unabhängiger Impulse, die durch einen Bandbreitenkanal geleitet werden könnten, ${\displaystyle B}$ [19456577] Hertz ${ displaystyle 2B}$ Impulse pro Sekunde, um sein quantitatives Maß für die erreichbare Leitungsrate zu ermitteln.

Das Hartleysche Gesetz wird manchmal nur als Proportionalität zwischen der analogen Bandbreite, ${\displaystyle B}$in Hertz und der heute als bezeichneten digitalen Bandbreite bezeichnet ${\displaystyle R}$in Bit / s. [3] Andere Male wird es in dieser eher quantitativen Form als erreichbare Leitungsrate von ${\displaystyle \mathrm{R\; angegeben}}$ Bits pro Sekunde: [4]

${ displaystyle R leq 2B log _ {2} (M).}$

Hartley hat nicht genau herausgefunden, wie die Anzahl M von der Rauschstatistik des Kanals abhängen sollte oder wie die Kommunikation zuverlässig gemacht werden konnte, selbst wenn einzelne Symbolimpulse nicht zuverlässig unterschieden werden konnten bis M Stufen; Bei der Gaußschen Geräuschstatistik mussten Systemdesigner einen sehr konservativen Wert von ${ displaystyle M}$ wählen, um eine niedrige Fehlerrate zu erzielen.

Das Konzept einer fehlerfreien Kapazität erwartete Claude Shannon, der auf Hartleys Beobachtungen über ein logarithmisches Informationsmaß und Nyquists Beobachtungen über die Auswirkungen von Bandbreitenbeschränkungen aufbaute.

Das Ergebnis von Hartley kann als Kapazität eines fehlerlosen M-Kanal [19456564] von ${ displaystyle 2B$${ displaystyle B}$das ist das später folgende Hartley-Shannon-Ergebnis.

Lautes Kanalcodierungs-Theorem und -kapazität [ edit ]

Claude Shannons Entwicklung der Informationstheorie während des Zweiten Weltkriegs lieferte den nächsten großen Schritt, um zu verstehen, wie viele Informationen durch Rauschen zuverlässig übertragen werden können Kanäle. Aufbauend auf Hartleys Fundament beschreibt Shannons geräuschvoller Kanalcodierungssatz (1948) die maximal mögliche Effizienz von fehlerkorrigierenden Verfahren im Vergleich zu Störgeräuschen und Datenverfälschungen. ^[5][6] Der Beweis des Satzes zeigt, dass ein zufällig konstruierter Fehlerkorrekturcode ist im Wesentlichen so gut wie der bestmögliche Code; Der Satz wird durch die Statistik solcher Zufallscodes bewiesen.

Shannons Theorem zeigt, wie eine Kanalkapazität aus einer statistischen Beschreibung eines Kanals berechnet wird, und legt fest, dass ein geräuschvoller Kanal mit der Kapazität C und mit einer Zeilenrate übertragenen Informationen ${ displaystyle R}$dann wenn

&lt;math > R [ C [19456529] { displaystyle R &lt;C} &lt;img src = &quot;https://wikimedia.org/api/rest_v1/media/math/render/svg/fffc6476f6ba31efec56b837c6fa92d39d097495&quot; class = &quot;mwe-math-fallback-image-inline&quot; -hidden = &quot;true&quot; style = &quot;vertical-align: -0.338ex; Breite: 6.629ex; height: 2.176ex; &quot;alt =&quot; { displaystyle R

Es gibt eine Codierungstechnik, mit der die Fehlerwahrscheinlichkeit beim Empfänger beliebig klein gemacht werden kann. Dies bedeutet, dass theoretisch Informationen nahezu fehlerfrei bis zu einer Grenze von { displaystyle C} Bits pro Sekunde übertragen werden können.

Das Gegenteil ist auch wichtig. Ob

${ displaystyle R&gt; C}$ ]

Die Fehlerwahrscheinlichkeit beim Empfänger steigt unbeschränkt mit steigender Rate. Daher können keine nützlichen Informationen über die Kanalkapazität hinaus übertragen werden. Der Satz spricht nicht von der seltenen Situation an, in der Rate und Kapazität gleich sind.

Das Shannon-Hartley-Theorem legt fest, was diese Kanalkapazität für einen zeitkontinuierlichen Zeitkanal mit endlicher Bandbreite ist, der einem Gaußschen Rauschen unterliegt. Es verbindet das Ergebnis von Hartley mit Shannons Kanalkapazitätssatz in einer Form, die der Festlegung des M in der Zeilenratenformel von Hartley hinsichtlich eines Signal-Rausch-Verhältnisses entspricht, die Zuverlässigkeit jedoch eher durch Fehlerkorrektur-Codierung erreicht wird als durch zuverlässig unterscheidbare Impulspegel.

Wenn es einen rauschfreien analogen Kanal gäbe, könnte man pro Zeiteinheit beliebig viele fehlerfreie Daten darüber senden (Hinweis: Ein analoger Kanal mit unbegrenzter Bandbreite kann keine unbegrenzten Fehlermengen übertragen.) -freie Daten, ohne unendliche Signalleistung). Echte Kanäle unterliegen jedoch Einschränkungen, die sowohl durch die begrenzte Bandbreite als auch durch das Rauschen ungleich Null bedingt sind.

Bandbreite und Rauschen beeinflussen die Rate, mit der Informationen über einen analogen Kanal übertragen werden können. Bandbreitenbegrenzungen allein begrenzen die maximale Informationsrate nicht, da es immer noch möglich ist, dass das Signal eine unbegrenzt große Anzahl unterschiedlicher Spannungspegel bei jedem Symbolimpuls annimmt, wobei jedem geringfügig unterschiedlichen Pegel eine unterschiedliche Bedeutung oder Bitfolge zugewiesen wird . Unter Berücksichtigung sowohl der Geräusch- als auch der Bandbreitenbeschränkungen gibt es jedoch eine Begrenzung für die Informationsmenge, die von einem Signal mit begrenzter Leistung übertragen werden kann, selbst wenn komplexe Mehrpegel-Codiertechniken verwendet werden.

In dem Kanal, der vom Shannon-Hartley-Theorem betrachtet wird, werden Rauschen und Signal durch Addition kombiniert. Das heißt, der Empfänger misst ein Signal, das gleich der Summe des Signals ist, das die gewünschte Information codiert, und einer kontinuierlichen Zufallsvariablen, die das Rauschen darstellt. Diese Addition schafft Unsicherheit bezüglich des Wertes des Originalsignals. Wenn der Empfänger Informationen über den Zufallsvorgang hat, der das Rauschen erzeugt, kann man die Informationen im ursprünglichen Signal grundsätzlich wiederherstellen, indem alle möglichen Zustände des Rauschprozesses berücksichtigt werden. Im Falle des Shannon-Hartley-Theorems wird angenommen, dass das Rauschen durch einen Gaußschen Prozess mit einer bekannten Varianz erzeugt wird. Da die Varianz eines Gaußschen Prozesses seiner Leistung entspricht, ist es üblich, diese Varianz als Rauschleistung zu bezeichnen.

Ein solcher Kanal wird als Additive White Gaussian Noise-Kanal bezeichnet, da dem Signal Gauß-Rauschen hinzugefügt wird. &quot;Weiß&quot; bedeutet gleich viel Rauschen bei allen Frequenzen innerhalb der Kanalbandbreite. Ein solches Rauschen kann sowohl durch zufällige Energiequellen als auch durch Codierungs- und Messfehler beim Sender und Empfänger entstehen. Da die Summen unabhängiger Gaußscher Zufallsvariablen selbst Gaußsche Zufallsvariablen sind, vereinfacht dies bequemerweise die Analyse, wenn man annimmt, dass solche Fehlerquellen auch Gaußsche und unabhängig sind.

Implikationen des Theorems [ edit ]

Vergleich von Shannons Kapazität mit dem Hartleyschen Gesetz [ edit

Vergleich der Kanalkapazität mit dem Informationsrate aus dem Hartleyschen Gesetz, können wir die effektive Anzahl der unterscheidbaren Ebenen finden M : ^[7]

2 B log 2 19 ( M ) = B 2 2 19659023] ( 1 + S N N {19289029] { displaystyle 2B log _ {2} (M) = B log _ {2} left ( 1 + { frac {S} {N}} right)} ${\displaystyle M=\sqrt{1+\frac{S}{N}}.}$

Die Quadratwurzel wandelt das Leistungsverhältnis effektiv in ein Spannungsverhältnis zurück, so dass die Anzahl der Pegel ungefähr proportional zum Verhältnis der RMS-Amplitude des Signals zur Standardabweichung des Rauschens ist.

Diese Ähnlichkeit in der Form zwischen Shannons Kapazität und dem Hartleyschen Gesetz sollte nicht dahingehend interpretiert werden, dass [1965940] M { displaystyle M} M "/> buchstäblich ohne irgendwelche gesendet werden kann Verwechslung. Um eine redundante Codierung und Fehlerkorrektur zu ermöglichen, sind mehr Ebenen erforderlich, aber die Nettodatenrate, die mit der Codierung angefahren werden kann, entspricht der Verwendung von ${ displaystyle M}$ Frequenzabhängiger Fall (farbiges Rauschen) [ edit ]

In der obigen einfachen Version sind das Signal und das Rauschen völlig unkorreliert. In diesem Fall . ${ displaystyle S + N}$ ist die Gesamtleistung des empfangenen Signals und des Rauschens . Eine Verallgemeinerung der obigen Gleichung für den Fall, dass das additive Rauschen nicht weiß ist (oder das ${ displaystyle) S / N}$ ist nicht mit der Frequenz über der Bandbreite konstant) wird erhalten, indem der Kanal so viele schmale, unabhängige Gauß-Kanäle parallel behandelt:

${ displaystyle { frac { bar {P}} {N_ {o }}} = 10 ^ {6}}$