Einführung in Die Allgemeine Informationstheorie

1m Bereich der Nachrichtentechnik hat die Informationstheorie im Verlaufe von knapp 20 Jahren eine umfassende Bedeutung erlangt. Diese Bedeutung beruht darauf, daB es sich hier nicht urn eine Theorie der Elektrotechnik, also die Theorie eines Nachrichtenmittels, sondern urn eine Theorie der Nachrichten selbst handelt. Seit den Arbeiten von SHANNON hat es nicht an Bemuhungen gefehlt, die Informationstheorie aus ihrer abstrakten Ferne an die Physik und die Technik der Nachrichtenmittel heranzuziehen und mit den hier gel- tenden theoretischen Grundlagen in Beziehung zu setzen. An erster Stelle muB hierbei der Arbeiten von SZILARD und BRIOULLIN gedacht werden. Wenn die Uberlegungen, wie es in dies em Buch geschehen ist, an dieser Stelle beginnen, baut sich zwanglos ein innerlich widerspruchs- freies System von Begriffen und Beziehungen auf, das weit uber die Nach- richtentechnik im engeren Sinne hinaus die gesamten Naturwissenschaf- ten uberdeckt und auch die biologischen Systeme mit in die Physik ein- bezieht. Der Grund fur diese Universalitat liegt in der allgemeinen Bedeutung des zweiten Hauptsatzes der Thermodynamik, wobei die durch den so- genannten Laplaceschen Damon bezeichnete Lucke gerade durch die Informationstheorie geschlossen wird. Die allgemeine theoretische Grundlage aller abstrakten Uberlegun- gen ist die Wahrscheinlichkeitstheorie und die Theorie der Zufallsprozes- se. Diese Theorien bilden ein in sich geschlossenes mathematisches Lehr- gebaude, das die Theorie determinierter Funktionen als einen Sonderfall mit umschlieBt.