Overview
In 1948, Claude Shannon of Bell Labs published “A Mathematical Theory of Communication”. It showed that once bandwidth and noise are fixed, no one can communicate faster than a certain limit, now called the Shannon limit, and it took about 50 years to build codes that come close to it.
The video starts with France’s optical telegraph in 1794 and follows Morse code’s letter lengths, Hartley’s logarithm, Nyquist’s bandwidth and the master’s thesis Shannon wrote at 21, arriving at entropy, which measures information as average surprise. It then covers the two theorems that set the limits of compression and transmission, and Shannon himself.
Key Points
- Chappe’s optical telegraph, Vail’s short codes for frequent letters such as E, Hartley’s logarithmic measure and Nyquist’s bandwidth limit each laid groundwork for measuring information.
- Shannon’s master’s thesis showed that switching circuits can be written and simplified as Boolean logic, and his 1948 paper separated the information source from the channel.
- Entropy, H = −Σ p log₂ p, is a source’s average surprise and the limit of lossless compression such as ZIP and PNG.
- Below the channel capacity C = B log₂(1 + S/N), errors can be made as small as you like with the right codes. Turbo and LDPC codes came within a few percent of that limit around 2000.
- Shannon estimated English at about 1 to 1.5 bits per letter, roughly 75% redundancy. Predicting better means compressing better, the same yardstick behind the cross-entropy used to train large language models.
Chapters
- 0:00 Introduction
- 1:12 Chapter 1: Sending messages far away
- 5:10 Chapter 2: Counting information
- 7:52 Chapter 3: Switches and logic
- 9:37 Chapter 4: A model of communication
- 11:32 Chapter 5: Entropy
- 13:59 Chapter 6: The limit of compression
- 16:52 Chapter 7: The fight against noise
- 19:58 Chapter 8: The Shannon limit
- 21:44 Chapter 9: Shannon the man
- 23:04 Chapter 10: Measuring English
- 25:42 Summary
概要
1948年、ベル研究所のクロード・シャノンが「通信の数学的理論」を発表しました。帯域幅と雑音の大きさが決まると、通信の速さには誰にも超えられない上限ができることを示した論文で、この上限はシャノン限界と呼ばれます。その近くまで届く符号ができるまでには約50年かかりました。
動画は1794年のフランスの腕木通信から始まり、モールス電信の符号の長さ、ハートレーの対数、ナイキストの帯域幅、21歳のシャノンが書いた修士論文をたどって、情報を驚きの平均で測るエントロピーに行き着きます。そのあと、圧縮と伝送の限界を決めた2つの定理と、シャノン本人の話を紹介します。
ポイント
- シャップの腕木通信、Eのようによく出る文字を短くしたベイルの符号、ハートレーの対数による測り方、ナイキストの帯域幅による上限が、それぞれ情報を数える土台になりました。
- シャノンの修士論文は、スイッチの回路をブールの論理式として書き、整理できることを示しました。1948年の論文では情報源と通信路を切り離して考えています。
- エントロピー H = −Σ p log₂ p は情報源の驚きの平均で、ZIPやPNGのような可逆圧縮の限界になります。
- 通信路容量 C = B log₂(1 + S/N) より遅く送る限り、適切な符号を使えば誤り率はいくらでも小さくできます。ターボ符号とLDPC符号は2000年前後にこの限界の数%以内まで届きました。
- シャノンは英語の1文字あたりのエントロピーをおよそ1〜1.5ビットと見積もり、冗長性は約75%になります。よく予測できるほど短く圧縮できるという関係は、大規模言語モデルの学習に使うクロスエントロピーにもそのまま使われています。