A Mathematical Theory of Communication

Claude Shannons 'A Mathematical Theory of Communication' från 1948 är en av de mest inflytelserika artiklar någonsin publicerad inom vetenskap och teknik. Här introducerades begreppet 'information' på ett sätt som kunde mätas och kvantifieras, och Shannon visade att språk kunde modelleras som ett probabilistiskt system.

För modern AI är Shannons insikt avgörande: det är den tanken som ligger bakom allt från n-gram-modeller till dagens språkmodeller. Utan denna grundläggande förståelse av att språk är statistiskt framtvingad är det omöjligt att förstå varför en språkmodell fungerar som den gör.