Что создал клод шеннон
r_d media
Кто такой Клод Шеннон и чем ему обязано программирование
Жонглер, отец теории информации и просто гений, который создал бит.
Клод Шеннон — американский ученый, который придумал и заложил основы теории информации. Десятки лет назад он написал работу, благодаря которой у нас есть интернет. Идеи Шеннона — это то, что позволяет нам передавать и хранить данные. Рассказываем, как он жонглировал идеями, почему они до сих пор важны и за что его называют самым веселым ученым поколения.
С чего все началось
Клод Шеннон родился в 1916 году в городке Петоски (штат Мичиган, США). Еще ребенком он обожал Томаса Эдисона, конструировал модели самолетов и даже собрал лодку с удаленным контролем. Он окончил бакалавриат Мичиганского университета сразу по двум направлениям — в области электротехники и математики. Затем поступил в Массачусетский технологический институт — знаменитый MIT. Во время учебы Шеннон работал на «дифференциальном анализаторе» — прообразе вычислительных компьютеров.
В 1937 Шеннон опубликовал магистерские тезисы, которые позднее назвали самой важной магистерской диссертацией в истории. В своей работе он применил Булеву алгебру к схемам коммутации.
«Математическая теория коммуникаций»
В 1941 Шеннон устроился на работу в американскую лабораторию Bell Labs, известную нам тем, что там появились первые разработки в области искусственного интеллекта.
В 1948 году Шеннон опубликовал статью «Математическая теория коммуникаций», которая была сразу же высоко оценена научным сообществом. В этой работе Клод Шеннон впервые сказал, что информация — это нечто измеримое, а также вывел единицу ее измерения — бит. «Единица измерения информации» — сама эта фраза в то время казалась нереальной.
Эта статья стала основой для теории информации.
Первая схема процесса обмена информацией, которую изобразил Шеннон в своей работе в 1948 году. Комментируя схему, ученый объяснил, что каналом коммуникации может быть, например, пучок света, коаксиальный кабель или диапазон радиочастот.
Конспект вебинара Data Scientist в Airbus.
ML-инженер Proxet Дмитрий Войтех — о работе с Giphy.
Вот какая идея была в центре теории Шеннона:
Передатчик кодирует информацию в сигнал (который может быть поврежден шумами). Затем этот сигнал расшифровывает получатель сообщения. Теория Шеннона объединяет две ключевые мысли: изолирование информации и источников шума от коммуникационной системы и вероятностное моделирование обоих этих источников. Он представил источник информации, который генерирует одно из множества возможных сообщений для передачи, и у каждого из них есть определенная вероятность.
Вероятностный шум усиливает неопределенность, которую предстоит прояснить получателю.
Шеннон отказался от идеи, что по сигналу всегда можно распознать сообщение. Раньше ученые думали, как трансформировать полученный сигнал, чтобы восстановить оригинальное сообщение как можно более точно. Клод же сказал, что ключ к коммуникации — неуверенность. Благодаря ему коммуникация стала абстракцией.
В 1955 Шеннона удостоили медали Стюарта Баллантайна — приза за научные и технические достижения, который выдавал Институт Франклина в Пенсильвании. В 1958 году ученый стал профессором MIT, при этом отказавшись преподавать.
Что еще сделал Клод Шеннон
В начале 1980-х годов Шеннон опубликовал первую формальную математическую теорему жонглирования, сопоставляя продолжительность времени, пока мячи находятся в воздухе, с тем, как долго каждый мяч остается в руке жонглера. Его теорема продемонстрировала важность скорости рук для успешного жонглирования.
Все эти разработки не принесли Шеннону счастья — после работы о жонглировании он больше ничего не публиковал и вел затворнический образ жизни. В подвале его дома в Бостоне была «комната игрушек», где он конструировал изобретения в свое удовольствие. Например, создал фрисби на ракетном двигателе.
В 1993 году Клод Шеннон попал в дом престарелых, а в 2001 умер после длительной борьбы с болезнью Альцгеймера.
Клод Шеннон: как гений решает проблемы
Клоду Шеннону потребовалось около десяти лет, чтобы полностью сформулировать свою эпохальную теорию информации.
Сначала, в аспирантуре, он вынашивал идею подвести общую базу под множество информационных технологий своего времени (таких как телефон, радио, телевидение).
Однако только в 1948 году он опубликовал Математическую Теорию Связи.
Правда, это был не единственный его крупный вклад в науку. Еще будучи студентом MIT (Массачусетский технологический институт), в свои скромные 21, он опубликовал работу, которую многие считают, пожалуй, наиболее важной магистерской диссертацией века.
Для обычного человека значение ее невелико. Нельзя сказать, что имя Шеннона у всех на устах. Но, если бы не работа Шеннона, то никакого компьютера в современном понимании могло не появиться. Шеннон оказал колоссальное влияние не только на информатику, но и на физику, и на инженерию.
Мы запросто бросаемся словом «гений», но лишь немногие люди на свете по праву заслужили именоваться так, и Клод Шеннон — один из них. Он мыслил иначе, мыслил играючи.
Одной из малозаметных основ его гениальности, проявлявшейся таким образом, был его подход к решению задач. Он не просто формулировал вопрос, а затем искал ответ на него, но методологически разрабатывал процесс, помогавший рассмотреть суть за очевидным.
Его задачи отличались от большинства из тех, с которыми нам, вероятно, доводилось иметь дело, но его шаблоны и принципы рассуждения до некоторой степени поддавались генерализации и, освоив такое обобщение, мы и сами можем научиться мыслить проницательнее.
Любая задача имеет очертания и форму. Для решения задач первым делом нужно научиться их понимать.
Формулируем суть, затем дополняем детали
Любому из нас понятно, как важно получать ответы, но многие в самом деле пренебрегают тем, как важно сформулировать вопрос именно таким образом, чтобы ответ на него действительно нам достался.
Мы быстро перескакиваем от нюанса к нюансу, надеясь, что рано или поздно они сложатся воедино, а не бросаем все силы на развитие интуиции в той дисциплине, которой занимаемся.
Именно здесь Шеннон действовал в точности наоборот. На самом деле, как отмечают его биографы в книге A Mind at Play, он настолько этим увлекался, что некоторые математики-современники считали, будто он недостаточно дотошно подходил к выстраиванию согласованной картины. Естественно, их интересовали детали.
Однако, по мысли Шеннона, увидеть суть исследуемой проблемы и, соответственно, путь к ответу, можно лишь после того, как отсечешь от нее несущественные детали.
На самом деле, зачастую, подходя к такой сути, проблема уже может не ощущаться — и это подсказывает, как важно составить общее впечатление, прежде чем переходить к деталям. В противном случае можно направиться по ложному пути.
Детали важны и полезны. На самом деле, многие детали несравнимо важнее и полезнее, чем кажутся на первый взгляд. Однако ничуть не меньше и бесполезных деталей.
Если не найти суть проблемы, то начинаешь совершенно не с тех деталей, из-за чего добавляются все новые и новые неверные детали, и так пока вы не увязнете.
Начиная отсекать несущественное, вы дисциплинируете себя, и учитесь видеть суть за дымкой несущественного. Именно тогда вы находите те основания, которые искали.
Обнаружить истинные очертания проблемы почти столь же важно, как и последующий ответ.
Источник
В докладе, прочитанном в компании Bell Labs в 1952 году перед современниками, Шеннон подробно остановился на том, как тренирует собственный разум, развивая креативный подход к своим долгосрочным задачам.
Он не только упрощал их, доискиваясь сути, но и предлагал кое-что еще — на первый взгляд, казалось бы, несущественное, но критически важное для нестандартного мышления.
Зачастую, подолгу размышляя над проблемой, мы начинаем мыслить ограниченно и строго придерживаемся единственной траектории. Логическое рассуждение начинается с некоторой точки, далее делаются обоснованные выводы и, если рассуждать правильно, то логика всегда приводит нас к одному и тому же ответу.
Креативное мышление устроено немного иначе. Здесь также улавливаются взаимосвязи, однако, такие суждения не столько логические, сколько интуитивные, позволяющие нам развить новые паттерны мышления.
Один из излюбленных приемов Шеннона заключался в перестраивании задачи и сравнении ее по максимально разным параметрам. Таким образом, он мог ее утрировать, преуменьшать, формулировать иными словами, менять угол рассмотрения и инвертировать.
Суть такого упражнения — попросту добиться более целостного представления о происходящем.
Наш мозг легко зацикливается на тех или иных мыслях, и лучший способ вырваться из такой петли — изменить систему отсчета. Мы не меняем интуитивного представления о проблеме и не отказываемся от выявленной сути, меняем лишь подачу материала.
Например, можно спросить: каким образом лучше всего это решить? Но возможен и такой вопрос: а каков наихудший способ решения? В ответе на оба этих вопроса — знание, и мы должны проанализировать оба варианта.
Проблема может иметь не только разную форму, но и множество очертаний. Разные очертания заключают в себе разные истины.
Умножаем сущность всех вводных данных
Притом, что важно уделять внимание качеству идей, не менее важно, пожалуй, думать о количестве. Нас волнуют не только итоговые цифры, но и то, как мы приходим к этим цифрам.
Для решения задачи необходима хорошая идея. В свою очередь, найти хорошую идею обычно удается лишь после того, как отбросишь множество плохих. Так или иначе, выдавать на-гора все, что приходит в голову — не вариант. Дело не только в этом.
В годы Второй мировой войны Шеннон познакомился с Аланом Тьюрингом, еще одним первопроходцем информатики. Пока Тьюринг был в США, они встречались почти каждый день. Долгие годы они не теряли контакта, оба уважали идеи друг друга и наслаждались компанией друг друга.
Шеннон, рассуждая о том, что же на его взгляд составляет сущность гения, воспользовался аналогией, подсказанной Тьюрингом, и на ее основе вывел одно тонкое наблюдение. По словам самого Шеннона:
Есть такие люди, которым закинешь идею в голову — и на выходе получишь половину новой идеи. Некоторые способны на большее: они выдают по две новые идеи на каждую полученную.
Из скромности он отказывался причислять себя ко второй категории, относя к ней, например, Ньютона. Однако, если присмотреться к ситуации, то понятно, что у нас в игре. Речь не только о количестве.
Любые исходные данные в основе своей несут истину, которая не заметна при поверхностном рассмотрении. Истина — это основа для множества разнообразных решений множества разных задач.
Полагаю, Шеннон догадался, что генерация хороших идей требует умножать сущность каждых данных. Плохие идеи могут появляться, если вы неправильно уловили суть, но, чем лучше вы ее очерчиваете, тем плодотворнее будет ваш поиск озарений.
Удвоение отдачи от ваших идей — это первый шаг, но по-настоящему важно схватывать их суть.
Все, что нужно знать
Значительная часть жизни — будь то в работе, в отношениях с людьми, в заботе о себе — сводится к выявлению проблемы и умению к ней подступиться так, чтобы затем она миновала.
Возможно, Клод Шеннон был гением-одиночкой, обладал уникальным разумом, но его метод вполне доступен для любого из нас. Сила его была именно в этом методе и умении его применять.
Умение хорошо решать задачи — плод как критического, так и творческого мышления. Наилучший способ их скомбинировать — вооружиться методом, который позволит максимально выгодно использовать и то, и другое.
Паттерны мышления формируют наш разум. Цель — выработать для этого правильные паттерны.
Перевод статьи выполнен в Alconost.
Alconost занимается локализацией игр, приложений и сайтов на 70 языков. Переводчики-носители языка, лингвистическое тестирование, облачная платформа с API, непрерывная локализация, менеджеры проектов 24/7, любые форматы строковых ресурсов.
Мы также делаем рекламные и обучающие видеоролики — для сайтов, продающие, имиджевые, рекламные, обучающие, тизеры, эксплейнеры, трейлеры для Google Play и App Store.
Что создал клод шеннон
Источник шифрования устанавливает предел максимального сжатия данных и числовое значение энтропии Шеннона.
Клод Шэннон родился 30 апреля 1916 года в городе Петоцки, штат Мичиган, США. Первые шестнадцать лет своей жизни Клод провел в Гэйлорде, Мичиган, где в 1932 году он закончил общеобразовательную среднюю школу Гэйлорда. В юности он работал курьером службы Western Union. Отец его был адвокатом и в течение некоторого времени судьей. Его мать была преподавателем иностранных языков и впоследствии стала директором Гэйлордской средней школы. Молодой Клод увлекался конструированием механических и автоматических устройств. Он собирал модели самолетов и радиотехнические цепи, создал радиоуправляемую лодку и телеграфную систему между домом друга и своим домом. Временами ему приходилось исправлять радиостанции для местного универмага. Томас Эдисон был его дальним родственником.
По совету Буша Шзннон решил работать над докторской диссертацией по математике в MIT. Идея его будущей работы родилась у него летом 1939 года, когда он работал в лаборатории в Колд-Спринг-Харбор (штат Нью-Йорк). Буш был назначен президентом Института Карнеги в Вашингтоне и предложил Шэннону принять участие в работе, которую делала Барбара Беркс по генетике. Именно генетика, по мнению Буша, могла послужить предметом приложения усилий Шэннона. Докторская диссертация Шеннона, получившая название «Алгебра для теоретической генетики», была завершена весной 1940 года. Шэннон получает докторскую степень по математике и степень магистра по электротехнике.
В период с 1941 по 1956 гг. Шэннон преподает в Мичиганском университете и работает в компании Белл (Bell Labs). В лаборатории Белл Шэннон, исследуя переключающие цепи, обнаруживает новый метод их организации, который позволяет уменьшить количество контактов реле, необходимых для реализации сложных логических функций. Он опубликовал доклад, названный «Организация двухполюсных переключающих цепей». Шеннон занимался проблемами создания схем переключения, развил метод, впервые упоминавшийся фон Нейманом и позволяющий создавать схемы, которые были надежнее, чем реле, из которых они были составлены. В конце 1940 года Шэннон получил Национальную научно-исследовательскую премию. Весной 1941 года он вернулся в компанию Белл. С началом Второй мировой войны Т. Фрай возглавил работу над программой для систем управления огнем для противовоздушной обороны. Шэннон присоединился к группе Фрая и работал над устройствами, засекавшими самолеты противника и нацеливавшими зенитные установки, также он разрабатывал криптографические системы, в том числе и правительственную связь, которая обеспечивала переговоры Черчилля и Рузвельтачерез океан. Как говорил сам Шеннон, работа в области криптографии подтолкнула его к созданию теории информации.
С 1950 по 1956 Шэннон занимался созданием логических машин, таким образом, продолжая начинания фон Неймана и Тьюринга. Он создал машину, которая могла играть в шахматы, задолго до создания Deep Blue. В 1952 Шеннон создал обучаемую машину поиска выхода из лабиринта.
Шэннон уходит на пенсию в возрасте пятидесяти лет, в 1966 году, но он продолжает консультировать компанию Белл (Bell Labs). В 1985 году Клод Шэннон со своей супругой Бетти посещает Международный симпозиум по теории информации в Брайтоне. Шеннон довольно долго не посещал международные конференции, и сначала его даже не узнали. На банкете Клод Шэннон дал короткую речь, пожонглировал всего тремя мячиками, а затем раздал сотни и сотни автографов изумленным его присутствием ученым и инженерам, отстоявшим длиннейшую очередь, испытывая трепетные чувства по отношению к великому ученому, сравнивая его с сэром Исааком Ньютоном.
Он был разработчиком первой промышленной игрушки на радиоуправлении, которая выпускалась в 50-е годы в Японии (фото). Также он разработал устройство, которое могло складывать кубик Рубика (фото), мини компьютер для настольной игры Гекс, который всегда побеждал соперника (фото), механическую мышку, которая могла находить выход из лабиринта (фото). Также он реализовал идею шуточной машины «Ultimate Machine» (фото).
Клод Шэннон ушел из жизни 24 февраля 2001 года.
Теория связи в секретных системах
Работа Шэннона «Теория связи в секретных системах» (1945) с грифом «секретно», которую рассекретили и опубликовали только лишь в 1949 году, послужила началом обширных исследований в теории кодирования и передачи информации, и, по всеобщему мнению, придала криптографии статус науки. Именно Клод Шэннон впервые начал изучать криптографию, применяя научный подход. В этой статье Шэннон определил основополагающие понятия теории криптографии, без которых криптография уже немыслима. Важной заслугой Шэннона является исследования абсолютно стойких систем и доказательство их существования, а также существование криптостойких шифров, и требуемые для этого условия. Шэннон также сформулировал основные требования, предъявляемые к надежным шифрам. Он ввёл ставшие уже привычными понятия рассеивания и перемешивания, а также методы создания криптостойких систем шифрования на основе простых операций. Данная статья является отправным пунктом изучения науки криптографии.
Статья «Математическая теория связи»
Решение проблемы избыточности подлежащего передаче сообщения позволяет максимально эффективно использовать канал связи. К примеру, современные повсеместно используемые методы снижения избыточности в системах телевизионного вещания на сегодняшний день позволяют передавать до шести цифровых программ коммерческого телевидения, в полосе частот, которую занимает обычный сигнал аналогового телевидения.
Решение проблемы передачи сообщения по каналам связи с шумами при заданном соотношении мощности полезного сигнала к мощности сигнала помехи в месте приема, позволяет передавать по каналу связи сообщения со сколь угодно малой вероятностью ошибочной передачи сообщения. Также, это отношение определяет пропускную способность канала. Это обеспечивается применением кодов, устойчивых к помехам, при этом скорость передачи сообщений по данному каналу должна быть ниже его пропускной способности.
В своих работах Шэннон доказал принципиальную возможность решения обозначенных проблем, это явилось в конце 40-х годов настоящей сенсацией в научных кругах. Данная работа, как и работы, в которых исследовалась потенциальная помехоустойчивость, дали начало огромному числу исследований, продолжающихся и по сей день, уже более полувека. Ученые из СССР и США (СССР — Пинскер (англ.)русск., Хинчин, Добрушин, Колмогоров; США —Галлагер (англ.)русск., Вольфовиц (англ.)русск., Файнстейн) дали строгую трактовку изложенной Шенноном теории.
На сегодняшний день все системы цифровой связи проектируются на основе фундаментальных принципов и законов передачи информации, разработанных Шэнноном. В соответствии с теорией информации, вначале из сообщения устраняется избыточность, затем информация кодируется при помощи кодов, устойчивых к помехам, и лишь потом сообщение передается по каналу потребителю. Именно благодаря теории информации была значительно сокращена избыточность телевизионных, речевых и факсимильных сообщений.
Большое количество исследований было посвящено созданию кодов, устойчивых к помехам, и простых методов декодирования сообщений. Исследования, проведенные за последние пятьдесят лет, легли в основу созданной Рекомендации МСЭ по применению помехоустойчивого кодирования и методов кодирования источников информации в современных цифровых системах.
Теорема о пропускной способности канала.
Любой канал с шумом характеризуется максимальной скоростью передачи информации, этот предел назван в честь Шеннона. При передаче информации со скоростями, превышающими этот предел, происходят неизбежные искажения данных, но снизу к этому пределу можно приближаться с необходимой точностью, обеспечивая сколь угодно малую вероятность ошибки передачи информации в зашумлённом канале
Клод Шеннон
Биография
Клод Шеннон — американец, который создал науку «теория информации» и «алгеброй проверял» не только музыку, но и общение, игры, физические и биологические системы. По мнению исследователей, вклад Шеннона в создание компьютера равноценен вкладу создателя алфавита в литературу.
Детство и юность
Автор «алгебры логики» родился в последний апрельский день 1916 года в семье мичиганского адвоката Клода Шеннона – старшего и учительницы, вскоре ставшей директором школы, Мейбл Вольф. Шенноны жили в городке Гейлорд, который называют американской альпийской деревней, но появился на свет Клод-младший в больнице приморского курортного городка Петоски.
Today is the 103rd birthday for American mathematician & engineer Claude Shannon 1975, the principle founder of.
Старшая сестра мальчика Кэтрин, впоследствии ставшая профессором математики, давала брату решать головоломки, публикуемые в журналах и книгах. Любимым литературным произведением Клода был рассказ Эдгара По «Золотой жук». Особенно завораживала юного читателя детективная линия расшифровки манускрипта, попавшего в руки персонажа. Размышления Шеннона над созданием шифров и их раскодированием впоследствии легли в основу его статьи «Теория связи в секретных системах».
Другой страстью Клода было создание самодельных устройств, которую он унаследовал от деда, смастерившего стиральную машину и ряд приспособлений, используемых в земледелии и животноводстве. Подросток создал телеграф между своим жилищем и домом друга, сконструировал радиоуправляемую игрушечную субмарину, неоднократно чинил и совершенствовал радиосвязь в местном супермаркете.
Будучи не в силах выбрать между царицей наук и электротехникой, парень получил в университете квалификацию бакалавра по обеим специальностям. В ранней юности Клоду довелось поработать курьером в Western Union, однако после получения высшего образования в 1936 году Шеннон занял должность ассистента-исследователя в Массачусетском институте.
Личная жизнь
Математик дважды вступал в брак. Первое супружество с левой интеллектуалкой Нормой Левор, еврейкой по национальности, продлилось год. Бывшая жена Шеннона вскоре после развода обрела счастье в личной жизни с журналистом и сценаристом Беном Барзменом. Норма родила второму супругу семерых детей. В фильмах, снятых по сценариям Барзмена, играли Энтони Куинн, Жан-Луи Трентиньян и Филипп Нуаре.
Второй и последней женой Шеннона стала Мэри Элизабет Мур, с которой он познакомился в Лаборатории Белла. Клод и Бетти подарили жизнь трем детям — сыновьям Роберту Джеймсу и Андрю Муру и дочери Маргарите Катерине.
Любимой музыкой ученого был классический джаз, а любимым блюдом — ванильное мороженое с шоколадным муссом. Помимо изобретения и сборки гаджетов, Клод увлекался жонглированием, ездой на велосипеде и стихосложением. На некоторых фото Шеннон запечатлен курящим трубку или сигарету.
Две вещи никогда не интересовали изобретателя — политика и религия. В отличие от собрата по науке Норберта Винера, Клод никогда не делал политических заявлений против милитаризации науки и насаждения всеобщей секретности.
Научная деятельность
Выполняя обязанности оператора аналогового компьютера, разработанного университетским наставником Вэниваром Бушем, юноша понял, что математические теоремы применимы в электротехнике. Открытие Шеннона легло в основу его магистерской диссертации 1937 года, посвященной анализу переключателей электросистем. В работе впервые появилась единица измерения информации бит.
Другим важным довоенным исследованием Клода стала диссертация об алгебраических методах в генетике. В годы мировой войны ученый по заданию Министерства обороны США совершенствовал системы управления огнем и совместно с британским математиком Аланом Тьюрингом работал над шифровкой и дешифровкой связи.
В 1949 году Шеннон вместе с Уорреном Уивером разработал математическую модель коммуникации, описывающую линейную передачу посланий. Источник информации должен иметь передатчик, а получатель — приемник. Между передатчиком и приемником идет сигнал.
Клод Шеннон и Уоррен Уивер / @hamradio_community
Шеннон ввел понятие информационного шума, искажающего информацию в ходе передачи, использовав для его характеристики физически-философскую категорию «энтропия». Схемы, предложенные Шенноном и Уивером, легли в основу информатики и кибернетики.
Ряд работ Клода посвящен теории игр, а изобретений — ее практическому применению. Исследовав алгоритм игры в шахматы, ученый разработал компьютерные программы для робота-шахматиста, а в 50-е годы XX века создал устройство, «читающее мысли» при игре в «орла и решку».
Смерть
Отец математической теории связи скончался 24 февраля 2001 года. Причиной смерти Клода стали последствия болезни Альцгеймера. Последние годы жизни Шеннон провел в доме престарелых Массачусетса. Пока позволяли силы, ученый участвовал в изучении причин и последствий коварного недуга, поражающего мозг пожилых людей. До последних минут жизни Клода о нем заботились члены семьи.