В каком сообщении содержится один бит информации

Вернемся теперь к примеру с монетой. После того как вы бросили монету, она упала, и вы посмотрели на нее, вы получили зрительное сообщение, что выпал, например, орел. Произошло одно из двух возможных событий. В этом случае считают, что неопределенность знания уменьшилась в два раза: было два варианта, остался один. Значит, узнав результат бросания монеты, вы получили 1 бит информации.

Количество информации в сообщении об одном из N равновероятных событий

А теперь такая задача: студент на экзамене может получить одну из четырех оценок: 5 — «отлично», 4 — «хорошо», 3 — «удовлетворительно», 2 — «неудовлетворительно». Представьте себе, что ваш товарищ пошел сдавать экзамен. Причем учится он очень неровно и может с одинаковой вероятностью получить любую оценку от 2 до 5. Вы волнуетесь за него, ждете результата экзамена. Наконец, он пришел и на ваш вопрос: «Ну, что получил?» ответил: «Четверку!».

Вопрос: сколько битов информации содержится в его ответе?

Если сразу сложно ответить на этот вопрос, то давайте подойдем к ответу постепенно. Будем отгадывать оценку, задавая вопросы, на которые можно ответить только «да» или «нет».

Вопросы будем ставить так, чтобы каждый ответ уменьшал количество вариантов в два раза и, следовательно, приносил 1 бит информации.

Первый вопрос:

— Оценка выше тройки?

— Да.

После этого ответа число вариантов уменьшилось в два раза. Остались только 4 и 5. Получен 1 бит информации.

Второй вопрос:

— Ты получил пятерку?

— Нет.

Выбран один вариант из двух оставшихся: оценка — четверка. Получен еще 1 бит информации. В сумме имеем 2 бита.

Сообщение о том, что произошло одно из четырех равновероятных событий, несет 2 бита информации.

Разберем еще одну частную задачу, а потом получим общее правило.

На книжном стеллаже восемь полок. Книга может стоять на любой из них. Сколько информации содержит сообщение о том, где находится книга?

Будем действовать таким же способом, как в предыдущей задаче. Метод поиска, на каждом шаге которого отбрасывается половина вариантов, называется методом половинного деления. Применим метод половинного деления к задаче со стеллажом.

Задаем вопросы:

— Книга лежит выше четвертой полки?

— Нет.

— Книга лежит ниже третьей полки?

-Да.

— Книга на второй полке?

— Нет.

— Ну теперь все ясно! Книга лежит на первой полке!

Каждый ответ уменьшал неопределенность знания в два раза. Всего было задано три вопроса. Значит, набрано 3 бита информации. И если бы сразу было сказано, что книга лежит на первой полке, то этим сообщением были бы переданы те же 3 бита информации.

А сейчас попробуем получить формулу, по которой вычисляется количество информации, содержащейся в сообщении о том, что произошло одно из множества равновероятных событий.

Обозначим буквой N количество возможных событий. Буквой i будем обозначать количество информации в сообщении о том, что произошло одно из N событий.

В примере с монетой: N = 2, i = 1.

В примере с оценками: N = 4, i = 2.

В примере со стеллажом: N = 8, i = 3.

Нетрудно заметить, что связь между этими величинами выражается такой формулой

2i = N.

Действительно: 21 = 2; 22 = 4; 23 = 8.

Если величина N известна, a i неизвестно, то данная формула становится уравнением для определения i. В математике оно называется показательным уравнением.

Например, пусть на стеллаже не 8, а 16 полок. Чтобы ответить на вопрос, сколько информации содержится в сообщении о том, где лежит книга, нужно решить уравнение

2i= 16.

Поскольку 16 = 24, то i = 4.

Если значение N равно целой степени двойки (4, 8, 16, 32, 64 и т. д.), то такое уравнение решается просто: i будет целым числом. А чему, например, равно количество информации в сообщении о результате бросания игральной кости, у которой имеется шесть граней и, следовательно, N = 6? Решение уравнения

2i = 6

будет дробным числом, лежащим между 2 и 3, поскольку 22 = 4 < 6, а 23 = 8 > 6. С точностью до пяти знаков после запятой решение такое: 2,58496. Ниже приведена таблица, из которой можно определить i для различных значений N в диапазоне от 1 до 64.

Таблица.Количество информации в сообщении об одном из Nравновероятных событий

N	i	N	i	N	i	N	i
0,00000	4,08746	5,04439	5,61471
1,00000	4,16993	5,08746	5,64386
1,58496	4,24793	5,12928	5,67243
2,00000	4,32193	5,16993	5,70044
2,32193	4,39232	5,20945	5,72792
2,58496	4,45943	5,24793	5,75489
7	2,80735	4,52356	5,28540	5,78136
3,00000	4,58496	5,32193	5,80735
3,16993	4,64386	5,35755	5,83289
3,32193	4,70044	5,39232	5,85798
3,45943	4,75489	5,42626	5,88264
3,58496	4,80735	5,45943	5,90689
3,70044	4,85798	5,49185	5,93074
3,80735	4,90689	5,52356	5,95420
3,90689	4,95420	5,55459	5,97728
4,00000	5,00000	5,58496	6,00000

Коротко о главном

Неопределенность знания о некотором событии — это количество возможных результатов события.

Сообщение, уменьшающее неопределенность знания в два раза, несет 1 бит информации.

Для определения количества информации i, содержащейся в сообщении о том, что произошло одно из N равновероятных событий, нужно решить показательное уравнение 2i = N.

Вопросы и задания

1. Что такое неопределенность знания о результате какого-либо события? Приведите примеры.

2. Как с точки зрения содержательного подхода к измерению информации определяется единица измерения количества информации?

3. По какой формуле можно вычислить количество информации, содержащейся в сообщении?

4. Сколько битов информации несет сообщение о том, что из колоды в 32 карты достали «даму пик»?

5. Проводятся две лотереи: «4из32» и «5из64». Сообщение о результатах какой из лотерей несет больше информации?

ЕК ЦОР: Часть 1, дополнение к главе 1. ЦОР № 1-5.

§ 5

Источник

Виктор Рогиня

9 сентября · 208

Практические курсы по программированию Хекслет · ru.hexlet.io

Бит может принимать только одно из двух значений: 1 и 0. Это схоже с булевой математикой, где результатом операции бывает или истина (единица) или ложь (ноль).

Сколько времени содержится в одном бите — вопрос уже для философов 🙂

Сколько бит приходится на один пиксель?

Ответ на этот вопрос зависит от способа хранения и передачи цвета.

Если рассматривать классическую модель RGB, где цвет передается интенсивнустью одного из трех базовых цветов (красного, зеленого и синего), то в ней на каждый цвет приходится 8 бит. Таким образом на 1 пиксель приходится 24 бита.

Какой объем памяти способен вместить мозг человека?

На разных сайтах дают цифры колеблющиеся на 1 или 2 порядка. Решил поточнее посчитать.

Предполагается, что память хранится в синапсах. 1 бит на синапс. Если она там действительно может храниться.

В мозге примерно 100 млрд нейронов 10^11. На каждый нейрон приходится от 1000 до 10000 синапсов. Во всем мозге получается от 10^14 до 10^15 синапсов. Размер синапса примерно 1 мкм и если считать его кубиком, 10^15 синапсов будут занимать объем 1 литр и этот вариант не проходит по размеру, потому что серое вещество занимает 0.75 литра в мозге.

10^14 синапсов будут занимать объем 100 куб см и этот вариант проходит по объему.

Тогда получается 10^14 бит или примерно 10 Тбайт.

Средненькое видео имеет поток примерно 500 килобит в секунду. В 1 году 31 млн секунд.

10^14 бит составит примерно 6.5 лет видеопамяти.

На 100 лет видеозаписей не хватает.

Как там Черниговская “образно” представляет 300 лет, я не знаю.

Прочитать ещё 6 ответов

Cколько бит необходимо, чтобы закодировать все десятичные цифры?

Формально, количество бит для представления значений определяется двоичным логарифмом от числа значений. Здесь число десятичных цифр равно 10, значит, число возможных значений равно 10. Осталось вычислить log₂10 — получится приблизительно 3,322 бита.

Иными словами, спросите себя: в какую степень нужно возвести число 2 чтобы получить 10? Правильный ответ: число 2 в степени 3,322 приблизительно равно 10.

Если вам трудно воспринять тот факт, что число бит оказалось нецелым числом, округлите в большую сторону — получится 4 бита. Но тогда и вопрос нужно было начать словами: «Какое минимальное количество бит потребуется, чтобы…»

Нецелое число бит может иметь практический смысл в вычислениях. Например, у вас есть цветное изображение, где каждый пиксель представлен смешением красного, зелёного и синего сигнала, причём для каждого сигнала возможны 10 значений яркости. Сколько бит потребуется для представления одного пикселя? Умножаем 3,322 бита на 3 сигнала — получим 9,966 бит на пиксель. На практике вы будете использовать для представления пикселя не менее 10 бит, округлив до целого числа бит.

Но было бы неправильно сказать, что для пикселя требуется как минимум 12 бит, потому что якобы для 10 значений яркости сигнала нужно целых 4 бита.

Прочитать ещё 1 ответ

Чем отличается 8-Битная музыка от 16-битной?

Отличие заключается в том, какой объем информации мы можем использовать для каждого фиксированного блока данных. Разбиение непрерывного аналогового потока данных на конечное число интервалов в цифровом формате – это квантование. Если каждый дискретный интервал будет описан при помощи 8 бит – мы сможем использовать диапазон от −128 до +127 для определения положения точки начала каждого последующего дискретного интервала. Именно этот фактор в первую очередь определяет такой бедный диапазон и низкое качество 8-Битного звука.

Если же при квантовании использовать 16-Битные значения, мы сможем использовать диапазон от −32,768 до +32,767, что соответствует качеству звука формата AudioCD.

Источник

Единицы измерения информации

Для информации существуют свои единицы измерения информации.
Если рассматривать сообщения информации как последовательность знаков,
то их можно представлять битами, а измерять в байтах, килобайтах,
мегабайтах, гигабайтах, терабайтах и петабайтах.

Давайте разберемся с этим, ведь нам придется измерять объем памяти и быстродействие компьютера.

Бит

Единицей измерения количества информации является бит – это наименьшая (элементарная) единица.

1бит – это количество информации, содержащейся в сообщении, которое вдвое уменьшает неопределенность знаний о чем-либо.

Байт

Байт – основная единица измерения количества информации.

Байтом называется последовательность из 8 битов.

Байт – довольно мелкая единица измерения информации. Например, 1 символ – это 1 байт.

Производные единицы измерения количества информации

1 байт=8 битов

1 килобайт (Кб)=1024 байта =210 байтов

1 мегабайт (Мб)=1024 килобайта =210 килобайтов=220 байтов

1 гигабайт (Гб)=1024 мегабайта =210 мегабайтов=230 байтов

1 терабайт (Гб)=1024 гигабайта =210 гигабайтов=240 байтов

Запомните, приставка КИЛО в информатике – это не 1000, а 1024, то есть 210 .

Методы измерения количества информации

Итак, количество информации в 1 бит вдвое уменьшает неопределенность знаний. Связь же между количеством возможных событий N и количеством информации I определяется формулой Хартли:

Алфавитный подход к измерению количества информации

При этом подходе отвлекаются от содержания (смысла) информации и
рассматривают ее как последовательность знаков определенной знаковой
системы. Набор символов языка, т.е. его алфавит можно рассматривать как
различные возможные события. Тогда, если считать, что появление символов
в сообщении равновероятно, по формуле Хартли можно рассчитать, какое
количество информации несет в себе каждый символ:

Вероятностный подход к измерению количества информации

Этот подход применяют, когда возможные события имеют различные
вероятности реализации. В этом случае количество информации определяют
по формуле Шеннона:

, где

I – количество информации,

N – количество возможных событий,

Pi – вероятность i-го события.

Задача 1.

Шар находится в одной из четырех коробок. Сколько бит информации несет сообщение о том, в какой именно коробке находится шар.

Имеется 4 равновероятных события (N=4).

По формуле Хартли имеем: 4=2i. Так как 22=2i, то i=2. Значит, это сообщение содержит 2 бита информации.

Задача 2.

Чему равен информационный объем одного символа русского языка?

В русском языке 32 буквы (буква ё обычно не используется), то есть количество событий будет равно 32. Найдем информационный объем одного символа. I=log2 N=log2 32=5 битов (25=32).

Примечание. Если невозможно найти целую степень числа, то округление производится в большую сторону.

Задача 3.

Чему равен информационный объем одного символа английского языка?

Задача 4.

Световое табло состоит из лампочек, каждая из которых может
находиться в одном из двух состояний (“включено” или “выключено”). Какое
наименьшее количество лампочек должно находиться на табло, чтобы с его
помощью можно было передать 50 различных сигналов?

С помощью N лампочек, каждая из которых может находиться в одном из двух состояний, можно закодировать 2N сигналов.

25< 50 <26, поэтому пяти лампочек недостаточно, а шести хватит. Значит, нужно 6 лампочек.

Задача 5.

Метеостанция ведет наблюдения за влажностью воздуха.
Результатом одного измерения является целое число от 0 до 100, которое
записывается при помощи минимально возможного количества битов. Станция
сделала 80 измерений. Определите информационный объем результатов
наблюдений.

В данном случае алфавитом является множество чисел от 0 до 100, всего
101 значение. Поэтому информационный объем результатов одного измерения
I=log2101. Но это значение не
будет целочисленным, поэтому заменим число 101 ближайшей к нему степенью
двойки, большей, чем 101. это число 128=27. Принимаем для одного измерения I=log2128=7 битов. Для 80 измерений общий информационный объем равен 80*7 = 560 битов = 70 байтов.

Задача 6.

Определите количество информации, которое будет получено
после подбрасывания несимметричной 4-гранной пирамидки, если делают один
бросок.

Пусть при бросании 4-гранной несимметричной пирамидки вероятности отдельных событий будут равны: p1=1/2, p2=1/4, p3=1/8, p4=1/8.

Тогда количество информации, которое будет получено после реализации одного из них, можно вычислить по формуле Шеннона:

I = -[1/2 * log2(1/2) + 1/4 * log2(1/4) + 1/8 * log(1/8) + 1/8 * log(1/8)] = 14/8 битов = 1,75 бита.

Задача 7.

В книге 100 страниц; на каждой странице – 20 строк, в каждой
строке – 50 символов. Определите объем информации, содержащийся в книге.

Задача 8.

Оцените информационный объем следующего предложения:

Тяжело в ученье – легко в бою!

Так как каждый символ кодируется одним байтом, нам только нужно
подсчитать количество символов, но при этом не забываем считать знаки
препинания и пробелы. Всего получаем 30 символов. А это означает, что
информационный объем данного сообщения составляет 30 байтов или 30 * 8 = 240 битов.

Источник

Анонимный вопрос

3 мая 2018 · 60,5 K

Кандидат физ.-мат. наук, делаю Яндекс, увлекаюсь всем на свете

Если бы этот вопрос задали моему ребенку на уроке информатики, то я бы, чтобы помочь ему получить хорошую оценку, ответил, что 88. Сейчас объясню, как обосновать этот ответ в школе, и почему он при этом не совсем правильный, а в настоящем программировании всё сложнее.

В слове “информатика” 11 букв. Каждую букву мы можем закодировать одним байтом. В одном байте 8 бит, поэтому ответ 11х8=88.

Как это проверить? Очень просто, запустите на компьютере “Блокнот” (я предполагаю, что у вас Windows), напечатайте в нём это слово и сохраните в текстовый файл. Кликните правой кнопкой, выберите “свойства”, видите? Размер: 11 байт (то есть 88 бит).

Теперь о том, почему в реальности всё сложнее. Мы выше написали, что каждую букву мы закодируем одним байтом. Всего разных символов у нас, таким образом, может быть максимум столько, сколько разных значений у одного байта, то есть 2 в восьмой степени, 256. Это значит, что все буквы всех алфавитов мира в один байт точно не влезут. Даже одни только японские или китайские иероглифы в один байт не вмещаются.

То есть кодировка, какому значению байта соответствует какая буква, это вовсе не универсальная штука, они бывают разные. В “Блокноте” и много где ещё в Windows используется кодировка Windows-1251 (это если вы в России живете, в других странах другие). В некоторых кодировках слово “информатика” просто нельзя записать. А в Windows-1251 нельзя записать слово 信息学. Если вы свой текстовый файлик, содержащий слово “информатика”, пришлёте китайцу, он, открыв его, увидит какую-то абракадабру, и наоборот. Так что ответ “11 байт или 88 бит” предполагает, что мы с получателем используем одну и ту же однобайтовую кодировку, содержащую кириллические буквы.

А есть такой стандарт кодирования, в котором можно написать что угодно и не устраивать вот этих сложностей? Как ни странно, есть! Он называется Unicode, и в ней каждому символу всех алфавитов Земли (даже вымершим языкам, даже египетским иероглифам, даже смайликам и эмоджи) присвоен свой код. Естественно, в нём много тысяч символов и в один байт всё это не влезет. Unicode можно для компьютера кодировать по-разному, но самый популярный вариант устроен так. В нём самые распространенные символы (цифры, точки-запятые-скобки и буквы латинского алфавита) занимают один байт, чуть менее распространенные (кириллические буквы, а также всякие там Ä и π) два байта, а всякая экзотика вроде индейских узелковых письменностей и четыре может занимать.

С каждым годом Unicode становится всё более популярным, а “старые” кодировки вроде Windows 1251, господствовавшие, когда писался школьный учебник по информатике, уходят на второй план. Так что по-честному я бы ответил, что в слове “информатика” 22 байта = 176 бит, ну, насколько уж этот вопрос вообще имеет смысл.

Вы тоже забыли символ конца строки 🙂

11 букв содержит в слове информатика а в одном байте 8 бит надо 8 бит умножить на 11 потому что в слове информатика 11 букв Решения: 11*8=88 Ответ:88

Смотря какой алфавит Вы используете.
Если алфавит – просто строчные русские буквы, то всего имеется 33 символа. В таком случае, для кодировки каждого символа понадобится 6 бит (2^5 < 33, 2^6 >= 33 – берем ближайшую степень двойки, которая вместит наш алфавит). Значит, для кодировки слова “информатика”, где 11 букв, нужно будет 66 бит.
По образу и… Читать далее

Вы символ конца строки забыли 🙂 То есть всего будет 72 бита.

Вероятно, “66 бит” считается правильным ответом в… Читать дальше

В чем отличие от Бизнес-информатики и Прикладной информатики, и Программной инженерии? Кто на выходе программист?

IT, телеком, телефония, базы данных, интеграционные решения, естествознание…

Пусть три человека прошли обучение по трём этим направлениям. Все трое должны по идее мочь устроиться работать программистами, то есть в должности junior-разработчика ПО в IT-департаментах разных организаций. Какое-то программирование будет доступно им всем.

Отличия между тем есть. Программная инженерия ведёт в область архитектуры информационных систем. IT-архитектор может вообще ничего не кодить, но управлять архитектурными решениями, принимать решения о развитии всего IT-ландшафта в организации.

На прикладной информатике помимо основ программирования изучают методы анализа данных, проектирование корпоративных информационных систем. По идее сейчас на этой специальности должны в том числе изучать Big Data, блокчейн, может быть шифрование… Но наверное зависит от учебного заведения.

Бизнес информатика это уклон в экономику и управление. Например, электронная коммерция, управление проектами, методология разработки ПО (скрам, аджайл… вот это всё).

Прочитать ещё 2 ответа

Cколько бит необходимо, чтобы закодировать все десятичные цифры?

Прочитать ещё 1 ответ

Какие два значения имеет слово бит и как они связаны между собой?

Мои интересы: разнообразны, но можно выделить следующие: литература, история…

Первое значение слова бит: единица измерения количества информации. Второе значение: частица памяти компьютера. Конечно, эти понятия напрямую связаны, потому что в один бит памяти равен одному биту информации.

Почему в одном Килобайте 1024 байт, а не 1000?

IT, телеком, телефония, базы данных, интеграционные решения, естествознание…

Обозначения единиц измерения — это всегда результат договорённости, отражённый в нормативных документах. Так «ПОЛОЖЕНИЕ о единицах величин, допускаемых к применению в Российской Федерации», принятое в 2009 году и действующее сейчас в редакции от 2015, гласит:

Наименование и обозначение единицы количества информации “байт” (1 байт = 8 бит) применяются с двоичными приставками “Кило”, “Мега”, “Гига”, которые соответствуют множителям “2¹⁰”, “2²⁰” и “2³⁰” (1 Кбайт = 1024 байт, 1 Мбайт = 1024 Кбайт, 1 Гбайт = 1024 Мбайт). Данные приставки пишутся с большой буквы. Допускается применение международного обозначения единицы информации с приставками “K” “M” “G”, рекомендованного Международным стандартом Международной электротехнической комиссии МЭК 60027-2 (KB, MB, GB, Kbyte, Mbyte, Gbyte).

Как видно, авторы Положения пошли на хитрость, чтобы подружить сложившуюся практику с нормативными документами Международной системы единиц (СИ), и ГОСТ 8.417—2002. Обратите внимание, СИ предписывает стандартные приставки начинать с маленькой буквы: кВт, кОм, кг. А для байтов это Положение утверждает приставки с большой буквы.

Маленькая буква тоже применяется: 123 кбайта — это по закону именно 123000 байт ровно. А 123 Кбайта = 125925 байт.

Прочитать ещё 2 ответа

Что такое 1 бит?

Бит (русское обозначение: бит; международное: bit; от англ. binary digit — двоичное число; также игра слов: англ. bit — кусочек, частица) — единица измерения количества информации. 1 бит информации — это символ или сигнал, который может принимать два значения: включено или выключено, да или нет, высокий или низкий, заряженный или незаряженный; в двоичной системе исчисления это 1 (единица) или 0 (ноль).

Подробнее: https://ru.wikipedia.org/wiki/Бит

Источник