Какое количество информации содержится в одном бите памяти

Виктор Рогиня

9 сентября · 186

Практические курсы по программированию Хекслет · ru.hexlet.io

Бит может принимать только одно из двух значений: 1 и 0. Это схоже с булевой математикой, где результатом операции бывает или истина (единица) или ложь (ноль).

Сколько времени содержится в одном бите — вопрос уже для философов 🙂

Cколько бит необходимо, чтобы закодировать все десятичные цифры?

Формально, количество бит для представления значений определяется двоичным логарифмом от числа значений. Здесь число десятичных цифр равно 10, значит, число возможных значений равно 10. Осталось вычислить log₂10 — получится приблизительно 3,322 бита.

Иными словами, спросите себя: в какую степень нужно возвести число 2 чтобы получить 10? Правильный ответ: число 2 в степени 3,322 приблизительно равно 10.

Если вам трудно воспринять тот факт, что число бит оказалось нецелым числом, округлите в большую сторону — получится 4 бита. Но тогда и вопрос нужно было начать словами: «Какое минимальное количество бит потребуется, чтобы…»

Нецелое число бит может иметь практический смысл в вычислениях. Например, у вас есть цветное изображение, где каждый пиксель представлен смешением красного, зелёного и синего сигнала, причём для каждого сигнала возможны 10 значений яркости. Сколько бит потребуется для представления одного пикселя? Умножаем 3,322 бита на 3 сигнала — получим 9,966 бит на пиксель. На практике вы будете использовать для представления пикселя не менее 10 бит, округлив до целого числа бит.

Но было бы неправильно сказать, что для пикселя требуется как минимум 12 бит, потому что якобы для 10 значений яркости сигнала нужно целых 4 бита.

Прочитать ещё 1 ответ

Что такое 1 бит?

Бит (русское обозначение: бит; международное: bit; от англ. binary digit — двоичное число; также игра слов: англ. bit — кусочек, частица) — единица измерения количества информации. 1 бит информации — это символ или сигнал, который может принимать два значения: включено или выключено, да или нет, высокий или низкий, заряженный или незаряженный; в двоичной системе исчисления это 1 (единица) или 0 (ноль).

Подробнее: https://ru.wikipedia.org/wiki/Бит

Почему в одном Килобайте 1024 байт, а не 1000?

IT, телеком, телефония, базы данных, интеграционные решения, естествознание…

Обозначения единиц измерения — это всегда результат договорённости, отражённый в нормативных документах. Так «ПОЛОЖЕНИЕ о единицах величин, допускаемых к применению в Российской Федерации», принятое в 2009 году и действующее сейчас в редакции от 2015, гласит:

Наименование и обозначение единицы количества информации “байт” (1 байт = 8 бит) применяются с двоичными приставками “Кило”, “Мега”, “Гига”, которые соответствуют множителям “2¹⁰”, “2²⁰” и “2³⁰” (1 Кбайт = 1024 байт, 1 Мбайт = 1024 Кбайт, 1 Гбайт = 1024 Мбайт). Данные приставки пишутся с большой буквы. Допускается применение международного обозначения единицы информации с приставками “K” “M” “G”, рекомендованного Международным стандартом Международной электротехнической комиссии МЭК 60027-2 (KB, MB, GB, Kbyte, Mbyte, Gbyte).

Как видно, авторы Положения пошли на хитрость, чтобы подружить сложившуюся практику с нормативными документами Международной системы единиц (СИ), и ГОСТ 8.417—2002. Обратите внимание, СИ предписывает стандартные приставки начинать с маленькой буквы: кВт, кОм, кг. А для байтов это Положение утверждает приставки с большой буквы.

Маленькая буква тоже применяется: 123 кбайта — это по закону именно 123000 байт ровно. А 123 Кбайта = 125925 байт.

Прочитать ещё 2 ответа

Какие два значения имеет слово бит и как они связаны между собой?

Мои интересы: разнообразны, но можно выделить следующие: литература, история…

Первое значение слова бит: единица измерения количества информации. Второе значение: частица памяти компьютера. Конечно, эти понятия напрямую связаны, потому что в один бит памяти равен одному биту информации.

Источник

Эта статья о единице измерения информации; другие значения: бит (значения).

Один бит информации равный 0 (нулю) лампа выключена	Один бит информации равный 1 (единице) лампа включена

Бит (русское обозначение: бит; международное: bit; от англ. binary digit — двоичное число; также игра слов: англ. bit — кусочек, частица) — единица измерения количества информации. 1 бит информации — символ или сигнал, который может принимать два значения: включено или выключено, да или нет, высокий или низкий, заряженный или незаряженный; в двоичной системе исчисления это 1 (единица) или 0 (ноль).

В Российской Федерации обозначения бита, а также правила его применения и написания установлены «Положением о единицах величин, допускаемых к применению». В соответствии с данным положением бит относится к числу внесистемных единиц величин с областью применения «информационные технологии, связь» и неограниченным сроком действия[1]. Ранее обозначения бита устанавливались также в ГОСТ 8.417-2002[2]. Для образования кратных единиц применяется с приставками СИ и с двоичными приставками.

История[править | править код]

В 1703 году в работе «Объяснение двоичной арифметики»[3]Лейбниц пишет, что двоичная система счисления была описана китайским королём (императором) и философом по имени Фу Си, который жил более чем за 4000 лет до Лейбница. Краткого современного названия китайский Liangyi (инь-ян («0»–«1»), китайский двоичный разряд, китайский бит) в то время пока ещё не имел. Китайский двубит — «сы-сян», образующий четыре диграммы, и китайский трибит — «ба-гуа», образующий восемь преднебесных и посленебесных триграмм, в современной международной терминологии собственных названий до сих пор не имеют.
В 1948 году Клод Шеннон впервые использовал слово «bit» для обозначения наименьшей единицы количества информации в статье «Математическая теория связи». Происхождение этого слова он приписывал Джону Тьюки, использовавшему сокращение «bit» вместо слов «binary digit» в заметке лаборатории Белла от 9 января 1947 года.

Определения и свойства[править | править код]

Для трёх состояний светофора необходимо бита:
01 — красный,
10 — жёлтый,
11 — зелёный;
00 может кодировать четвёртое состояние «выключен»

В зависимости от области применения (математика, электроника, цифровая техника, вычислительная техника, теория информации и др.), бит может определяться следующими способами:

1. В математике

1.1. Бит — это один разряд двоичного кода (двоичная цифра). Может принимать только два взаимоисключающих значения: «да» или «нет», «1» или «0», «включено» или «выключено», и т. п.
1.2. Соответствует одному числовому разряду в двоичной системе счисления, принимающему значение «0» или «1» («ложь» или «истина»)[4].
2. В электронике, в цифровой технике и в вычислительной технике

2.1. Одному биту (одному двоичному разряду) соответствует один двоичный триггер (триггер, имеющий два взаимоисключающих возможных устойчивых состояния) или один разряд двоичной памяти.
Для перехода от количества возможных состояний (возможных значений) к количеству бит можно воспользоваться формулой на основе двоичного логарифма:
[возможных состояний] [битов].
Следовательно, для одного двоичного разряда (триггера)
[бит] [возможных состояний].
Для перехода от количества битов к количеству возможных состояний (возможных значений) можно воспользоваться формулой
[возможных состояний][битов].
2.2. Формула Хартли

где
— количество информации, бит;
— возможное количество различных сообщений (количество возможных состояний n-разрядного регистра), шт;
— количество букв в алфавите (количество возможных состояний одного разряда (триггера) регистра, в двоичной системе равно 2 («0» и «1»)), шт;
— количество букв в сообщении (количество разрядов (триггеров) в регистре), шт.
Применяется для измерения объёмов запоминающих устройств и объёмов цифровых данных.
3. В теории информации

3.1. Бит — базовая единица измерения количества информации, равная количеству информации, содержащемуся в опыте, имеющем два равновероятных исхода; см. информационная энтропия. Это тождественно количеству информации в ответе на вопрос, допускающий ответ «да» или «нет» и никакого другого (то есть такое количество информации, которое позволяет однозначно ответить на поставленный вопрос).
3.2. Один бит равен количеству информации, получаемой в результате осуществления одного из двух равновероятных событий[5].
3.3. Бит — двоичный логарифм вероятности равновероятных событий или сумма произведений вероятности на двоичный логарифм вероятности при равновероятных событиях; см. информационная энтропия.
Применяется для измерения информационной энтропии. Отличается от бита для измерения объёмов запоминающих устройств и объёмов цифровых данных, так как большой по объёму массив данных может иметь очень малую информационную энтропию, то есть энтропийно может быть почти пустым.

Физические реализации[править | править код]

В цифровой технике бит (один двоичный разряд) реализуется триггером или одним двоичным разрядом памяти.

Возможны две физические (в частности электронные) реализации бита (одного двоичного разряда):

однофазный («однопроводный») бит (двоичный разряд). Используется один выход двоичного триггера. Нулевой уровень обозначает либо сигнал логического «0», либо неисправность схемы. Высокий уровень обозначает либо сигнал логической «1», либо исправность схемы. Дешевле двухфазной реализации, но менее надёжен;
двухфазный (парафазный, «двухпроводный») бит (двоичный разряд). Используются оба выхода двоичного триггера. При исправной схеме один из двух уровней высокий, другой — низкий. Неисправность схемы опознаётся либо высоким уровнем на обоих проводах (на обеих фазах), либо низким уровнем на обоих проводах (на обеих фазах). Дороже однофазной реализации, но более надёжен.

В вычислительной технике и сетях передачи данных значения «0» и «1» обычно передаются различными уровнями либо напряжения, либо тока. Например, в микросхемах на основе транзисторно-транзисторной логики значение «0» представляется напряжением в диапазоне от +0 до +0,8 В, а значение «1» — напряжением в диапазоне от +2,4 до +5,0 В.

Обозначения[править | править код]

В вычислительной технике, особенно в документации и стандартах, слово «бит» часто применяется в значении «двоичный разряд». Например: старший бит — старший двоичный разряд байта или слова.

Использование прописной буквы «Б» для обозначения байта соответствует требованиям ГОСТ и позволяет избежать путаницы между сокращениями от «байт» и «бит». Однако, следует учитывать, что в стандарте нет сокращения для «бит», поэтому использование записи «Гб» как синонима для «Гбит» неверно.

В международном стандарте МЭК (IEC) 60027-2 2005 года[6] для применения в электротехнической и электронной областях рекомендуются обозначения:

«bit» для обозначения бита;
«o» или «B» для обозначения октета или байта. «о» — единственное указанное обозначение во французском языке.

Аналогом бита в квантовых компьютерах является кубит (q-бит; «q» от англ. quantum, квант).

Двоичные логарифмы других оснований[править | править код]

Единицы измерения информации. Обозначения:

зелёные штрихи на вертикальной шкале слева — значения натурального логарифма для целых чисел;
жёлтая кривая — график натурального логарифма;
бит показан чёрным и белым прямоугольниками, так как принимает одно из двух возможных значений;
высота прямоугольника одного бита равна loge(2);
«nibble» — тетрада или ниббл, 4 бита;
трит показан тремя разноцветными прямоугольниками, так как принимает одно из трёх возможных значений;
высота прямоугольника одного трита равна loge(3);
харт (дит, децит) показан прямоугольником, залитым градиентом, принимает одно из 10-и возможных значений;
высота прямоугольника одного харта (дита, децита) равна loge(10); количество синих штрихов равно 20; расстояние между штрихами равно loge(10)/20;
ширина прямоугольников равна 1;
горизонтальная линия, подписанная «1 Nat», имеет высоту 1 нат = log2e.

Замена логарифмируемого числа с 2 на e, 3, 4, 8, 10, 16, 27 и др. приводит соответственно к битовым (двоичным) эквивалентам редко употребляемых единиц нат, трит, тетрит (tetrit — tetral digit) (двубит), октит (octit — octal digit) (трибит), Харт (дит (dit — decimal digit), бан, децит (decit — decimal digit)), ниббл (гексадецит, четырёхбит), гептакозаит и др., равных соответственно:

бита,
бита,
1 двубит = бита,
1 трибит = бита,
бита,
1 четырёхбит = бита,
бита.

См. также[править | править код]

NX-бит
Бит чётности
Битовые операции
Двоичная система счисления
Двоичный триггер
Единицы измерения информации
Битрейт

Примечания[править | править код]

Источник

Давайте разберемся, что же такое бит и байт. Бит, наименьшая единица, которая измеряет количество информации. Один содержит мало информации в отличие от группы битов. Для хранении информации используют всего два знака – цифры 0 и 1. Совокупность этих двух цифр называется двоичный код, а сами цифры принято называть двоичными цифрами или коротко битами. Компьютер различает 0 и 1 благодаря электрическим импульсам в электронных цепях. Если в цепи нет импульса – это цифра 0, если импульс есть, то это 1. Таким образом, в виде комбинации 0 и 1, внутри компьютера хранится абсолютно вся информация от фотографий до музыки. Наравне с понятием бита используется понятие байт.

Совокупность компьютерных данных из 8 бит называется байтом. 8 битов дают основу для представления символов, например буквы «А» и двоичной арифметики. То есть байт является командой битов, отвечающих за определенную деталь в файле. Каждый байт имеет в памяти компьютера уникальный адрес. По соглашению биты, и байты имеют нумерацию от 0 до 7 справа налево. Например: номер бита – 76543210, а значение его – 0 1 0 0 0 0 0 1 и в итоге, если передать это значение на принтер, там будет сгенерирована буква «А». Количество включенных битов в байте должно быть нечетно. Когда команда обращена к байту, компьютер проверяет этот байт и если число включенных битов четное, система выдает ошибку. Ошибка четности может быть результатом сбоя оборудования или случайным явлением, но это происходит очень редко.

Во время обработки данных, в компьютере по электронным цепям проходят электрические импульсы. Цепи состоят из проводников и электронных микро устройств, которые называются логическими вентилями. Импульсы, проходящие через эти вентили, могут «гаситься». Таким образом, обрабатываются данные. Объединяя логические вентили, создаются сложные комбинации, выполняющие операции – запоминают, сравнивают, складывают, сравнивают числа и прочее.

В кремниевых пластинках расположены электронные цепи. Каждая микросхема может содержать более миллиона цепей, от расположения зависит вид работы, которую они выполняют.

Микросхемы расположены на специальных пластинках, а именно на печатных платах. На самой плате напечатаны полоски, через которые проходит электричество к микросхемам. Металлические дорожки, которые называются шинами, передают байты, каждая шина содержит несколько таких дорожек. Одна дорожка передает один байт.

Шины делятся на три типа: шина данных, управления и адресная шина. Шина данных обменивается данными между процессором и устройствами ввода, между процессором и памятью компьютера. Инструкции от процессора ко всем узлам компьютера передаются по шине управления. С помощью адресной шины передается информация о местоположении или адресе данных.

Бит и байт это довольно маленькие величины, поэтому их используют с приставками кило, мега и гига. Давайте теперь поговорим о величине, которая измеряет скорость интернета. Скорость интернета, это количество отправляемой и получаемой информации вашим персональным компьютером в единицу времени. Качество единицы времени – секунда, а качество количества получаемой информации – килобит или мегабит. Например, если ваша скорость показывает 128 Kbps, значит, что ваше соединение пропускает 128 килобит что приравнивается к 16 килобайтам. Для того что бы узнать много это или мало воспользуйтесь тестами для определения скорости соединения с Интернетом.

Ярослав Бакланов

Присоединяйтесь у нашему сообществу, подписывайтесь и жмите палец вверх!

Источник

Единицы измерения информации

Для информации существуют свои единицы измерения информации.
Если рассматривать сообщения информации как последовательность знаков,
то их можно представлять битами, а измерять в байтах, килобайтах,
мегабайтах, гигабайтах, терабайтах и петабайтах.

Давайте разберемся с этим, ведь нам придется измерять объем памяти и быстродействие компьютера.

Бит

Единицей измерения количества информации является бит – это наименьшая (элементарная) единица.

1бит – это количество информации, содержащейся в сообщении, которое вдвое уменьшает неопределенность знаний о чем-либо.

Байт

Байт – основная единица измерения количества информации.

Байтом называется последовательность из 8 битов.

Байт – довольно мелкая единица измерения информации. Например, 1 символ – это 1 байт.

Производные единицы измерения количества информации

1 байт=8 битов

1 килобайт (Кб)=1024 байта =210 байтов

1 мегабайт (Мб)=1024 килобайта =210 килобайтов=220 байтов

1 гигабайт (Гб)=1024 мегабайта =210 мегабайтов=230 байтов

1 терабайт (Гб)=1024 гигабайта =210 гигабайтов=240 байтов

Запомните, приставка КИЛО в информатике – это не 1000, а 1024, то есть 210 .

Методы измерения количества информации

Итак, количество информации в 1 бит вдвое уменьшает неопределенность знаний. Связь же между количеством возможных событий N и количеством информации I определяется формулой Хартли:

Алфавитный подход к измерению количества информации

При этом подходе отвлекаются от содержания (смысла) информации и
рассматривают ее как последовательность знаков определенной знаковой
системы. Набор символов языка, т.е. его алфавит можно рассматривать как
различные возможные события. Тогда, если считать, что появление символов
в сообщении равновероятно, по формуле Хартли можно рассчитать, какое
количество информации несет в себе каждый символ:

Вероятностный подход к измерению количества информации

Этот подход применяют, когда возможные события имеют различные
вероятности реализации. В этом случае количество информации определяют
по формуле Шеннона:

, где

I – количество информации,

N – количество возможных событий,

Pi – вероятность i-го события.

Задача 1.

Шар находится в одной из четырех коробок. Сколько бит информации несет сообщение о том, в какой именно коробке находится шар.

Имеется 4 равновероятных события (N=4).

По формуле Хартли имеем: 4=2i. Так как 22=2i, то i=2. Значит, это сообщение содержит 2 бита информации.

Задача 2.

Чему равен информационный объем одного символа русского языка?

В русском языке 32 буквы (буква ё обычно не используется), то есть количество событий будет равно 32. Найдем информационный объем одного символа. I=log2 N=log2 32=5 битов (25=32).

Примечание. Если невозможно найти целую степень числа, то округление производится в большую сторону.

Задача 3.

Чему равен информационный объем одного символа английского языка?

Задача 4.

Световое табло состоит из лампочек, каждая из которых может
находиться в одном из двух состояний (“включено” или “выключено”). Какое
наименьшее количество лампочек должно находиться на табло, чтобы с его
помощью можно было передать 50 различных сигналов?

С помощью N лампочек, каждая из которых может находиться в одном из двух состояний, можно закодировать 2N сигналов.

25< 50 <26, поэтому пяти лампочек недостаточно, а шести хватит. Значит, нужно 6 лампочек.

Задача 5.

Метеостанция ведет наблюдения за влажностью воздуха.
Результатом одного измерения является целое число от 0 до 100, которое
записывается при помощи минимально возможного количества битов. Станция
сделала 80 измерений. Определите информационный объем результатов
наблюдений.

В данном случае алфавитом является множество чисел от 0 до 100, всего
101 значение. Поэтому информационный объем результатов одного измерения
I=log2101. Но это значение не
будет целочисленным, поэтому заменим число 101 ближайшей к нему степенью
двойки, большей, чем 101. это число 128=27. Принимаем для одного измерения I=log2128=7 битов. Для 80 измерений общий информационный объем равен 80*7 = 560 битов = 70 байтов.

Задача 6.

Определите количество информации, которое будет получено
после подбрасывания несимметричной 4-гранной пирамидки, если делают один
бросок.

Пусть при бросании 4-гранной несимметричной пирамидки вероятности отдельных событий будут равны: p1=1/2, p2=1/4, p3=1/8, p4=1/8.

Тогда количество информации, которое будет получено после реализации одного из них, можно вычислить по формуле Шеннона:

I = -[1/2 * log2(1/2) + 1/4 * log2(1/4) + 1/8 * log(1/8) + 1/8 * log(1/8)] = 14/8 битов = 1,75 бита.

Задача 7.

В книге 100 страниц; на каждой странице – 20 строк, в каждой
строке – 50 символов. Определите объем информации, содержащийся в книге.

Задача 8.

Оцените информационный объем следующего предложения:

Тяжело в ученье – легко в бою!

Так как каждый символ кодируется одним байтом, нам только нужно
подсчитать количество символов, но при этом не забываем считать знаки
препинания и пробелы. Всего получаем 30 символов. А это означает, что
информационный объем данного сообщения составляет 30 байтов или 30 * 8 = 240 битов.

Источник