Как найти информационный вес символа алфавита. Конспект "Измерение информации." Информационный вес и объем."

И многие другие понятия имеют самые непосредственные связи между собой. Очень немногие пользователи сегодня достаточно хорошо разбираются в этих вопросах. Попробуем прояснить, что такое мощность алфавита, как ее вычислять и применять на практике. В дальнейшем это, вне всякого сомнения, может пригодиться на практике.

Как измеряется информация

Прежде чем приступить к изучению вопроса о том, какова мощность алфавита, и вообще, что это такое, следует начать, так сказать, с азов.

Наверняка всем известно, что сегодня существуют специальные системы измерения каких-либо величин, на основе эталонных значений. Например, для расстояний и аналогичных величин это метры, для массы и веса - килограммы, для временных промежутков - секунды и т.д.

Но как же измерить информацию в смысле объема текста? Именно для этого и было введено понятие мощности алфавита.

Что такое мощность алфавита: начальное понятие

Итак, если следовать общепринятому правилу, что конечное значение какой-либо величины представляет собой параметр, определяющий, какое количество раз эталонная единица уложена в измеряемой величине, можно сделать вывод: мощность алфавита есть полное количество символов, использующихся для того или иного языка.

Чтобы было понятнее, оставим пока вопрос о том, как находить мощность алфавита, в стороне, и обратим внимание на сами символы, естественно, с точки зрения информационных технологий. Грубо говоря, полный список используемых символов содержит литеры, цифры, всевозможные скобки, специальные символы, знаки препинания, и т.д. Однако, если подходить к вопросу о том, что такое мощность алфавита именно компьютерным способом, сюда следует включить еще и пробел (единичный разрыв между словами или другими символами).

Возьмем в качестве примера русский язык, вернее, клавиатурную раскладку. Исходя из вышесказанного, полный перечень содержит 33 литеры, 10 цифр и 11 специальных знаков. Таким образом, полная мощность алфавита равна 54.

Информационный вес символов

Однако общее понятие мощности алфавита не определяет сущности вычислений информационных объемов текста, содержащего литеры, цифры и символы. Здесь требуется особый подход.

В принципе, задумайтесь, ну вот каким может быть минимальный набор с точки зрения компьютерной системы, сколько символов он может содержать? Ответ: два. И вот почему. Дело в том, что каждый символ, будь то буква или цифра, имеет свой информационный вес, по которому машина и распознает, что именно перед ней. Но компьютер понимает лишь представление в виде единиц и нулей, на чем, собственно, и основана вся информатика.

Таким образом, любой символ можно представить в виде последовательностей, содержащих цифры 1 и 0, то есть, минимальная последовательность, обозначающая букву, цифру или символ, состоит из двух компонентов.

Сам же информационный вес, принятый за стандартную информационную единицу измерения, называется битом (1 бит). Соответственно, 8 бит составляют 1 байт.

Представление символов в двоичном коде

Итак, что такое мощность алфавита, думается, уже немного понятно. Теперь посмотрим на другой аспект, в частности, практическое представление мощности с использованием В качестве примера для простоты возьмем алфавит, содержащий всего 4 символа.

В двузначном двоичном коде последовательность и их информационное представление можно описать следующим образом:

Отсюда - простейший вывод: при мощности алфавита N=4 вес единичного символа составляет 2 бита.

Если использовать трехзначный двоичный код для алфавита, например, с 8 символами, количество комбинаций будет следующим:

Иными словами, при мощности алфавита N=8 вес одного символа для трехзначного двоичного кода будет равен 3 битам.

алфавита и использовать ее в компьютерном выражении

Теперь попробуем посмотреть на зависимость, которую выражает количество знаков в коде и мощность алфавита. Формула, где N - алфавитная мощность алфавита, а b - количество знаков в двоичном коде, будет выглядеть так:

То есть, 2 1 =2, 2 2 =4, 2 3 =8, 2 4 =16 и т.д. Грубо говоря, искомое количество знаков самого двоичного кода и есть вес символа. В информационном выражении это выглядит так:

Измерение информационного объема

Однако это были всего лишь простейшие примеры, так сказать, для начального понимания того, что такое мощность алфавита. Перейдем непосредственно к практике.

На данном этапе развития компьютерной техники для набора текста с учетом заглавных, прописных и кириллических и латинских литер, знаков препинания, скобок, знаков арифметических действий и т.д. используется 256 символов. Исходя из того, что 256 это 2 8 , нетрудно догадаться, что вес каждого символа в таком алфавите равен 8, то есть, 8 битам или 1 байту.

Если исходить из всех известных параметров, можно с легкостью получить нужное нам значение информационного объема любого текста. Например, у нас есть компьютерный текст, содержащий 30 страниц. На одной странице располагается 50 строк по 60 любых знаков или символов, включая и пробелы.

Таким образом, одна страница будет содержать 50 х 60= 3 000 байт информации, а весь текст - 3000 х 50=150000 байт. Как видим даже небольшие тексты измерять в байтах неудобно. А что говорить о целых библиотеках?

В данном случае лучше переводить объем в более мощные величины - килобайты, мегабайты, гигабайты и т.д. Исходя из того, что, например, 1 килобайт равен 1024 байта (2 10), а мегабайт - 2 10 килобайт (1024 килобайта), нетрудно посчитать, что объем текста в информационно-математическом выражении для нашего примера составит 150000/1024=146,484375 килобайт или приблизительно 0,14305 мегабайт.

Вместо послеловия

В общем и целом, это вкратце и все, что касается рассмотрения вопроса, что такое мощность алфавита. Остается добавить, что в данном описании был использован чисто математический подход. Само собой разумеется, что смысловая нагрузка текста в данном случае не учитывается.

Но, если подходить к вопросам рассмотрения именно с позиции, которая дает человеку что-то для осмысления, набор бессмысленного сочетания или последовательностей символов в этом плане будет иметь нулевую информационную нагрузку, хотя, с точки зрения понятия информационного объема, результат все равно можно вычислить.

В целом же, знания о мощности алфавита и сопутствующих понятиях не так уж и сложны для понимания и элементарно могут применяться в смысле практических действий. При этом любой пользователь практически каждый день сталкивается с этим. Достаточно привести в пример популярный редактор Word или любой другой такого же уровня, в котором используется такая система. Но не путайте его с обычным «Блокнотом». Здесь мощность алфавита ниже, поскольку при наборе текста не используются, скажем, прописные буквы.

Современные компьютерные технологии, информатика, мощность алфавита, системы исчисления и многие другие понятия имеют самые непосредственные связи между собой. Очень немногие пользователи сегодня достаточно хорошо разбираются в этих вопросах. Попробуем прояснить, что такое мощность алфавита, как ее вычислять и применять на практике. В дальнейшем это, вне всякого сомнения, может пригодиться на практике.

Как измеряется информация

Прежде чем приступить к изучению вопроса о том, какова мощность алфавита, и вообще, что это такое, следует начать, так сказать, с азов.

Наверняка всем известно, что сегодня существуют специальные системы измерения каких-либо величин, на основе эталонных значений. Например, для расстояний и аналогичных величин это метры, для массы и веса - килограммы, для временных промежутков - секунды и т.д.

Что такое мощность алфавита: начальное понятие

Итак, если следовать общепринятому правилу, что конечное значение какой-либо величины представляет собой параметр, определяющий, какое количество раз эталонная единица уложена в измеряемой величине, можно сделать вывод: мощность алфавита есть полное количество символов, использующихся для того или иного языка.

Чтобы было понятнее, оставим пока вопрос о том, как находить мощность алфавита, в стороне, и обратим внимание на сами символы, естественно, с точки зрения информационных технологий. Грубо говоря, полный список используемых символов содержит литеры, цифры, всевозможные скобки, специальные символы, знаки препинания, и т.д. Однако, если подходить к вопросу о том, что такое мощность алфавита именно компьютерным способом, сюда следует включить еще и пробел (единичный разрыв между словами или другими символами).

Возьмем в качестве примера русский язык, вернее, клавиатурную раскладку. Исходя из вышесказанного, полный перечень содержит 33 литеры, 10 цифр и 11 специальных знаков. Таким образом, полная мощность алфавита равна 54.

Информационный вес символов

Однако общее понятие мощности алфавита не определяет сущности вычислений информационных объемов текста, содержащего литеры, цифры и символы. Здесь требуется особый подход.

В принципе, задумайтесь, ну вот каким может быть минимальный набор с точки зрения компьютерной системы, сколько символов он может содержать? Ответ: два. И вот почему. Дело в том, что каждый символ, будь то буква или цифра, имеет свой информационный вес, по которому машина и распознает, что именно перед ней. Но компьютер понимает лишь представление в виде единиц и нулей, на чем, собственно, и основана вся информатика.

Таким образом, любой символ можно представить в виде последовательностей, содержащих цифры 1 и 0, то есть, минимальная последовательность, обозначающая букву, цифру или символ, состоит из двух компонентов.

Сам же информационный вес, принятый за стандартную информационную единицу измерения, называется битом (1 бит). Соответственно, 8 бит составляют 1 байт.

Представление символов в двоичном коде

Итак, что такое мощность алфавита, думается, уже немного понятно. Теперь посмотрим на другой аспект, в частности, практическое представление мощности с использованием двоичного кода. В качестве примера для простоты возьмем алфавит, содержащий всего 4 символа.

В двузначном двоичном коде последовательность и их информационное представление можно описать следующим образом:

Отсюда - простейший вывод: при мощности алфавита N=4 вес единичного символа составляет 2 бита.

Если использовать трехзначный двоичный код для алфавита, например, с 8 символами, количество комбинаций будет следующим:

Иными словами, при мощности алфавита N=8 вес одного символа для трехзначного двоичного кода будет равен 3 битам.

Как находить мощность алфавита и использовать ее в компьютерном выражении

Теперь попробуем посмотреть на зависимость, которую выражает количество знаков в коде и мощность алфавита. Формула, где N - алфавитная мощность алфавита, а b - количество знаков в двоичном коде, будет выглядеть так:

То есть, 2 1 =2, 2 2 =4, 2 3 =8, 2 4 =16 и т.д. Грубо говоря, искомое количество знаков самого двоичного кода и есть вес символа. В информационном выражении это выглядит так:

Измерение информационного объема

Однако это были всего лишь простейшие примеры, так сказать, для начального понимания того, что такое мощность алфавита. Перейдем непосредственно к практике.

На данном этапе развития компьютерной техники для набора текста с учетом заглавных, прописных и строчных букв, кириллических и латинских литер, знаков препинания, скобок, знаков арифметических действий и т.д. используется 256 символов. Исходя из того, что 256 это 2 8 , нетрудно догадаться, что вес каждого символа в таком алфавите равен 8, то есть, 8 битам или 1 байту.

Если исходить из всех известных параметров, можно с легкостью получить нужное нам значение информационного объема любого текста. Например, у нас есть компьютерный текст, содержащий 30 страниц. На одной странице располагается 50 строк по 60 любых знаков или символов, включая и пробелы.

Таким образом, одна страница будет содержать 50 х 60= 3 000 байт информации, а весь текст - 3000 х 50=150000 байт. Как видим даже небольшие тексты измерять в байтах неудобно. А что говорить о целых библиотеках?

В данном случае лучше переводить объем в более мощные величины - килобайты, мегабайты, гигабайты и т.д. Исходя из того, что, например, 1 килобайт равен 1024 байта (2 10), а мегабайт - 2 10 килобайт (1024 килобайта), нетрудно посчитать, что объем текста в информационно-математическом выражении для нашего примера составит 150000/1024=146,484375 килобайт или приблизительно 0,14305 мегабайт.

Вместо послеловия

В общем и целом, это вкратце и все, что касается рассмотрения вопроса, что такое мощность алфавита. Остается добавить, что в данном описании был использован чисто математический подход. Само собой разумеется, что смысловая нагрузка текста в данном случае не учитывается.

Но, если подходить к вопросам рассмотрения именно с позиции, которая дает человеку что-то для осмысления, набор бессмысленного сочетания или последовательностей символов в этом плане будет иметь нулевую информационную нагрузку, хотя, с точки зрения понятия информационного объема, результат все равно можно вычислить.

В целом же, знания о мощности алфавита и сопутствующих понятиях не так уж и сложны для понимания и элементарно могут применяться в смысле практических действий. При этом любой пользователь практически каждый день сталкивается с этим. Достаточно привести в пример популярный редактор Word или любой другой такого же уровня, в котором используется такая система. Но не путайте его с обычным «Блокнотом». Здесь мощность алфавита ниже, поскольку при наборе текста не используются, скажем, прописные буквы.

ЛЕКЦИЯ № 3

Темы занятия:

1. Мощность алфавита.

2. Таблицы кодирования символов.

3. Кодирование изображений.

4. Кодирование звука.

5. Сжатие информации

6. Примеры решения типовых задач.

7. Цифровая электронная подпись.

Мощность алфавита

Алфавит – набор символов, используемых для создания информационных сообщений. Например, алфавит русского языка включает 32 буквы (символа), однако следует учитывать, что в информационном сообщении могут присутствовать кроме букв специальные символы: запятая, точка, восклицательный знак, скобки и др.

Мощность алфавита (математ. - мощность множества) – количество (набор) символов, используемых для передачи сообщения.

В вычислительной технике используют алфавит из двух символов: 0 и 1

Примечание:

*Максимальное количество N вариантов (наборов) для бинарного n-разрядного слова составляет

Например, количество возможных вариантов восьмиразрядного слова (1 байт), составленного из 0 и 1, составляет 2 8 =256.

Задача № 1.1.:

Скорость чтения учащегося составляет приблизительно 250 символов в минуту. Приняв мощность используемого алфавита за 64, определите, какой объем информации в килобайтах получит учащийся, если он будет непрерывно читать в течение 40 минут?

Решение:

1) Количество информации, которое несет один знак алфавита (из 64 знаков) равен:

2) Количество символов, которые читает учащийся за 40 минут равно: 250 x 40 = 10 000.

3) Количество информации, которое получает учащийся за 40 минут равно: 10 000 ⋅ 6 = 60 000 бит = 7,3 Кбайт.

Существует несколько способов измерения количества информации. Один из них называется алфавитный .

Алфавитный подход позволяет измерять количество информации в тексте (символьном сообщении), составленном из символов некоторого алфавита.

Алфавит – это набор букв, знаков, цифр, скобок и т.д.
Количество символов в алфавите называется его мощностью .

При алфавитном подходе считается, что каждый символ текста имеет определенный информационный вес . Информационный вес символа зависит от мощности алфавита.

Какова минимальная мощность алфавита, с помощью которого можно записывать (кодировать) информацию?

Назовем комбинацию из 2-х, 3-х и т.д. бит двоичным кодом .

Сколько символов можно закодировать двумя битами?

4 символа 2 бита .

Сколько символов можно закодировать тремя битами?

Отсюда следует, что в алфавите мощностью 8 символов информационный вес каждого символа - 3 бита .

Можно сделать вывод, что в алфавите мощностью 16 символов информационный вес каждого символа будет 4 бита .

Обозначим мощность алфавита буквой N , а информационный вес символа буквой b .

Зависимость между мощностью алфавита N и информационным весом символа b .

Алфавитом в информатике называется система знаков, с помощью которой можно подать информационное сообщение. Чтобы понять сущность этого определения, приведем немного дополнительных теоретических фактов:

1. Любые сообщения состоят из алфавита. Например, данная статья - сообщение. Тогда она состоит из символов русского алфавита.
2. Под символом мы можем понимать минимально значимую частицу алфавита. Также неделимые частицы называют атомами. Символами в русском алфавите являются "а", затем "б", "в", и так далее.
3. В теории, алфавиту необязательно быть закодированным как-либо. Например, в печатной книге символы алфавита означают сами себя, значит, не имеют какой-либо кодировки.

Но на практике мы имеем следующее: компьютер не понимает, что такое буквы. Поэтому для передачи информационного сообщения его сначала нужно закодировать понятным компьютеру языком. Для того чтобы двигаться дальше, необходимо ввести дополнительные термины.

Что такое мощность алфавита

Под мощностью алфавита мы подразумеваем общее количество символов в нем. Для того чтобы узнать, какова мощность алфавита, необходимо просто посчитать количество символов в нем. Давайте разбираться. Для русского алфавита мощность алфавита равна 33 или же 32 символам, если не использовать "ё".

Давайте предположим, что все символы в нашем алфавите встречаются с равной вероятностью. Это предположение можно понимать так: допустим, у нас есть мешок с подписанными кубиками. Число кубиков в нем бесконечно, и каждый подписан лишь одним символом. Тогда при равномерном распределении, сколько бы мы кубиков ни доставали из мешка, количество кубиков с разными символами будет одинаково, или будет стремиться к этому при росте числа кубиков, которые мы достаем из мешка.

Оценка веса информационных сообщений

Почти сто лет назад американский инженер Ральф Хартли вывел формулу, с помощью которой можно оценивать количество информации в сообщении. Его формула работает для равновероятных событий и выглядит так:

i = log 2 M

Где "i" - количество неделимых информационных атомов (битов) в сообщении, "M" - мощность алфавита. Следуем далее. С помощью математических преобразований можем определить, что мощность алфавита можно вычислять так:

Эта формула в общем виде задает связь между количеством равновероятных событий "M" и количеством информации "i".

Рассчитываем мощность

Скорее всего, вам уже известно из школьного курса информатики, что в современных вычислительных системах, построенных на архитектуре фон Неймана, используется двоичная система кодировки информации. Так кодируются как программы, так и данные.

Для того чтобы представить текст в вычислительной системе, используют равномерный код из восьми разрядов. Равномерным код считается потому, что содержит фиксированный набор элементов - 0 и 1. Значения в таком коде задаются определенным порядком этих элементов. С помощью восьмиразрядного кода мы можем закодировать сообщения весом 256 бит, ведь по формуле Хартли: M 8 =2 8 = 256 бит информации.

Такая ситуация с кодировкой символов двоичным кодом сложилась исторически. Но теоретически мы могли бы использовать и другие алфавиты для представления данных. Так, к примеру, в четырехзнаковом алфавите у каждого символа был бы вес не один, а два бита, в восьмизнаковом - 3 бита и так далее. Это рассчитывается с помощью двоичного логарифма, который был приведен выше (i = log 2 M ).

Так как в алфавите мощностью 256 бит для обозначения одного символа отводится восемь двоичных разрядов, было решено ввести дополнительную меру информации - байт. Один байт содержит один символ кодовой таблицы ASCII и содержит в себе восемь бит.

Как измеряют информацию

Восьмибитная кодировка текстовых сообщений, которая используется в кодовой таблице ASCII, позволяет вместить базовый набор символов латиницы и кириллицы в прописном и строчном варианте, цифры, символы знаков препинания и другие базовые символы.

Для того чтобы измерять более крупные объемы данных, используют специальные приставки к словам байт и бит. Такие приставки приведены в таблице ниже:

Многие люди, изучавшие физику возразят, что рационально было бы использовать классические приставки для обозначения единиц информации (вроде кило- и мега-), но на самом деле это не совсем корректно, ведь такие префиксы к величинам обозначают умножение на ту или иную степень числа десять, когда в информатике везде используется двоичная система измерений.

Правильные названия единиц измерения данных

Для того чтобы устранить некорректности и неудобства, в марте 1999 года Международной комиссией в области электротехники были утверждены новые приставки к единицам, которые используются для определения объема информации в электронной вычислительной технике. Такими приставками стали "меби", "киби", "гиби", "теби", "эксби", "пети". Пока эти единицы еще не прижились, так что, скорее всего, необходимо время для введения этого стандарта и начала широкого применения. Как осуществлять переход от классических единиц к новоутвержденным, вы можете определить по следующей таблице:

Предположим, что мы имеем текст, который содержит K символов. Тогда, используя алфавитный подход, можно вычислить объем информации V, который в нем содержится. Он будет равен произведению мощности алфавита на информационный вес одного символа в нем.

По формуле Хартли мы знаем, как вычислить объем информации через двоичный логарифм. Предположив, что количество знаков алфавита равно N и количество знаков в записи информационного сообщения равняется K, получим такую формулу для вычисления информационного объема сообщения:

V = K ⋅ log 2 N

Алфавитный подход свидетельствует о том, что информационный объем будет зависеть только лишь от мощности алфавита и размера сообщений (то есть количества символов в нем), но никак не будет связан со смысловым содержанием для человека.

Примеры расчета мощности

На уроках информатики часто дают задачи на нахождение мощности алфавита, длины сообщения или информационного объема. Вот одна из таких задач:

"Текстовый файл занимает 11 Кбайт дискового пространства и содержит 11264 символа. Определите мощность алфавита данного текстового файла".

Каким будет решение, можно увидеть на картинке ниже.

Таким образом, алфавит мощностью 256 символов несет в себе всего лишь 8 бит информации, что в информатике называют одним байтом. Байт описывает 1 символ таблицы ASCII, что, если задуматься, совсем не много.

Один байт - это много или мало?

Современные хранилища данных вроде дата-центров Google и Facebook содержат не меньше, чем десятки петабайт информации. Точное количество данных, впрочем, трудно будет подсчитать даже им самим, ведь тогда нужно будет остановить все процессы на серверах и закрыть пользователям доступ к записи и редактированию их личной информации.

Но чтобы вообразить такие немыслимые объемы данных, необходимо четко понимать, что все складывается из маленьких деталей. Необходимо понимать, чему равна мощность алфавита (256) и сколько бит содержит 1 байт информации (как вы помните, 8).