Виски с содовой без содовой...

Сообщение №36803 от Дил 17 мая 2005 г. 15:28
Тема: Виски с содовой без содовой...

Информация без формы...

Свойства информации - очень интересное обсуждение, но хочется по-конкретней.

На бытовом уровне информация – разговорный язык, текстовые сообщения. Не всякий текст хочется принимать за информацию, бывают тексты и бредовые. Но это детали.

Продолжим физическими величинами, то есть числовыми значениями. Их тоже можно представить текстом. Числа состоят из символов, число можно даже и просто словами записать.

Желающие могут продолжить химическими, теологическими величинами – не будем никого ограничивать. Но первое замечательное свойство просматривается четко – информация может быть представлена в символьном виде. Текст, формулы, графики. Любители компьютеров и картинки легко переводят в символьный вид, поскольку всякий файл, в том числе и графический, просто набор символов. Текстовые файлы – набор букв, нетекстовые состоят из других кирпичиков, не букв, но общее у них тоже четко просматривается – способ хранения, иногда способ обработки.

Смысл содержания файла (или бессмыслица) важен для человека, но не для компьютера, которому важно знать много или мало ему дают этого смысла (или бессмыслицы). «Много» или «мало» измеряется в битах, как в штуках. Меньше одной штуки в реальной жизни не бывает, меньше одного бита тоже. Дать определение биту нельзя, так же как и точке. Только школьникам определение дают, чтобы лишними вопросами не донимали.

Это мы про классическое представление информации поговорили, с такой информацией Шеннон работал, энтропию для этой информации вводил. Назовем такое представление информации рациональным и предложим расширенное понятие – вещественная информация, используя очевидную параллель с рациональными и вещественными числами. Рациональную информацию можно на бумаге (сгодится и компьютер) зафиксировать, как и рациональные числа; вещественную – нет, также как и вещественное число (и компьютер не поможет). Так же, как вещественные числа приближенно представляются рациональными, так и «физическая информация» приближенно представляется рациональной.

То, что рациональные числа бывают нецелыми, а информация дробной не бывает (или бывает?) нас смущать не должно. Главное рамки установить.

Рациональная информация еще одним замечательным свойством обладает – условностью. Биты битами, а предварительно договориться необходимо, что они обозначают. В физике подобное свойство называют размерностью. Безразмерных величин не бывает, даже число пи имеет размерность радианы/оборот, просто по лени мы размерность не всегда пишем. А размерность подразумевает наличие правила получения информации (физической величины), часто и эталона.

Вот тут и вопрос. Говорим о скорости – даем правило измерения. Говорим о массе – тоже. С рациональной информацией (символьной) понятно. Физическая информация здесь поминалась многократно. Это расширение символьной до иррациональных значений или принципиально новой понятие? Можно ли "физическую" информацию воспринимать как расширение рациональной или она бесформенна?


Отклики на это сообщение:

> Рациональная информация еще одним замечательным свойством обладает – условностью. Биты битами, а предварительно договориться необходимо, что они обозначают. В физике подобное свойство называют размерностью. Безразмерных величин не бывает, даже число пи имеет размерность радианы/оборот, просто по лени мы размерность не всегда пишем. А размерность подразумевает наличие правила получения информации (физической величины), часто и эталона.

> Вот тут и вопрос. Говорим о скорости – даем правило измерения. Говорим о массе – тоже. С рациональной информацией (символьной) понятно. Физическая информация здесь поминалась многократно. Это расширение символьной до иррациональных значений или принципиально новой понятие? Можно ли "физическую" информацию воспринимать как расширение рациональной или она бесформенна?

Дак может быть это всеобщее правило?
Когда мы говорим о физических законах - речь идет об некоем упрощении. Всякий известный нам физический закон рационален. Но реальный процесс подчиняется известным законам лишь с некоторой точностью - т.е. по сути иррационален.
Получается, что физическая информация отражает физический процесс, а рациональная - лишь некую рациональную модель физического процесса.

В этом смысле для меры информации вполне годится энтропия Шеннона.
Во всякой модели гораздо меньше возможных состояний, чем в реальном физическом процессе. И информации в модели меньше, но зато она рациональна...

Falcon



> Дак может быть это всеобщее правило?
> Когда мы говорим о физических законах - речь идет об некоем упрощении. Всякий известный нам физический закон рационален. Но реальный процесс подчиняется известным законам лишь с некоторой точностью - т.е. по сути иррационален.
> Получается, что физическая информация отражает физический процесс, а рациональная - лишь некую рациональную модель физического процесса.

Это и обозначается как субъективность информации, хорошее и правильное слово здесь "отражает", насколько хорошо и правильно(?).

> В этом смысле для меры информации вполне годится энтропия Шеннона.

Не годится. Категорически нет. Энтропия только характеризует некоторые свойства потока информации. Количество информации - это отдельный параметр. Том Толстого содержит N символов по 8 бит (учитывая вставки на иностранных языках), 8*N - количество информации. Энтропия по Шеннону (вспомните определение) учитывает статистику (вероятность) и имеет меньшее значение.

> Во всякой модели гораздо меньше возможных состояний, чем в реальном физическом процессе. И информации в модели меньше, но зато она рациональна...

Вот и вопрос "гораздо меньше" - это сколько?


Вот и еще один участник форума что-то начал понимать.
Это радует.

Ozes



> Вот тут и вопрос. Говорим о скорости – даем правило измерения. Говорим о массе – тоже. С рациональной информацией (символьной) понятно. Физическая информация здесь поминалась многократно. Это расширение символьной до иррациональных значений или принципиально новой понятие? Можно ли "физическую" информацию воспринимать как расширение рациональной или она бесформенна?

Рациональная - это в символах и дискретная?
Иррациональная - это все остальное, что в не в символах но информация?
Определение от противного очень скользкая вещь.
Кто-то на форуме помнится (может ozez?) отстаивал позицию, что в математике нет определения иррациональных цисел, поскольку по сути определение введено от противного: иррациональные числа - это все которые не относятся к рациональным.


Под впечатлением от обсуждения темы информации порылся в инете, нашел довольно толковое определение информации:
http://spkurdyumov.narod.ru/Chernavskiy/ch1.htm
Вроде это определение синергетиков.
Информация определяется как выбор, осуществленный из нескольких равноценных вариантов.
Не сказать, чтобы это было исчерпывающее определение, но оно довольно компактно включает в себя различные аспекты понятия информации.


> Рациональная - это в символах и дискретная?

Да.

> Иррациональная - это все остальное, что в не в символах но информация?
> Определение от противного очень скользкая вещь.

Не существует определения и не может существовать. На днях общался с профессиональным математиком (проф. подготовка и проф. зашоренность). Он мне выдал определение точки: многообразие.. две операции.. алгебра.. идеалы.. Арнольд именно об этом шумел ("левополушарная преступность"). Исходные понятия неопределимы.

> Кто-то на форуме помнится (может ozez?) отстаивал позицию, что в математике нет определения иррациональных цисел..

И натуральные числа неопределимы. Рациональные - да. Иррациональные для школьников определяют как БДД. Бред. Неопределимы они. Резко только потому, что бы длинно не получилось, не все я там понимаю.

> Под впечатлением от обсуждения темы информации порылся в инете, нашел довольно толковое определение информации:
> http://spkurdyumov.narod.ru/Chernavskiy/ch1.htm
> Вроде это определение синергетиков.

Я тоже просматривал: шутка

> Информация определяется как выбор, осуществленный из нескольких равноценных вариантов.
> Не сказать, чтобы это было исчерпывающее определение, но оно довольно компактно включает в себя различные аспекты понятия информации.

Ссылка и правда не плохая. Постановка разумная.
> Слово "выбор" - отглагольное существительное. Его можно понимать в двух смыслах: как процесс и как результат процесса. Разница примерно такая же, как между судопроизводством и приговором суда. В определении Кастлера выбор понимается, как результат процесса, но не как сам процесс. Именно в этом смысле (то есть как "приговор") оно конструктивно и именно в этом смысле оно используется в реальных задачах.
Информацию на мой взгляд следует вводить (описывать свойства) именно с точки зрения процесса. В противном случае и получается путаница в мозгах и высказываниях, типа того, что энтропия есть количество информации.

Не определиться с этим термином нельзя, Менского обсуждаем, а 2+2 не определили.

Кстати дочитываю: http://entropy.narod.ru/MLG-5.HTM.


> > Получается, что физическая информация отражает физический процесс, а рациональная - лишь некую рациональную модель физического процесса.

> Это и обозначается как субъективность информации, хорошее и правильное слово здесь "отражает", насколько хорошо и правильно(?).

Модель процесса - субъективна, значит и информация, отражающая ее - тоже.
А сам процесс объективен. Его отражает то, что мы с Вами назвали физической информацией. Она объективна.
Это предельный случай описания модели при устремлении точности модели к оригиналу (во как:)

> > В этом смысле для меры информации вполне годится энтропия Шеннона.

> Не годится. Категорически нет. Энтропия только характеризует некоторые свойства потока информации. Количество информации - это отдельный параметр. Том Толстого содержит N символов по 8 бит (учитывая вставки на иностранных языках), 8*N - количество информации. Энтропия по Шеннону (вспомните определение) учитывает статистику (вероятность) и имеет меньшее значение.

Вы неправильно посчитали объем информации тома Толстого! Если учитывать только допустимые комбинации символов в словах, а также слов в предложениях в соответствии с правилами грамматики, то требуемый объем окажется гораздо меньшим! К такому же объему можно прийти и через статистический анализ, как делает Шеннон. А можно просто свернуть текст любым архиватором - ZIP, RAR и т.д. - мы во всех случаях будем получать близкие объемы. Лучший в мире архиватор должен на выходе показать то же, что и энтропия Шеннона - и это и есть действительный объем информации без избыточности...

> > Во всякой модели гораздо меньше возможных состояний, чем в реальном физическом процессе. И информации в модели меньше, но зато она рациональна...

> Вот и вопрос "гораздо меньше" - это сколько?

Так по Шеннону. Модель имеет конечное число параметров, значит можно рассчитать и энтропию - вот Вам и мера информации (информативности модели).


> Модель процесса - субъективна, значит и информация, отражающая ее - тоже.

Со всех сторон согласен.

> А сам процесс объективен.

Со всех сторон согласен.

> Его отражает то, что мы с Вами назвали физической информацией. Она объективна.
> Это предельный случай описания модели при устремлении точности модели к оригиналу (во как:)

Два варианта.
1. Физическая информация - предел, субъективная величина. Предел - число, если такое существует ...
2. Физическая информация - объективное (неотражаемое) свойство системы. В каких единицах измерять ее объем?

> Вы неправильно посчитали объем информации тома Толстого!

Объем информации тома я посчитал предельно точно. Толстого - отдельный вопрос, не очень "короткий".

> Так по Шеннону. Модель имеет конечное число параметров, значит можно рассчитать и энтропию - вот Вам и мера информации (информативности модели).

Энтропия - мера информативности? Не возражаю, может даже в точку Вы попали...


> 2. Физическая информация - объективное (неотражаемое) свойство системы. В каких единицах измерять ее объем?

Хороший вопрос... Наверное, в битах...
Бит объективен и безразмерен.

> > Вы неправильно посчитали объем информации тома Толстого!

> Объем информации тома я посчитал предельно точно. Толстого - отдельный вопрос, не очень "короткий".

Толстого, Шопенгауэра, не важно.

Я Вам предлагал свернуть электронную версию книги архиваторами.
Сейчас программы беспотерьного сжатия текстовой информации приблизились к потенциально возможным. (Все программы дают близкие значения объема)
Раз мы можем развернуть без потерь - то объем архива - это и есть объем информации. Все остальное - избыточность.

Отдельная тема - сжатие с потерями: Звук (MP3) Изображение (JPEG)
Здесь отчетливо видно объединение модели объекта сжатия с моделью сенсора:
Формат MP3 ориентирован на СТАНДАРТНУЮ МОДЕЛЬ УХА,
Формат JPEG - модель глаза.
Пропустив одну модель через другую получаем общую модель, имеющу меньшую энтропию, и меньшую информативность.
Так, к примеру, для передачи изображения дальтонику требуется меньший объем информации, чем человеку, различающему цвета!

З.Ы.: Уверен, что действуя по Шеннону - используя вероятностный подход - получим близкие значения...


> > 2. Физическая информация - объективное (неотражаемое) свойство системы. В каких единицах измерять ее объем?

> Хороший вопрос... Наверное, в битах...
> Бит объективен и безразмерен.

И грамм объективен? А "бит" не размерность?

> Толстого, Шопенгауэра, не важно.

Абсолютно верно! Это ключевой момент. Вы же сжимать архиватором предлагаете не информацию, а уже переданный образ ее, частное значение. Есть физическая величина "скорость" и есть ее частные значения - скорость звука в воде, скорость пешехода или света. Информация - не физическая величина, но есть у этих понятий общие свойства. Есть том информации и есть возможные значения информации от Толстого, Шопенгауэра и даже "Ландавшица".

> Отдельная тема - Звук Изображение

Открывайте ОТДЕЛЬНУЮ тему, это страшно интересно. Не только сжатие, физика звука сама по себе достойна обсуждения. И потери качества при сжатии интересны. Я лично с удовольствием почитал бы мнения, поучаствовал.

> З.Ы.: Уверен, что действуя по Шеннону - используя вероятностный подход - получим близкие значения...

И абсолютно правы, даже не близкие, а равные для любого идеального архиватора. (А если чуть сжульничать, то можно еще немного "сжать")



> Кстати дочитываю: http://entropy.narod.ru/MLG-5.HTM.

Ужас какой-то. Этот человек совершенно не прочувствовал проблемы интерпретации КМ и при этом задался целью опустить всех ниже плинтуса.

С самого начала начинаются приемы достойные полит-киллера Доренко:

> Те, кто этой точки зрения придерживается, не заслуживают осуждения.” “Вот спасибочки!” - дружно благодарят монтеры!

Чего язвить, когда тебе дают путь к отступлению?

Те, кто этой точки зрения придерживается, не заслуживают осуждения.” “Вот спасибочки!” - дружно благодарят монтеры!

> Прямо сказка для детей!

Это еще до рассмотрения статьи!

Почему приземленных и однослойных ученых так колбасит от рассуждений романтично и философски настроенных ученых? Кому приносит вред даже излишне свободный полет мысли? Он чего нас отупляет? Или Менский желает загрести деньги под какие-то исследования? Или может их просто злит, что они ничерта не понимают в поднимаемых "романтиками" проблемах и им хочется побыстрее растоптать этот росток, грозящий им потерей понимания мира? Скорее всего последнее.

> Менский говорит: “Возможность существования запутанных состояний приводит к некоторым чертам квантовых систем, которым нет аналога в классической физике и которые (черты. - В.Г.) поэтому кажутся весьма странными с точки зрения интуиции, воспитанной на анализе классических систем. Такого рода ситуации были проанализированы в работе Эйнштейна, Подольского и Розена... Оказалось, что понятие “элемент реальности” в том виде, в каком оно употребляется в классической физике, неприменимо в квантовой теории. Это противоречие между квантовомеханическими предсказаниями и классической интуицией было названо парадоксом Эйнштейна-Подольского-Розена (ЭПР).”

Кристально понятная и предельно четкая формулировка проблемы, на мой взгляд.
Просто каждая струнка души отозвалась - да это и есть то что нас смущает.

Что же говорит автор статьи:

> Очень хочется отметить чрезмерную легкость, быстроту и непонятность формулировки вывода Менского. У кого “оказалось”? Явно ведь не у ЭПР, хотя речь ни о ком другом у него тут не идет. И в каком виде “употребляется в классической физике понятие “элемент реальности”” - мы не знаем, а он не говорит. Какое конкретно противоречие “было названо парадоксом Эйнштейна-Подольского-Розена” - тоже не собщается. Это невозможно связно, осмысленно и уверенно, без опасения неверной передачи смысла, пересказать кому-нибудь другому. Возможно, он и собирался сказать что-то верное, но у него это явно не получилось.

Судя по этим вопросам автор ничего не понял в приведенном абзаце Менского.
Почему тогда я все понял даже не имея образования физика?

При таком раскладе дальше читать нет смысла.


>
Мои комментарии к главе 1 книги Чернавского «ДИНАМИЧЕСКАЯ ТЕОРИЯ ИНФОРМАЦИИ»

> ><<Информация есть запомненный выбор одного варианта из нескольких возможных и равноправных. (Q)>>

Это определение Чернавского мне нравится. Оно коррелирует с моим пониманием субъективной основы информации.
Насчет запоминания не столь очевидно. Поскольку неопределено строго само понятие «запоминания».
Автор разделяет понятие информации на

МИКРОИНФОРМАЦИЮ и МАКРОИНФОРМАЦИЮ.

Такое разделение кажется соответствует моему разделению на

ОБЪЕКТИВНУЮ и СУБЪЕКТИВНУЮ

информацию соответственно.


Насчет СОХРАНЕНИЯ ИНФОРМАЦИИ автор пишет:

> ><<В идеально обратимом мире информация не может возникнуть, поскольку любой выбор не может быть запомнен, ( запоминание возможно лишь в диссипативных системах).>>

Это соответствует сохранению объективной информации в моем понимании.

Следующая любопытная фраза:

> ><<ГЕНЕРАЦИЯ ИНФОРМАЦИИ - выбор. сделанный случайно, без подсказки извне.>>

Помните мой провокационный вопрос относительно того генерирует ли информацию редукция фон Неймана?
Согласно этому определению, если редукция – случайный процесс, происходящий без подсказки извне, то он генерирует информацию. Я разделяю это понимание. То есть выбор, сделанный сознанием генерирует новую информацию (субъективную, конечно или макроинформацию по Чернавкому)

Эту фразу нельзя оставить без внимания:

> ><<Свойством запоминания могут обладать только макроскопические системы, состоящие из многих атомов>>

Не слишком ли сильное утверждение?

И эту тоже:

> ><<для неустойчивых систем понятие "абсолютно изолированная система" теряет смысл;>>

Так уж и теряет?! Из дальнейшего ясно, что автор сам понимает, что это не совсем так.

> ><<Эдваром Каснером было введено новое понятие "гугол" - столь большое число (больше 10+100 ), которое не может соответствовать никакой физической величине (см. [10])>>

Интересно куда идет ссылка?


> ><<Утверждение о том, что энтропия может только увеличиваться, означает, что в глобально неустойчивых процессах изображающие точки разбегаются друг от друга независимо от того, рассматриваем ли мы процесс в прямом или обратном направлении времени.>>

Но гугол ведь не 0! Чтобы сказанное выше было верно нужен физический принцип, который объяснил бы почему мы имеем право приравнять гугол к 0.

> ><<В расчетах динамических систем необходимо делать ошибки, в этом (и только в этом) случае мы получим результат, правильно описывающий реальные процессы (в том числе необратимые).При численных расчетах это условие соблюдается втоматически. Абсолютно точные теоремы (типа теорем об обратимости и теоремы Лиувилля) в случае неустойчивых систем приводят к результатам, не соответствующим действительности. >>

Правильно! Похоже автор что-то смыслит в этих вопросах!

> ><<Неустойчивость - явление. которое возникает в рамках динамических уравнений, но приводит к тому, что они перестают быть полными. >>

Верно, но нужно сказать почему! То есть что это за такой принципиальный запрет на вычисления точнее гугла!!!

> ><<Это - парафраз теоремы Гёйделя, о которой все слышали, но мало кто думал, что она может иметь практическое применение.>>

Ага! Правильный ход мысли!

Далее:

<<В классической физике, как было показано выше, причиной необратимости является глобальная неустойчивость динамических процессов, то есть возникновения динамического хаоса. Попытки осуществить аналогичную программу в квантовой механике натолкнулись на трудности. Выяснилось, что замкнутые квантово-механические системы динамически устойчивы.>>

<<Теорема фон Немана в квантовой механике - аналог теоремы Лиувилля в классике. Сглаживание сильно изрезанных функции в (2.52) - аналог введения синаевского фазового объема. В обоих случаях речь идет о пренебрежениями корреляциями высокого порядка (именно, порядка "гугол"). Обе процедуры формально не корректны (то есть не соответствуют современной математической аксиоматике), но правильны (то есть соответствует реальной действительности). В то же время теоремы Лиувилля и фон Неймана формально корректны, но не правильны, в том смысле, что не описывают наблюдаемого роста энтропии.>>

Из этого делается вывод:

<<для корректного математического описания неустойчивых процессов необходимо дополнить математическую аксиоматику утверждением: Корреляции высокого порядка между случайными величинами (именно: порядка "гугол", то есть 10100 и выше) должны быть признаны отсутствующими, даже если они возникают в аналитических расчетах. Основанием для этого можно считать следующее: Во-первых такие корреляции физически не реализуемы, то есть их в принципе невозможно ни наблюдать ни проверить. >>

Но, извините! Раз уж мы видим, что энтропия растет,- значит корреляций и вправду нет. А теперь извольте объяснить ПОЧЕМУ!


> >
> Мои комментарии к главе 1 книги Чернавского «ДИНАМИЧЕСКАЯ ТЕОРИЯ ИНФОРМАЦИИ»

> > ><<Информация есть запомненный выбор одного варианта из нескольких возможных и равноправных. (Q)>>

> Это определение Чернавского мне нравится. Оно коррелирует с моим пониманием субъективной основы информации.

Господин Каминский?
У Вас хотя бы начальное физическое образование есть???
Или у Вас его вообще нет???
Ваши рассуждения похожи на рассуждения дамы из пансиона для благородных девиц.
Ему, видите ли, "нравится, поскольку он коррелирует с его пониманием".

Единственное, с чем это может коррелировать - с абсолютным непониманием.
Физиков интересует не Ваше понимание или непонимание, а ответ на вопрос:
КАК БУДЕМ ИЗМЕРЯТЬ!!!

А свое понимание (или непонимание), как и свое мнение, можете засунуть себе в задницу, и никогда его оттуда не доставать.
Извиняюсь за резкость, но иначе до Вас, видимо, не доходит.

>
> Насчет СОХРАНЕНИЯ ИНФОРМАЦИИ автор пишет:

> > ><<В идеально обратимом мире информация не может возникнуть, поскольку любой выбор не может быть запомнен, ( запоминание возможно лишь в диссипативных системах).>>

> Это соответствует сохранению объективной информации в моем понимании.

Господин Каминский!
Формулировку закона сохранения знают даже школьники младших классов.
Вы, видимо, даже до этого не доросли.

Ozes



> Почему приземленных и однослойных ученых так колбасит от рассуждений романтично и философски настроенных ученых? Кому приносит вред даже излишне свободный полет мысли? Он чего нас отупляет? Или Менский желает загрести деньги под какие-то исследования? Или может их просто злит, что они ничерта не понимают в поднимаемых "романтиками" проблемах и им хочется побыстрее растоптать этот росток, грозящий им потерей понимания мира? Скорее всего последнее.

Потому что это - тупость. замешанная на безграмотности, и полном игнорировании фактов.
И все это выдается за "физические взгляды".
Романтики, блин, от физики.
Таблицы умножения не знают, а все туда-же.

> > Менский говорит: “Возможность существования запутанных состояний приводит к некоторым чертам квантовых систем, которым нет аналога в классической физике и которые (черты. - В.Г.) поэтому кажутся весьма странными с точки зрения интуиции, воспитанной на анализе классических систем. Такого рода ситуации были проанализированы в работе Эйнштейна, Подольского и Розена... Оказалось, что понятие “элемент реальности” в том виде, в каком оно употребляется в классической физике, неприменимо в квантовой теории. Это противоречие между квантовомеханическими предсказаниями и классической интуицией было названо парадоксом Эйнштейна-Подольского-Розена (ЭПР).”

Бред говорит господин Менский.

Кто сказал, что нет???
Сколько угодно таких состояний и в классической физике.
Только ни Менский, ни другие дилетанты-романтики от физики этого не знают, и не желают знать.
Им нравится исключительность КМ.
Следуя далее курсом Бора и Эйнштейна, "тупоголовые романтики" сейчас стены готовы пробить своими лбами, утверждая эту исключительность.
И утверждают они, таким образом, не исключительность квантовой механики, а исключительность самих себя, и своих собственных взглядов и интересов.
Очень удобная позиция.
Исключительность сама по себе.
Почти как царь, или бог, или фараон.
Исключительные по определению - от рождения и до самой смерти.
Ни учить ничего не надо, ни знать ничего не надо, ни прислушиваться к чужому мнению.
Тупость - как норма жизни, и как норма исключительности.


> Судя по этим вопросам автор ничего не понял в приведенном абзаце Менского.
> Почему тогда я все понял даже не имея образования физика?

Именно поэтому и поняли, что не имеете образования.
Если бы Вы его имели,то наверняка поняли бы и его ошибки.

> При таком раскладе дальше читать нет смысла.

Здесь Вы правы.

Ozes


> > 2. Физическая информация - объективное (неотражаемое) свойство системы. В каких единицах измерять ее объем?

> Хороший вопрос... Наверное, в битах...
> Бит объективен и безразмерен.

Чтобы измерять информацию - необходимо, первоначально, принять закон сохранения информации.
А уж затем пытаться ее измерить.
Кстати, единица измерения информации в физике существует достаточно давно.
Многим это покажется странным.
Но этой единицей измерения является 1 секунда.
(А не один бит, или что-либо еще!!!).

> > > Вы неправильно посчитали объем информации тома Толстого!

> > Объем информации тома я посчитал предельно точно. Толстого - отдельный вопрос, не очень "короткий".

> Толстого, Шопенгауэра, не важно.

В Толстом нет физической информации - вообще нет!!!

Ozes


Уважаемые форумчане!

Я предлагаю расценивать посты Ozes , как спам.
Спам - практически бесполезная информация ... (Из словаря)

В отличие от последних сообщений Ozes, настоящее сообщение не отходит от темы обсуждения, поскольку речь идет о критериях ценности информации.


> Кстати дочитываю: http://entropy.narod.ru/MLG-5.HTM.
> Ужас какой-то. Этот человек совершенно не прочувствовал проблемы интерпретации КМ и при этом задался целью опустить всех ниже плинтуса.
> С самого начала начинаются приемы достойные полит-киллера Доренко:

Есть такое дело, но дочитал все равно. Полезно смотреть на задачи с трех сторон.

> Кристально понятная и предельно четкая формулировка проблемы, на мой взгляд. Просто каждая струнка души отозвалась - да это и есть то что нас смущает.

Предельно четкая, без двусмысленности, дойдем и до кристальности. Пока вопросы есть.

> > Судя по этим вопросам автор ничего не понял в приведенном абзаце Менского.
> > Почему тогда я все понял даже не имея образования физика?
> Именно поэтому и поняли, что не имеете образования.
> Если бы Вы его имели,то наверняка поняли бы и его ошибки.

У меня образование физика, но физика большая, трактовок много. Что же такое "физическая информация"? Когда договоримся, тогда и Менского либо поймем, либо опровергнем.


> ><<Информация есть запомненный выбор одного варианта из нескольких возможных и равноправных. (Q)>>

Напоминает (по форме) описание процедуры измерения. Но для начала хотелось бы уточнить: выбор из вариантов чего?

Что Вы имеете против введения понятия информации как обобщения понятия физической величины? Физические величины при измерениях получают числовые значения, до измерения они имеют область допустимых значений. Объем информации характеризует область допустимых значений, конкретное "запоминание" - измерение.


> Уважаемые форумчане!

> Я предлагаю расценивать посты Ozes , как спам.
> Спам - практически бесполезная информация ... (Из словаря)

> В отличие от последних сообщений Ozes, настоящее сообщение не отходит от темы обсуждения, поскольку речь идет о критериях ценности информации.

Многие уважаемые форумчане охотно на них реагируют.
Например, Snowman откликается буквально на каждый комментарий ozes.


> Например, Snowman откликается буквально на каждый комментарий ozes.
Я часто заглядываю на форум, чтобы расслабиться, уж извините.
А развлечься дают возможность очень немногие, не буду перечислять кто, их все знают...

И думаю, Вы не правы насчет "буквально на каждый комментарий ozes". Наверняка Вы имеете информацию о количестве постов каждого форумчанина. Тогда у Вас есть прекрасная возможность проверить. У меня наверняка окажется меньше постов, чем у Озеса. И потом, часть моих постов (ну никак не меньше половины) - общение с другими участниками (например, с Вами в данном случае).


Предлагаю простую формулу для расчета объема информации:

Пусть система может иметь N состояний с вероятностью Pi нахождения системы в
i-м состоянии.

В этом случае значение

P = -SUM{Pi*log(Pi) {i=1,...N}

- это минимальный объем информации в битах, который требуется для описания состояния этой системы.

Для полностью детерминированной системы результат будет нулевым.

В частном случае, когда все состояния равновероятны, формула вырождается в

P = log(N);

Это всем известная формула объемов в вычислительной технике.
Из нее легко подсчитать, например, что для передачи 256 уровней яркости требуется 8 бит :-)


Самое удивительное, что приведенные формулы являются определением энтропии!

Таким образом, энтропия системы - это и есть объем информации в битах, который несет в себе система в один момент времени.

Спрашивается, какое отношение к объему информации имеет вероятность состояния?

Очень просто! Вспомните, к примеру, кодирование информации кодами переменной длины (Хаффмана). Суть в том, что наиболее часто встречающиеся комбинации кодируются наиболее короткими кодами.
Именно такой метод кодирования используется большинством современных программ сжатия информации.
Само кодирование (сжатие без потерь) информации при этом состоит из двух этапов:
- Построение словаря
- Кодирование словаря кодами Хаффмана

Почему я говорю про сжатие? - Да просто действительный объем информации - это тот минимальный объем, который получается после идеального сжатия.

Итак, получается, что процедуры сжатия действуют в соответствии с правилами вычисления энтропии: минимизируют число состояний и вычисляют вероятности этих состояний.

Так значит, информация (объем информации) и энтропия - одно и то же,
а не обратные величины, как здесь кто-то утверждал.


> Само кодирование (сжатие без потерь) информации при этом состоит из двух этапов:
> - Построение словаря
> - Кодирование словаря кодами Хаффмана

Предельное сжатие - номер книги в библиотеке. Словарь при этом, правда, не маленький будет - вся библиотека.

Но, прежде чем сжимать что-то, надо это что-то получить. Является ли для Вас информацией набор скоростей, импульсов, спинов совокупности атомов, которую мы рассматриваем как систему? Или значения этих физических величин? Эти значения неизменны?


> > Само кодирование (сжатие без потерь) информации при этом состоит из двух этапов:
> > - Построение словаря
> > - Кодирование словаря кодами Хаффмана

> Предельное сжатие - номер книги в библиотеке. Словарь при этом, правда, не маленький будет - вся библиотека.

Зачем же так! Словарь то нужно приложить к архиву. Это и к шифру, кстати, тоже относится (ключ - тот же словарь)...

> Но, прежде чем сжимать что-то, надо это что-то получить. Является ли для Вас информацией набор скоростей, импульсов, спинов совокупности атомов, которую мы рассматриваем как систему?

Прежде чем что-то получать, нужно определить цель получения:)
Мы сами придумываем себе некую модель всякой системы, которую и рассматриваем в том или ином случае. Эта модель и определяет тот объем информации, который мы используем для ее описания.
Раз всякая модель подразумевает конечное количество состояний, конечную энтропию, то и объем информации, которую она в себе несет, будет конечным.

Вы согласны с тем, что когда мы рассуждаем о каком-либо физическом процессе, в действительности мы строим в голове лишь его упрощенную модель и с ней и работаем?
И вообще "понимание" явлений - это построение моделей, получение "информационного отпечатка" явления в головах людей, разве не так?


> Предлагаю простую формулу для расчета объема информации:

> Пусть система может иметь N состояний с вероятностью Pi нахождения системы в
> i-м состоянии.

> В этом случае значение

> P = -SUM{Pi*log(Pi) {i=1,...N}

> - это минимальный объем информации в битах, который требуется для описания состояния этой системы.

> Для полностью детерминированной системы результат будет нулевым.

Это значит, что вероятность системы, которая описывается уравнением Лагранжа, равна нулю!!!
Правильно я понял???

> В частном случае, когда все состояния равновероятны, формула вырождается в

> P = log(N);

> Это всем известная формула объемов в вычислительной технике.
> Из нее легко подсчитать, например, что для передачи 256 уровней яркости требуется 8 бит :-)

>
> Самое удивительное, что приведенные формулы являются определением энтропии!

Ничего удивительного здесь нет.
Все это достаточно очевидно.

> Таким образом, энтропия системы - это и есть объем информации в битах, который несет в себе система в один момент времени.

> Спрашивается, какое отношение к объему информации имеет вероятность состояния?

> Очень просто! Вспомните, к примеру, кодирование информации кодами переменной длины (Хаффмана). Суть в том, что наиболее часто встречающиеся комбинации кодируются наиболее короткими кодами.
> Именно такой метод кодирования используется большинством современных программ сжатия информации.
> Само кодирование (сжатие без потерь) информации при этом состоит из двух этапов:
> - Построение словаря
> - Кодирование словаря кодами Хаффмана

> Почему я говорю про сжатие? - Да просто действительный объем информации - это тот минимальный объем, который получается после идеального сжатия.

> Итак, получается, что процедуры сжатия действуют в соответствии с правилами вычисления энтропии: минимизируют число состояний и вычисляют вероятности этих состояний.

Похоже, что так.

> Так значит, информация (объем информации) и энтропия - одно и то же,
> а не обратные величины, как здесь кто-то утверждал.

С этим тоже можно согласиться.

Дорогой Falcon!
Все это замечательно.
Но:
во- первых!!!
Я уже говорил о том, что о возможности измерения информации можно говорить лишь после того, как мы примем закон сохранения информации. В противном случае все Ваши рассуждения не имеют смысла, поскольку мы пытаемся измерить то, что не имеет меры.
во-вторых!!!
Что в Вашем случае будет изменением информации???
Как следует записывать изменение информации в рамках Ваших построений?

Ozes



> Судя по этим вопросам автор ничего не понял в приведенном абзаце Менского.
> Почему тогда я все понял даже не имея образования физика?

> Именно поэтому и поняли, что не имеете образования.
> Если бы Вы его имели,то наверняка поняли бы и его ошибки.

Ага, и вы мен тоже очень симпатичны.
По существу замечения будут?


> >Определение Чернавского <<Информация есть запомненный выбор одного варианта из нескольких возможных и равноправных. (Q)>>

Дил пишет:
> ><<Напоминает (по форме) описание процедуры измерения. Но для начала хотелось бы уточнить: выбор из вариантов чего? >>

Все дело в том, что не «напоминает», а им же и является!

Когда мы измеряем количество информации, мы тем самым производим физическое измерение. При этом измерении энтропия окружения растет на величину полученной, согласно формуле Шеннона, информации.

Это то, что касается физики. В макроскопической же информатике этими процессами пренебрегают. Считывание информации из ячеек памяти классической машины не меняет ее состояния.

Вообще говоря, понятие информации и ее мера определены достаточно строго и на мой взгляд нет затруднений, когда речь идет о макроскопической информации или о формальных моделях теории сигналов и кодирования.
Трудности возникают, когда мы пытаемся привязать эти понятия к реальной физической системе. Проблема в том, что мы не знаем механизма возникновения вероятности на фундаментальном уровне описания явлений.
КМ равно как и классическая говорят нам о том, что энтропия мира =0 и никаких информационных процессов в такой реальности быть не может. Это известный парадокс, на который нет пока ясного ответа.

Ясно и то, что ответ на этот вопрос не может быть получен без затрагивания основ физики. Так как он связан с такими фундаментальными понятиями, как время, сознание, необратимость.

Зачастую освещая эти вопросы, пытаются сгладить все углы и напустить побольше тумана. Однако, противоречие настолько очевидно, что его не спрячешь. Эта проблема достаточно ясно и остро сформулирована в книге Чернавского, ссылку на которую дал нам Игнорант.

Именно эти вопросы и следовало бы обсуждать, а не изобретать в очередной раз, что информацию можно измерять энтропией, а энтропию битами.

> >Что Вы имеете против введения понятия информации как обобщения понятия физической величины?

Не совсем понятно. Разъясните.


> И утверждают они, таким образом... исключительность самих себя, и своих собственных взглядов и интересов.
> Очень удобная позиция.
> Исключительность сама по себе.
> Почти как царь, или бог, или фараон.
> Исключительные по определению - от рождения и до самой смерти.
> Ни учить ничего не надо, ни знать ничего не надо, ни прислушиваться к чужому мнению.

Просто великолепно сказано!


> Зачем же так! Словарь то нужно приложить к архиву.

Тогда бы не было различий между архиваторами. По крайней мере часть словаря в том или ином виде заключена в программе архиватора.

> Это и к шифру, кстати, тоже относится

Нет.

> (ключ - тот же словарь)...

Да. Вы ключ от квартиры снаружи на гвоздик вешаете?

> Прежде чем что-то получать, нужно определить цель получения:)

старт и далее кто-то предложил термин "физическая информация", и данную тему я открыл именно для того, чтобы определиться с этим понятием. Наша цель - объяснить смысл этого понятия или отбросить его. Или нет?

> И вообще "понимание" явлений - это построение моделей, получение "информационного отпечатка" явления в головах людей, разве не так?

Очень точно. Смысл понятия информации ("рациональной") Вами озвучен ясно. Добъем "иррациональную" и физическую?


> > И утверждают они, таким образом... исключительность самих себя, и своих собственных взглядов и интересов.
> > Очень удобная позиция.
> > Исключительность сама по себе.
> > Почти как царь, или бог, или фараон.
> > Исключительные по определению - от рождения и до самой смерти.
> > Ни учить ничего не надо, ни знать ничего не надо, ни прислушиваться к чужому мнению.

> Просто великолепно сказано!

Самое забавное, что только недавно Озес все это писал по отношению к себе:). Причем с гордостью. Ох уж эта металогика:-/
До встречи, AID.


> > Уважаемые форумчане!

> > Я предлагаю расценивать посты Ozes , как спам.
> > Спам - практически бесполезная информация ... (Из словаря)

> > В отличие от последних сообщений Ozes, настоящее сообщение не отходит от темы обсуждения, поскольку речь идет о критериях ценности информации.

> Многие уважаемые форумчане охотно на них реагируют.
> Например, Snowman откликается буквально на каждый комментарий ozes.

Я полагаю, что Snowman, также как и я, вполне сживутся с тем фактом, что наши отклики будут уничтожены, если они неконструктивны.
Если наугад открыть сообщение из форума, поступившее за последние несколько дней, то с вероятностью 50% попадаешь на совершенно бессодержательную словесную перепалку. Я не заметил ни одного аргумента по существу.

Например, где здесь можно усмотреть хоть какую-то аргументацию:
> Господин Каминский?
> У Вас хотя бы начальное физическое образование есть???
> Или у Вас его вообще нет???
> Ваши рассуждения похожи на рассуждения дамы из пансиона для благородных девиц.
> Ему, видите ли, "нравится, поскольку он коррелирует с его пониманием".
> Единственное, с чем это может коррелировать - с абсолютным непониманием.
> Физиков интересует не Ваше понимание или непонимание, а ответ на вопрос:
> КАК БУДЕМ ИЗМЕРЯТЬ!!!
(Это можно расценить, как зачаток аргумента, но без подробных объяснений это просто "выкрик с места")
> А свое понимание (или непонимание), как и свое мнение, можете засунуть себе в задницу, и никогда его оттуда не доставать.
> Извиняюсь за резкость, но иначе до Вас, видимо, не доходит.
Это не резкозть, это просто поток оскорблений, недостойный для форума.

Я поддерживаю мнение, что реплики ozes'a являются спамом и не являются научной дискуссией. Это не касается его самостоятельных опусов, в которых он приводит какую-то аргументацию.


> > Зачем же так! Словарь то нужно приложить к архиву.

> Тогда бы не было различий между архиваторами. По крайней мере часть словаря в том или ином виде заключена в программе архиватора.

Очень может быть, что алгоритм сжатия является составной частью сжатой информации. Как и ключ для шифра. Разве важно, где мы храним ключ, а где шифровку? В сумме они и дают информацию.
Просто у архиватора цель - минимизация объема, а у шифратора... ну сами знаете.

> > И вообще "понимание" явлений - это построение моделей, получение "информационного отпечатка" явления в головах людей, разве не так?

> Очень точно. Смысл понятия информации ("рациональной") Вами озвучен ясно. Добъем "иррациональную" и физическую?

Так Вы согласны с моим предложением рассматривать энтропию Шеннона, как количественную меру объема информации в битах?

Если нет, то объясните - почему.
Если да, то энтропия физической системы - это и есть объем физической информации этой системы.


> > >Определение Чернавского <<Информация есть запомненный выбор одного варианта из нескольких возможных и равноправных. (Q)>>
> Дил пишет:
> > ><<Напоминает (по форме) описание процедуры измерения. Но для начала хотелось бы уточнить: выбор из вариантов чего? >>
> Все дело в том, что не «напоминает», а им же и является!

Вот именно, я к этому и веду разговор.

> > >Что Вы имеете против введения понятия информации как обобщения понятия физической величины?
> Не совсем понятно. Разъясните.

В обсуждаемой ссылке рассматриваются две альтернативы, вторая - выбор, а это именно измерение. Получение единичного значения, один кадр.

Параллель: скорость тела, как физическая величина, имеет различные значение в разных "кадрах". Для информации текст, набор чисел и пр. (т.е. выбор) - это один кадр.

Информация, как понятие (не бытовое) - это нечто динамическое, допускающее многократный выбор (измерение) для получения информационного кадра, как бытового понятия. Энтропия вычисляется для кадра и определяет степень избыточного кодирования. Объем информации задается моделью системы и есть константа.



> > P = -SUM{Pi*log(Pi) {i=1,...N}

> > - это минимальный объем информации в битах, который требуется для описания состояния этой системы.

> > Для полностью детерминированной системы результат будет нулевым.

> Это значит, что вероятность системы, которая описывается уравнением Лагранжа, равна нулю!!!
> Правильно я понял???

Что Вы понимаете под "вероятностью системы", которая равна нулю???
Энтропия детерминированной системы равна нулю, а вероятность ее нахождения в единственно возможном состоянии - равна ЕДИНИЦЕ.

Если Вы знаете, каким именно уравнением описывается система и все начальные условия, то сообщение о состоянии системы не содержит для Вас никакой НОВОЙ информации. Вся информация о системе и есть то самое уравнение Лагранжа.

> > Самое удивительное, что приведенные формулы являются определением энтропии!

> Ничего удивительного здесь нет.
> Все это достаточно очевидно.

Не для всех, здесь присутствующих...

> Все это замечательно.
> Но:
> во- первых!!!
> Я уже говорил о том, что о возможности измерения информации можно говорить лишь после того, как мы примем закон сохранения информации. В противном случае все Ваши рассуждения не имеют смысла, поскольку мы пытаемся измерить то, что не имеет меры.

Так именно этот закон и заключен в приведенной мной формуле!
А звучит он так:


Полная информация о состоянии физической системы не может занимать объем (выраженный в битах) меньший, чем энтропия этой системы.


Следствие 1:

Всякое информационное сообщение может быть сжато без потерь до размера, равного энтропии модели информационного носителя.

> во-вторых!!!
> Что в Вашем случае будет изменением информации???
> Как следует записывать изменение информации в рамках Ваших построений?


Следствие 2:

Для передачи информации объемом I необходим информационный носитель с начальной энтрорией Н0 >= I

После записи сообщения энтропия носителя уменьшается и становится равной

Н = Н0 - I

Иными словами, передача информации с качественной стороны - это уменьшение энтропии физического посредника-носителя,
а с количественной - объем переданной носителю информации равен величине уменьшения его энтропии.

Falcon.


> Так Вы согласны с моим предложением рассматривать энтропию Шеннона, как количественную меру объема информации в битах?

Это, безусловно, количественная мера, и имеет непосредственное отношение к понятию информации. Если остановиться на бытовом (и даже техническом) понятии информации, то особо и не спорю.

> Если нет, то объясните - почему.
> Если да, то энтропия физической системы - это и есть объем физической информации этой системы.

http://physics.nad.ru/newboard/messages/36871.html

А вот "физическая" информация пока просто красивое слово, смысл, который Вы вкладываете в этот термин, мне не ясен. "Рациональную" информацию я понимаю (примерно) как набор физических величин, этот набор мы задали описанием модели. Физические величины в разные моменты времени имеют разные значения. Конкретный набор этих значений (измеренных или вычисленных) - это кадр информации, сообщение, описание события. Для этого набора можно посчитать энтропию.

Объем информации определяется максимальным значением энтропии по всем "кадрам". Это "ширина" канала передачи информации.


!Ричард Фейнман

До.


!Ричард Фейнман

До.


> > > P = -SUM{Pi*log(Pi) {i=1,...N}

> > > - это минимальный объем информации в битах, который требуется для описания состояния этой системы.

> > > Для полностью детерминированной системы результат будет нулевым.

> > Это значит, что вероятность системы, которая описывается уравнением Лагранжа, равна нулю!!!
> > Правильно я понял???

> Что Вы понимаете под "вероятностью системы", которая равна нулю???

Это не я понимаю.
Это Вы излагаете свою идею.
Я лишь спрашиваю, и уточняю некоторые детали.

> Энтропия детерминированной системы равна нулю, а вероятность ее нахождения в единственно возможном состоянии - равна ЕДИНИЦЕ.

Если энтропия равна нулю, то значит ли это, что строго детерминированная система не содержит информации?

> Если Вы знаете, каким именно уравнением описывается система и все начальные условия, то сообщение о состоянии системы не содержит для Вас никакой НОВОЙ информации. Вся информация о системе и есть то самое уравнение Лагранжа.

Но энтропия равна нулю?
Значит уравнение Лагранжа - не информация???
Или как это следует понимать???

> > > Самое удивительное, что приведенные формулы являются определением энтропии!

> > Ничего удивительного здесь нет.
> > Все это достаточно очевидно.

> Не для всех, здесь присутствующих...

> > Все это замечательно.
> > Но:
> > во- первых!!!
> > Я уже говорил о том, что о возможности измерения информации можно говорить лишь после того, как мы примем закон сохранения информации. В противном случае все Ваши рассуждения не имеют смысла, поскольку мы пытаемся измерить то, что не имеет меры.

> Так именно этот закон и заключен в приведенной мной формуле!
> А звучит он так:

>
> Полная информация о состоянии физической системы не может занимать объем (выраженный в битах) меньший, чем энтропия этой системы.
>

>
Вообще говоря, формулировка "закона сохранения" в физике следующая.
Масса (энергия, импульс, информация и т.д.) не появляется и не исчезает, а лишь переходит из одного вида в другой.
Можете немного подредактировать, но смысл следует оставить без изменения.
И я не вижу смысла менять формулировку "закона сохранения" в физике применительно к информации.
Что же касается Вашей формулировки "закона сохранения", то вряд ли ее можно считать удовлетворительной.

> Следствие 1:
>
> Всякое информационное сообщение может быть сжато без потерь до размера, равного энтропии модели информационного носителя.

> > во-вторых!!!
> > Что в Вашем случае будет изменением информации???
> > Как следует записывать изменение информации в рамках Ваших построений?

>
> Следствие 2:

> Для передачи информации объемом I необходим информационный носитель с начальной энтрорией Н0 >= I

> После записи сообщения энтропия носителя уменьшается и становится равной

> Н = Н0 - I

> Иными словами, передача информации с качественной стороны - это уменьшение энтропии физического посредника-носителя,
> а с количественной - объем переданной носителю информации равен величине уменьшения его энтропии.
>
> Falcon.

Дорогой Falcon!

Вы несетесь вперед "сломя голову", упуская из виду немаловажные детали, которые приводят к ошибочным формулировкам и выводам.

Ozes


> > Энтропия детерминированной системы равна нулю, а вероятность ее нахождения в единственно возможном состоянии - равна ЕДИНИЦЕ.

> Если энтропия равна нулю, то значит ли это, что строго детерминированная система не содержит информации?

Это значит, что система не содержит неизвестной нам информации.
Если мы не имеем информации о системе, то эта система для нас может оцениваться только вероятностными методами. Ее энтропия - это та информация, которая от нас скрыта.
Исследуя систему, мы открываем законы, которым она подчиняется. Тем самым мы уменьшаем энтропию системы. Насколько уменьшили энтропию - на столько и получили из нее новой информации.
Но до конца познать реальную систему невозможно - всегда останутся какие-то "тараканы" - это и будет остаточной энтропией - непознанной информацией...

> > Если Вы знаете, каким именно уравнением описывается система и все начальные условия, то сообщение о состоянии системы не содержит для Вас никакой НОВОЙ информации. Вся информация о системе и есть то самое уравнение Лагранжа.

> Но энтропия равна нулю?
> Значит уравнение Лагранжа - не информация???
> Или как это следует понимать???

Уравнения Лагранжа - информация. И она равна разнице энтропии системы до и после применения к ней этих уравнений...

Но реальная система не будет абсолютно точно следовать уравнениям Лагранжа - останутся "хвосты", пусть даже исчезающе малые, которые иначе, чем вероятностным методом не оценить, пока кто-нибудь не выведет новых, более точных для данной системы уравнений. Поэтому энтропия системы в процессе нашего ее познания только стремится к нулю, но никогда его не достигнет...

> >
> > Полная информация о состоянии физической системы не может занимать объем (выраженный в битах) меньший, чем энтропия этой системы.
> >

> >
> Вообще говоря, формулировка "закона сохранения" в физике следующая.

Да знаю я эту формулировку, только как Вы ее предлагаете притянуть к информации?
Что-то типа "сумма известной информации о системе и ее энтропии - величина постоянная"?

> Что же касается Вашей формулировки "закона сохранения", то вряд ли ее можно считать удовлетворительной.

Возможно, но я и не претендую на гениальность, а только пытаюсь рассуждать:)

> Вы несетесь вперед "сломя голову", упуская из виду немаловажные детали, которые приводят к ошибочным формулировкам и выводам.

Согласен, но, на мой взгляд, этот форум для того и нужен, чтобы совместными усилиями прийти к общему знаменателю...


> > Так Вы согласны с моим предложением рассматривать энтропию Шеннона, как количественную меру объема информации в битах?

> Это, безусловно, количественная мера, и имеет непосредственное отношение к понятию информации. Если остановиться на бытовом (и даже техническом) понятии информации, то особо и не спорю.

> А вот "физическая" информация пока просто красивое слово, смысл, который Вы вкладываете в этот термин, мне не ясен. "Рациональную" информацию я понимаю (примерно) как набор физических величин, этот набор мы задали описанием модели. Физические величины в разные моменты времени имеют разные значения. Конкретный набор этих значений (измеренных или вычисленных) - это кадр информации, сообщение, описание события. Для этого набора можно посчитать энтропию.

В процессе переписки с Вами я, кажется, начал что-то понимать :-)

Итак:

Есть некая физическая система. Пока мы о ней ничего не знаем - она для нас "черный ящик" - система обладает некоторой начальной энтропией Н0.

Допустим, нам удалось что-то разузнать про эту систему - установить какие-то законы, начальные условия, определить параметры...
При этом система стала более предсказуема - ее энтропия уменьшилась.
Так вот, величина уменьшения энтропии физической системы в процессе ее познания H0-H - это и есть тот объем рациональной информации, который содержится в тех сведениях, которые мы из нее получили.

Таким образом, есть рациональная информация о системе, есть еще неизвестная информация. В сумме они дают начальную энтропию системы - полную физическую информацию системы. Неизвестная информация о системе равна остаточной энтропии системы и по сути иррациональна.
Процесс познания увеличивает объем известной информации о системе, устремляя к нулю ее остаточную энтропию. Но этот процесс бесконечен, как бесконечен процесс вычисления числа ПИ...

Как Вам такое?


> > > Энтропия детерминированной системы равна нулю, а вероятность ее нахождения в единственно возможном состоянии - равна ЕДИНИЦЕ.

> > Если энтропия равна нулю, то значит ли это, что строго детерминированная система не содержит информации?

> Это значит, что система не содержит неизвестной нам информации.
> Если мы не имеем информации о системе, то эта система для нас может оцениваться только вероятностными методами. Ее энтропия - это та информация, которая от нас скрыта.
> Исследуя систему, мы открываем законы, которым она подчиняется. Тем самым мы уменьшаем энтропию системы. Насколько уменьшили энтропию - на столько и получили из нее новой информации.

То есть, известную часть информации о системе Вы называете собственно информацией, неизвестную часть информации о системе Вы называете энтропией.
Соответственно, сумма информации и энтропии образуют полную информацию, которую мы можем считать равной единице, и которая должна сохраняться.
Я правильно Вас понял, или опять что-то не так???

> Но до конца познать реальную систему невозможно - всегда останутся какие-то "тараканы" - это и будет остаточной энтропией - непознанной информацией...

До конца и не нужно.
Это понятно и так.

> > > Если Вы знаете, каким именно уравнением описывается система и все начальные условия, то сообщение о состоянии системы не содержит для Вас никакой НОВОЙ информации. Вся информация о системе и есть то самое уравнение Лагранжа.

> > Но энтропия равна нулю?
> > Значит уравнение Лагранжа - не информация???
> > Или как это следует понимать???

> Уравнения Лагранжа - информация. И она равна разнице энтропии системы до и после применения к ней этих уравнений...

Значит для лагранжевой системы информация равна единице, а энтропия равна нулю.
Я правильно Вас понял???

> Но реальная система не будет абсолютно точно следовать уравнениям Лагранжа - останутся "хвосты", пусть даже исчезающе малые, которые иначе, чем вероятностным методом не оценить, пока кто-нибудь не выведет новых, более точных для данной системы уравнений. Поэтому энтропия системы в процессе нашего ее познания только стремится к нулю, но никогда его не достигнет...

Ну, это тоже понятно.

> > >
> > > Полная информация о состоянии физической системы не может занимать объем (выраженный в битах) меньший, чем энтропия этой системы.
> > >

> > >
> > Вообще говоря, формулировка "закона сохранения" в физике следующая.

> Да знаю я эту формулировку, только как Вы ее предлагаете притянуть к информации?

Я пока не знаю, "как притянуть к информации".
Но то факт, что формулировка должна остаться без изменений мне кажется достаточно очевидным.

> Что-то типа "сумма известной информации о системе и ее энтропии - величина постоянная"?

Может быть и так.
Пока не вполне ясно и понятно.

> > Что же касается Вашей формулировки "закона сохранения", то вряд ли ее можно считать удовлетворительной.

> Возможно, но я и не претендую на гениальность, а только пытаюсь рассуждать:)

Я тоже пытаюсь рассуждать.

> Согласен, но, на мой взгляд, этот форум для того и нужен, чтобы совместными усилиями прийти к общему знаменателю...

Попробуем это сделать.

Ozes


> То есть, известную часть информации о системе Вы называете собственно информацией, неизвестную часть информации о системе Вы называете энтропией.
> Соответственно, сумма информации и энтропии образуют полную информацию, которую мы можем считать равной единице, и которая должна сохраняться.
> Я правильно Вас понял, или опять что-то не так???

Вы поняли именно так, как я говорил, а правильно это, или нет - не мне решать.

> Значит для лагранжевой системы информация равна единице, а энтропия равна нулю.

Как и для всякой детерминированной модели, с оговоркой на то, что в природе нет идеальных систем...


> Таким образом, есть рациональная информация о системе, есть еще неизвестная информация. В сумме они дают начальную энтропию системы - полную физическую информацию системы. Неизвестная информация о системе равна остаточной энтропии системы и по сути иррациональна.
> Процесс познания увеличивает объем известной информации о системе, устремляя к нулю ее остаточную энтропию. Но этот процесс бесконечен, как бесконечен процесс вычисления числа ПИ...

Подытожив все это я предлагаю такой вариант:

Информация - это строгое математическое описание физической системы, или события, представленное в виде минимизированного набора элементарных ответов на вопрос типа да/нет.
Количество таких вопросов-ответов и есть объем информации.
Объем информации, которую можно потенциально получить из системы - это энтропия системы.



> Если мы не имеем информации о системе, то эта система для нас может оцениваться только вероятностными методами. Ее энтропия - это та информация, которая от нас скрыта.
Можно пожалуйста подробнее? Что значит сокрыта?
Предположим у Вас есть ответ на интересующий Вас вопрос на скажем японском языке и Вы не обладаете японским языком но имеете под рукой японско-русский словарь. Итак как Вы рассматриваете информацию содержащимся в этом ответе?
В какой момент "открывается" искомая Вами информация?
В тот момент когда Вы приобретаете доступ и к ответу и к словарю, в тот момент когда переводите ответ на русский или в тот момент когна начинаете понимать переведённое(не секкрет что перевод со словарём часто хромает)?

Далее имея доступ к интернету обладаете ли Вы доступом ко всей информации накопленной человечеством и рассматриваете ли Вы эту информацию как сокрытую?
Кому "открыта"тогда эта информация?
С уважением До.


> > > И утверждают они, таким образом... исключительность самих себя, и своих собственных взглядов и интересов.
> > > Очень удобная позиция.
> > > Исключительность сама по себе.
> > > Почти как царь, или бог, или фараон.
> > > Исключительные по определению - от рождения и до самой смерти.
> > > Ни учить ничего не надо, ни знать ничего не надо, ни прислушиваться к чужому мнению.

> > Просто великолепно сказано!

> Самое забавное, что только недавно Озес все это писал по отношению к себе:).

Вот я об том же...

> Причем с гордостью. Ох уж эта металогика:-/


> > > И утверждают они, таким образом... исключительность самих себя, и своих собственных взглядов и интересов.
> > > Очень удобная позиция.
> > > Исключительность сама по себе.
> > > Почти как царь, или бог, или фараон.
> > > Исключительные по определению - от рождения и до самой смерти.
> > > Ни учить ничего не надо, ни знать ничего не надо, ни прислушиваться к чужому мнению.

> > Просто великолепно сказано!

> Самое забавное, что только недавно Озес все это писал по отношению к себе:). Причем с гордостью. Ох уж эта металогика:-/

Вероятно, Вы опять путаете чемпиона с фараоном.
Чемпионы, в отличие от фараонов, отстаивают свой титул в честной борьбе.
Чемпионы действительно исключительны по своим природным данным.
Но чемпионы лишь до той поры чемпионы, пока не появятся новые чемпионы.

Вот такая металогика.

Ozes




Опять таки под впечатлением запрограммировал на дельфе обратимый автомат:
http://www.anmuha.narod.ru/programki.html

Забавная вещь. Рисуем картинку. Получается вроде как аналог физической системы с низкой энтропией.
Запускаем автомат. Картинка расплывается. Энтропия вроде как растет.

На самом деле информация о первоначальной картинке никогда не теряется а только преобразуется.
Картинка восстановится, если запустить автомат в обратном направлении.
Кроме того, картинка восстановится и при прямом направлении времени через некоторое число шагов (простая через малое, сложная - через экспоненциально большее).

Квадрат на заполенном случайно поле дает некое подобие волнового процесса.



> > То есть, известную часть информации о системе Вы называете собственно информацией, неизвестную часть информации о системе Вы называете энтропией.
> > Соответственно, сумма информации и энтропии образуют полную информацию, которую мы можем считать равной единице, и которая должна сохраняться.
> > Я правильно Вас понял, или опять что-то не так???

> Вы поняли именно так, как я говорил, а правильно это, или нет - не мне решать.

> > Значит для лагранжевой системы информация равна единице, а энтропия равна нулю.

> Как и для всякой детерминированной модели, с оговоркой на то, что в природе нет идеальных систем...

В общем и целом - идея интересная.
И, вероятно, правильная.
Пока не вполне понятно, как это реализовать в формулах и реально.
Но формально все упаковано правильно.

Ozes


>
> Опять таки под впечатлением запрограммировал на дельфе обратимый автомат:
> http://www.anmuha.narod.ru/programki.html

> Забавная вещь. Рисуем картинку. Получается вроде как аналог физической системы с низкой энтропией.
> Запускаем автомат. Картинка расплывается. Энтропия вроде как растет.

> На самом деле информация о первоначальной картинке никогда не теряется а только преобразуется.
> Картинка восстановится, если запустить автомат в обратном направлении.
> Кроме того, картинка восстановится и при прямом направлении времени через некоторое число шагов (простая через малое, сложная - через экспоненциально большее).

> Квадрат на заполенном случайно поле дает некое подобие волнового процесса.

Интересная програмка.
Очень удачная модель.
Все очень наглядно, красиво и правильно.

Ozes


> >
> Мои комментарии к главе 1 книги Чернавского «ДИНАМИЧЕСКАЯ ТЕОРИЯ ИНФОРМАЦИИ»

> > ><<Информация есть запомненный выбор одного варианта из нескольких возможных и равноправных. (Q)>>

> Это определение Чернавского мне нравится. Оно коррелирует с моим пониманием субъективной основы информации.
> Насчет запоминания не столь очевидно. Поскольку неопределено строго само понятие «запоминания».
Насколько я понял, это ему понадобится впоследствии.
> Автор разделяет понятие информации на
> МИКРОИНФОРМАЦИЮ и МАКРОИНФОРМАЦИЮ.
>
> Такое разделение кажется соответствует моему разделению на
> ОБЪЕКТИВНУЮ и СУБЪЕКТИВНУЮ информацию соответственно.
а как вы их разделяете?
>
> Насчет СОХРАНЕНИЯ ИНФОРМАЦИИ автор пишет:

> > ><<В идеально обратимом мире информация не может возникнуть, поскольку любой выбор не может быть запомнен, ( запоминание возможно лишь в диссипативных системах).>>
Вот здесь и понадобилось. Автор -- синергетик. Запоминание есть некое фундаментальное свойство диссипативных самоорганизующихся систем. Квантовую механику в синергетике не используют (или используют, но неявно).

> Это соответствует сохранению объективной информации в моем понимании.

> Следующая любопытная фраза:
> > ><<ГЕНЕРАЦИЯ ИНФОРМАЦИИ - выбор. сделанный случайно, без подсказки извне.>>

> Помните мой провокационный вопрос относительно того генерирует ли информацию редукция фон Неймана?
> Согласно этому определению, если редукция – случайный процесс, происходящий без подсказки извне, то он генерирует информацию. Я разделяю это понимание. То есть выбор, сделанный сознанием генерирует новую информацию (субъективную, конечно или макроинформацию по Чернавкому)
Казалось бы, другого случайного процесса нет. Но синергетики считают случайными процессами не столько квантовые измерения, сколько принципиально непредсказуемые вследствие экспоненциального разбегания траекторий, т.е. динамического хаоса. Хотя это не совсем последовательно, но, видимо Пригожин их убедил. Диссипация -- характерное свойство всех сколь-нибудь сложных классических систем. Микроскопическая природа диссипации окончательно не выяснена, ноона есть и это фундаментальное свойство, от которого отталкивается синергетика.

> Эту фразу нельзя оставить без внимания:
> > ><<Свойством запоминания могут обладать только макроскопические системы, состоящие из многих атомов>>

> Не слишком ли сильное утверждение?
Микроскопические объекты описываютя унитарной эволюцией. Микроскопических измерений мы не знаем. Этот факт и констатируется.

> И эту тоже:
> > ><<для неустойчивых систем понятие "абсолютно изолированная система" теряет смысл;>>

> Так уж и теряет?! Из дальнейшего ясно, что автор сам понимает, что это не совсем так.

> > ><<Эдваром Каснером было введено новое понятие "гугол" - столь большое число (больше 10^+100 ), которое не может соответствовать никакой физической величине (см. [10])>>

> Интересно куда идет ссылка?

>
> > ><<Утверждение о том, что энтропия может только увеличиваться, означает, что в глобально неустойчивых процессах изображающие точки разбегаются друг от друга независимо от того, рассматриваем ли мы процесс в прямом или обратном направлении времени.>>
Это свойство динамического хаоса.
> Но гугол ведь не 0! Чтобы сказанное выше было верно нужен физический принцип, который объяснил бы почему мы имеем право приравнять гугол к 0.
Я не понял этого аргумента.
> > ><<В расчетах динамических систем необходимо делать ошибки, в этом (и только в этом) случае мы получим результат, правильно описывающий реальные процессы (в том числе необратимые).При численных расчетах это условие соблюдается втоматически. Абсолютно точные теоремы (типа теорем об обратимости и теоремы Лиувилля) в случае неустойчивых систем приводят к результатам, не соответствующим действительности. >>

> Правильно! Похоже автор что-то смыслит в этих вопросах!
А мне это не нравится.
> > ><<Неустойчивость - явление. которое возникает в рамках динамических уравнений, но приводит к тому, что они перестают быть полными. >>

> Верно, но нужно сказать почему! То есть что это за такой принципиальный запрет на вычисления точнее гугла!!!
Не могут они сказать почему. Потому что не знают. И мне кажется, что ваша конечность мира не поможет. Если ваш конечный мир описывается обратимым образом, то все точные теоремы там наверное тоже есть. Просто они немного другие. И для точных вычислений нужно использовать вашу точную динамику, а не ур-я Лагранжа.

> > ><<Это - парафраз теоремы Гёйделя, о которой все слышали, но мало кто думал, что она может иметь практическое применение.>>
я этого не понимаю. А у него подробностей нет на эту тему?
> Ага! Правильный ход мысли!

> Далее:

> <<В классической физике, как было показано выше, причиной необратимости является глобальная неустойчивость динамических процессов, то есть возникновения динамического хаоса. Попытки осуществить аналогичную программу в квантовой механике натолкнулись на трудности. Выяснилось, что замкнутые квантово-механические системы динамически устойчивы.>>

> <<Теорема фон Немана в квантовой механике - аналог теоремы Лиувилля в классике. Сглаживание сильно изрезанных функции в (2.52) - аналог введения синаевского фазового объема. В обоих случаях речь идет о пренебрежениями корреляциями высокого порядка (именно, порядка "гугол"). Обе процедуры формально не корректны (то есть не соответствуют современной математической аксиоматике), но правильны (то есть соответствует реальной действительности). В то же время теоремы Лиувилля и фон Неймана формально корректны, но не правильны, в том смысле, что не описывают наблюдаемого роста энтропии.>>

Для меня это несколько странно. Я полагаю, что точной КМ достаточно для роста энтропии. Но убедительно я доказать это не могу.

> Из этого делается вывод:

> <<для корректного математического описания неустойчивых процессов необходимо дополнить математическую аксиоматику утверждением: Корреляции высокого порядка между случайными величинами (именно: порядка "гугол", то есть 10100 и выше) должны быть признаны отсутствующими, даже если они возникают в аналитических расчетах. Основанием для этого можно считать следующее: Во-первых такие корреляции физически не реализуемы, то есть их в принципе невозможно ни наблюдать ни проверить. >>

> Но, извините! Раз уж мы видим, что энтропия растет,- значит корреляций и вправду нет. А теперь извольте объяснить ПОЧЕМУ!

Синергетика на мой взгляд представляет пафосное изложение теории динамических систем с глобальной неустойчивостью (хаос) и теорию сильно неравновесных термодинамических систем. Этот пафос вполне оправдан, поскольку много междисциплинарных приложений имеет и они далеко не все изучены. Это пафос проникновения методов физико-математическими наук в соседние области биологии, психологии, социологии и экономики. Все бы хорошо, но результатов мало.
40 лет назад аналогичным пафосом была кибернетика. Казалось, что общее представление об обратных связях и математических методов теории управления достаточно для понимания всех этих же явлений природы. Сейчас это практически забыто.
Синергетика добавила новое понятие -- самоорганизацию в сильно неравновесных системах и объяснение непредсказуемости макромира с помощью красочных картинок, полученных моделированием простых систем, в которых наблюдается глобальная неустойчивость.

Из синергетики невозможно получить определение живых систем, кроме как систем, проявляющих самоорганизацию: возникновение порядка из хаоса. Картинки красивые, однако ж масло на сковородке и регулярные облака на небе не похожи на живые системы. В них не возникает никакого подобия генетики, воспроизводства и чего-то в этом роде. Я не видел ни одной самоорганизующейся системы, в которой появлялись бы четкие границы объекта. А этим свойством обладают все организмы. Мне кажется, что этот пафос тоже пройдет и что далеко не все исчерпывается этими несомненно важными свойствами. Вероятно требуется еще какие-то не менее важные понятия, пока не открытые.

Синергетика эклектична в своей основе. Нерниятие теоремы Лиувилля только подчеркивает это. Если есть некое четкое представлени о динамическом законе, то нужно его придержаваться до конца. Если это понятие приближенное, то нужно понять какого рода эта приближенность, неточность. Нужно неточность описать в точных математических терминах. Этого нет, отсюда и эклектика.


> > Таким образом, есть рациональная информация о системе, есть еще неизвестная информация. В сумме они дают начальную энтропию системы - полную физическую информацию системы. Неизвестная информация о системе равна остаточной энтропии системы и по сути иррациональна.
> > Процесс познания увеличивает объем известной информации о системе, устремляя к нулю ее остаточную энтропию. Но этот процесс бесконечен, как бесконечен процесс вычисления числа ПИ...

> Подытожив все это я предлагаю такой вариант:

> Информация - это строгое математическое описание физической системы, или события, представленное в виде минимизированного набора элементарных ответов на вопрос типа да/нет.
> Количество таких вопросов-ответов и есть объем информации.
> Объем информации, которую можно потенциально получить из системы - это энтропия системы.

Прежде, чем говорить об объеме информации, необходимо определить метрику информационного пространства (то есть, понятие расстояния между двумя точками).
Сразу хочу заметить, что эта метрика не может быть евклидовой.

Ozes


>
> >Опять таки под впечатлением запрограммировал на дельфе обратимый автомат:
> >http://www.anmuha.narod.ru/programki.html

> Уверен, Вы понимаете, что это только иммитация обратимости. Для создания этой иммитации используется необратимое физическое устройство - компьютер.
Если вникнуть еще глубже, то тот обратимый результат, который мы видим при работе Вашей программы, имеет место только у нас в голове. Благодаря нашей способности к абстрагированию. То есть мы условно считаем, что система вернулась в исходное состояние, потому, что все триггеры, ячейки памяти и.т.д. вернулись в прежнее ФОРМАЛЬНОЕ состояние. То есть состояние триггера - это СИМВОЛ, который имеет смысл только для моего понимания того, что считать 1 и что считать 0. Реально ни один триггер не может вернуться в исходное ФИЗИЧЕСКОЕ состояние.

Ценность клеточных автоматов я вижу в том, что на их основе можно пытаться строить МОДЕЛИ субквантовой обратимой физики. Может быть даже дискретные космологические модели. В этом направлении сейчас многие работают. Посмотрите статью одного моего знакомого: http://www.keldysh.ru/departments/dpt_17/kurakin/p.doc



> Уверен, Вы понимаете, что это только иммитация обратимости. Для создания этой иммитации используется необратимое физическое устройство - компьютер.
> Если вникнуть еще глубже, то тот обратимый результат, который мы видим при работе Вашей программы, имеет место только у нас в голове.

С этим согласен.
Наблюдение за автоматом наводит на еще один вопрос. Весь автомат действительно обратим, однако, если выделить в нем по некоторому особому признаку некую подсистему, существующую некоторе конечное время, и рассмотреть ее изолированно, то очевидно она будет необратима и недетерминирована, поскольку она все время подвергается внешмему случайному (с точки зрения наблюдающего только систему) воздействию. Т.е. система и теряет и генерирует информацию.
Тогда можно ли в обратимом автомате неким простым способом выделять необратимые локальные системы в которых развиваются устойчивые "интересные", не расплювающиеся процессы, подобные событиям в нашем физическом мире?

Например, если "сесть" на фронт волны от расплывающегося квадрата и проследить каким законам подчиняется окружающий ячеистый мир. Будут ли в этой системе отсчета происходить интересные устойчивые события?

> Ценность клеточных автоматов я вижу в том, что на их основе можно пытаться строить МОДЕЛИ субквантовой обратимой физики. Может быть даже дискретные космологические модели. В этом направлении сейчас многие работают. Посмотрите статью одного моего знакомого: http://www.keldysh.ru/departments/dpt_17/kurakin/p.doc

Из приведенной в статье модели видно что из КМ не может быть смоделировано.
Не получается включить и измерительный экран в эту модель и в то же время сохранить мгновенность локализации частиц с точки зрения измерителя.




> Вероятно, Вы опять путаете чемпиона с фараоном.
> Чемпионы, в отличие от фараонов, отстаивают свой титул в честной борьбе.
> Чемпионы действительно исключительны по своим природным данным.
> Но чемпионы лишь до той поры чемпионы, пока не появятся новые чемпионы.

Так, может, как чемпион фараону, Вы дадите мне ссылку на статьи Озолина Э.Э. в научных журналах?
Вы же сказали, что там Ваши статьи принимают.
До встречи, AID.


>
> > Вероятно, Вы опять путаете чемпиона с фараоном.
> > Чемпионы, в отличие от фараонов, отстаивают свой титул в честной борьбе.
> > Чемпионы действительно исключительны по своим природным данным.
> > Но чемпионы лишь до той поры чемпионы, пока не появятся новые чемпионы.

> Так, может, как чемпион фараону, Вы дадите мне ссылку на статьи Озолина Э.Э. в научных журналах?
> Вы же сказали, что там Ваши статьи принимают.
> До встречи, AID.

Честное слово, пора бы оставить всю эту перепалку...
Есть, нет, какая разница?


> ><<Весь автомат действительно обратим, однако, если выделить в нем по некоторому особому признаку некую подсистему, существующую некоторе конечное время, и рассмотреть ее изолированно, то очевидно она будет необратима и недетерминирована>>

Мне трудно скрыть эмоции! Наконец еще один человек понял о чем я толкую!!! Я не знаю случилось ли это под моим влиянием или Вы сами пришли к этому пониманию. Во всяком случае, по опыту общения со многими физиками и математиками я знаю, что понять эту простую вещь не так уж и просто. Я всегда в связи с этим вспоминаю, что говорил Мамардашвили. Он говорил, что понять другого философа можно только, находясь в пределах его мысли. То есть, если Вы сами пришли к тому же, тогда поймете.

> ><<Например, если "сесть" на фронт волны от расплывающегося квадрата и проследить каким законам подчиняется окружающий ячеистый мир. Будут ли в этой системе отсчета происходить интересные устойчивые события?>>

Попробуйте! С алгоритмическим искусством у Вас все в порядке, да к тому же еще и знаете, что хотите получить. Вам и карты в руки! По сути я пытался делать нечто подобное в статье Моделирование физики в условиях неполноты
http://quantmagic.narod.ru/volumes/VOL132004/p3126.pdf
Однако, мой путь был не таким прямым и результат не столь эффектным, как хотелось бы. Вы знаете, что эту статью я обсуждал не так давно с неким «Me», который вдруг исчез так же внезапно, как и появился. Он тоже был из тех, кто проникся идеей физической неполноты и пытался на этой основе получить формализм КМ.




>
> > Уверен, Вы понимаете, что это только иммитация обратимости. Для создания этой иммитации используется необратимое физическое устройство - компьютер.
> > Если вникнуть еще глубже, то тот обратимый результат, который мы видим при работе Вашей программы, имеет место только у нас в голове.

> С этим согласен.
> Наблюдение за автоматом наводит на еще один вопрос. Весь автомат действительно обратим, однако, если выделить в нем по некоторому особому признаку некую подсистему, существующую некоторе конечное время, и рассмотреть ее изолированно, то очевидно она будет необратима и недетерминирована, поскольку она все время подвергается внешмему случайному (с точки зрения наблюдающего только систему) воздействию. Т.е. система и теряет и генерирует информацию.
> Тогда можно ли в обратимом автомате неким простым способом выделять необратимые локальные системы в которых развиваются устойчивые "интересные", не расплювающиеся процессы, подобные событиям в нашем физическом мире?

> Например, если "сесть" на фронт волны от расплывающегося квадрата и проследить каким законам подчиняется окружающий ячеистый мир. Будут ли в этой системе отсчета происходить интересные устойчивые события?

> > Ценность клеточных автоматов я вижу в том, что на их основе можно пытаться строить МОДЕЛИ субквантовой обратимой физики. Может быть даже дискретные космологические модели. В этом направлении сейчас многие работают. Посмотрите статью одного моего знакомого: http://www.keldysh.ru/departments/dpt_17/kurakin/p.doc

> Из приведенной в статье модели видно что из КМ не может быть смоделировано.
> Не получается включить и измерительный экран в эту модель и в то же время сохранить мгновенность локализации частиц с точки зрения измерителя.

Я тоже посмотрел эту статью. Кстати, то, что я написал в отношении синергетики мне кажется черезчур резким. На самом деле я совсем не против этой идеологии. Я только хотел подчеркнуть, что она мне не кажется самодостаточной и что она не представляется логически завершенной.
Относительно модели Куракина-Малинецкого. Там рядом еще несколько статей и рецензия, присланная им из Писем ЖЭТФ. Может быть автор рецензии не все понял в аргументации авторов, но на мой взгляд это лишь свидетельствует о том, что логика статьи весьма сырая. Мне тоже она непонятна. Модель обладает некоторыми свойствами, но непонятно, почему она аналогична КМ. Я думаю, что если рецензент не понял логики, то и читателям ЖЭТФ в большинстве своем она будет весьма туманна. Вероятно, нужно дальше работать над этими моделями. Но кто, кроме авторов могут это сделать лучше других? Вряд ли публикация в ЖЭТФе поможет разобраться. Скорее всего никто просто не обратит внимания.
Нужно это печатать как-то отдельно и искать сообщников в этом деле -- изобретении новых моделей КМ.
Я совершенно согласен, что понятие (не)локальности оставляет чувство неудовлетворенности и изобретать новые подходы -- дело правильное. Требовать сразу релятивистской инвариантности от таких моделей тоже необязательно.


> >
> > >Опять таки под впечатлением запрограммировал на дельфе обратимый автомат:
> > >http://www.anmuha.narod.ru/programki.html

> > Уверен, Вы понимаете, что это только иммитация обратимости. Для создания этой иммитации используется необратимое физическое устройство - компьютер.
> Если вникнуть еще глубже, то тот обратимый результат, который мы видим при работе Вашей программы, имеет место только у нас в голове. Благодаря нашей способности к абстрагированию. То есть мы условно считаем, что система вернулась в исходное состояние, потому, что все триггеры, ячейки памяти и.т.д. вернулись в прежнее ФОРМАЛЬНОЕ состояние. То есть состояние триггера - это СИМВОЛ, который имеет смысл только для моего понимания того, что считать 1 и что считать 0. Реально ни один триггер не может вернуться в исходное ФИЗИЧЕСКОЕ состояние.

Господин Каминский!
Вы столь сильно желаете сделать физику "субъективной", что не замечаете ничего объективного.
Вообще говоря, суть теоретической физики именно в абстрагировании от реальных второстепенных моментов.
Да, реально вернуться нельзя!
Но это и не нужно!
Если мы будем говорить о реальных вещах, то в каждом абзаце теоретической физики мы вынуждены будем писать, что реальная картина несколько отличается от теоретической.
Можете себе представить, что это будет за теорфиз.
Именно поэтому в теорфизе "правят бал" модели.

> Ценность клеточных автоматов я вижу в том, что на их основе можно пытаться строить МОДЕЛИ субквантовой обратимой физики. Может быть даже дискретные космологические модели. В этом направлении сейчас многие работают. Посмотрите статью одного моего знакомого: http://www.keldysh.ru/departments/dpt_17/kurakin/p.doc
>

Ignorant сделал модель, которая конкретно работает, и которая много лучше той модели (из института математики им. Келдыша) на которую Вы даете ссылку.
И это - реально.
И это следует признать!!!

Ignorant - молодец!
Толковый парень!
Пришло вдохновение - взял, и сделал!
И это - реально.

Ozes



> Пришло вдохновение - взял, и сделал!

Как говорил Карлсон "спокойствие только спокойствие".
В этом случае обошлось без вдохновения, автомат вполне попсовый и сделан по популярной статье: http://www.trinitas.ru/imo/rus/doc/0000/001a/00000020.htm.


> > Информация - это строгое математическое описание физической системы, или события, представленное в виде минимизированного набора элементарных ответов на вопрос типа да/нет.
> > Количество таких вопросов-ответов и есть объем информации.
> > Объем информации, которую можно потенциально получить из системы - это энтропия системы.
> Прежде, чем говорить об объеме информации, необходимо определить метрику информационного пространства (то есть, понятие расстояния между двумя точками).
> Сразу хочу заметить, что эта метрика не может быть евклидовой.

"Количество таких вопросов-ответов и есть объем информации" - это в точку. Всякий параметр системы для нас есть физическая величина, как правило имеющая числовое значение. Эти физические величины имеют область допустимых значений, в реальных задачах эта область дискретна и ограничена, т.е. требует конечного количества "да/нет".

Разные числовые значения требуют одинакового количества вопросов "да/нет".

С точки зрения объема информации десять вольт и сто равны. Если мы используем десятиразрядный АЦП, то можем измерить от 0 до 1023 Вольт, каждый раз затрачивая одинаковое время и одинаковое количество бит для передачи информации (десять). После серии измерений мы можем посчитать информационную энтропию, можем хорошо сжать текстовый файл с данными.

Но. Десять суток каждую секунду производим измерение и имеем ноль. А каждое последующее измерение непредсказуемо, мы каждый раз задаем десять вопросов, поскольку в модели задали десять бит на отслеживаемую физическую величину.

Информация субъективна, ее объем для рассматриваемой системы определен моделью и есть константа (до пересмотра модели).

Другой вопрос - физическая информация. Там все по-другому.


> ><<Весь автомат действительно обратим, однако, если выделить в нем по некоторому особому признаку некую подсистему, существующую некоторе конечное время, и рассмотреть ее изолированно, то очевидно она будет необратима и недетерминирована>>

> Мне трудно скрыть эмоции! Наконец еще один человек понял о чем я толкую!!! Я не знаю случилось ли это под моим влиянием или Вы сами пришли к этому пониманию. Во всяком случае, по опыту общения со многими физиками и математиками я знаю, что понять эту простую вещь не так уж и просто. Я всегда в связи с этим вспоминаю, что говорил Мамардашвили. Он говорил, что понять другого философа можно только, находясь в пределах его мысли. То есть, если Вы сами пришли к тому же, тогда поймете.

В целом я вас всегда понимал. Однако, с конкретными примерами субъективной неполноты получается туго. Словосочетание "субъективная неполнота" мне сразу понравилось, но при попытке привести конкретный пример неполноты идея неполноты как бы расплывается в сознании.
Пример с. неполноты в клеточном автомате мне хотелось получить с самого начала. Вся математика с непрерывночтью, иррациональностями и прочим - это сплошной обходной маневр, направленный на получение выводов без наглядной модели. Одно только доказательство от противного чего стоит: мы понимаем, что теорема верна но не понимаем почему она все же верна.
Клеточный автомат - это абсолютно конструктивная и наглядная модель.
Вопрос о возможности такого примера неполноты в клеточном автомате по моему мнению остается открытым. Надо думать.


>
> > Пришло вдохновение - взял, и сделал!

> Как говорил Карлсон "спокойствие только спокойствие".
> В этом случае обошлось без вдохновения, автомат вполне попсовый и сделан по популярной статье: http://www.trinitas.ru/imo/rus/doc/0000/001a/00000020.htm.

Ну и что???
По популярной - это вовсе не значит глупой.
Кстати, ссылка не работает.
Я тоже свои статьи стараюсь писать популярно.
Не знаю, насколько это у меня получается, поскольку меня все время обвиняют в том, что я "не соизмеряю свои знания, со знаниями всех остальных".
Едрена вошь!
Ozes



> В целом я вас всегда понимал. Однако, с конкретными примерами субъективной неполноты получается туго. Словосочетание "субъективная неполнота" мне сразу понравилось, но при попытке привести конкретный пример неполноты идея неполноты как бы расплывается в сознании.

Дорогой Ignorant!
Не следует думать, что я Каминского не понимаю.
Очень даже понимаю.
Ничего личного!
За кружкой пива - прекрасные ребята!!!
Но Я - ЧЕМПИОН ПО МИРОВОМУ УРОВНЮ, и хочу воспитать себе достойную смену!!!
Поэтому - работайте ребята!!!
Я уже и так ЧЕМПИОН!!!
Мне этого достаточно!
Кто следующий???
Я хочу увидеть достойную смену.

> Пример с. неполноты в клеточном автомате мне хотелось получить с самого начала. Вся математика с непрерывночтью, иррациональностями и прочим - это сплошной обходной маневр, направленный на получение выводов без наглядной модели. Одно только доказательство от противного чего стоит: мы понимаем, что теорема верна но не понимаем почему она все же верна.

Ignorant - молодец!
Почти метафизика и метаматематика!!!

> Клеточный автомат - это абсолютно конструктивная и наглядная модель.
> Вопрос о возможности такого примера неполноты в клеточном автомате по моему мнению остается открытым. Надо думать.

Думайте!!!
Кто не дает???

Ozеs

P.S.
Извиниоте, в стельку пьянЁ!



> Другой вопрос - физическая информация. Там все по-другому.

Oй, блин, что жк там по - другнму????

Ozes



> Кстати, ссылка не работает.

Работает, сам проверял:

http://www.trinitas.ru/imo/rus/doc/0000/001a/00000020.htm

Может просто точка под курсор попала или еще чего.

> Я тоже свои статьи стараюсь писать популярно.
> Не знаю, насколько это у меня получается, поскольку меня все время обвиняют в том, что я "не соизмеряю свои знания, со знаниями всех остальных".
> Едрена вошь!
> Ozes

Так оно всегда. Если хочешь разом выразить все что накипело - пишешь прямо все как есть. В результате ни один человек тебя не поймет.
Другой вариант - долго ходить вокруг да около, глупо и нудно обсасывать каждую деталь, пытаясь не наступить никому на больной мозоль, расказать 10% и на этом останавиться. При этом каждую свою концепцию нужно рассматривать с точки зрения общественного мнения и долго извиняться за слишком вольные предположения.
В результате скажут, что это интересно, но поймут только 10% того что хотелось сказать. Мало, а что делать :)


> В результате скажут, что это интересно, но поймут только 10% того что хотелось сказать. Мало, а что делать :)

Дорогой ignorant!
10 процентов - это слшком много.
Поэтому, на эту цифру можете даже не расчитывать.

Ozes


> > Другой вопрос - физическая информация. Там все по-другому.
> Oй, блин, что жк там по - другнму????

И я о том же ...


> > > Другой вопрос - физическая информация. Там все по-другому.
> > Oй, блин, что жк там по - другнму????

> И я о том же ...
>

Ну и почему же по-другому?
Если под физической информацией понимать сумму сведений о системе плюс ее энтропию, то все точно так же.
Энтропия показывает ту потенциально возможную информацию, которая еще не получена из системы.
Таким образом, имеющаяся информация и энтропия системы - вещи субъективные, а их сумма - полная физическая информация, заключенная в системе - объективна и постоянна для данной системы.


>
> > Если мы не имеем информации о системе, то эта система для нас может оцениваться только вероятностными методами. Ее энтропия - это та информация, которая от нас скрыта.
> Можно пожалуйста подробнее? Что значит сокрыта?

Допустим, у Вас имеется некая микросхема постоянной памяти. Вы знаете, что в ней 8 двоичных разрядов, но не знаете их конкретного состояния.
Всего 256 равновероятных комбинаций. Энтропия этого устройства для Вас равна 8.
Информация о содержимом Вам пока недоступна.
Теперь Вы считали содержимое этой микросхемы и точно установили, что в ней записано число 12. Теперь мы с вероятностью 1 знаем состояние этой микросхемы, значит ее энтропия стала равна 0.
Итак, в процессе считывания информации, мы уменьшили энтропию исследуемой системы на 8. И получили 8 бит информации.
Та информация, которая ранее была неизвестна, увеличивала на величину своего объема энтропию системы. Как только мы получили информацию, мы изменили (уменьшили) энтропию стемы.
И до и после считывания сумма информвция+энтропия == const.


> Ну и почему же по-другому?

А это не моя идея, просто юмор у меня такой получерный. Пока я принимаю только одно понятие "информация".

> Если под физической информацией понимать сумму сведений о системе плюс ее энтропию, то все точно так же.

Энтропия есть четко определенная физическая величина, совместно с другими четко определенными величинами (скорость и т.п.) она (ее отражение) может служить информацией для системы (о системе).

> Энтропия показывает ту потенциально возможную информацию, которая еще не получена из системы.
> Таким образом, имеющаяся информация и энтропия системы - вещи субъективные, а их сумма - полная физическая информация, заключенная в системе - объективна и постоянна для данной системы.

Я не представляю в каком виде информация хранится в системе. Т.е. для меня информация субъективна, она может быть записана или передана от одного субъекта к другому.

В системе может храниться только "объективная информация", если это не специализированное устройство хранения информации.

А что это такое - объективная (физическая) информация? Можно ли привести простенький пример?


> Допустим, у Вас имеется некая микросхема постоянной памяти. Вы знаете, что в ней 8 двоичных разрядов, но не знаете их конкретного состояния.
> Всего 256 равновероятных комбинаций. Энтропия этого устройства для Вас равна 8.

Нельзя ли привести конкретный расчет по формуле?

> Информация о содержимом Вам пока недоступна.
> Теперь Вы считали содержимое этой микросхемы и точно установили, что в ней записано число 12. Теперь мы с вероятностью 1 знаем состояние этой микросхемы, значит ее энтропия стала равна 0.

Нельзя ли привести конкретный расчет по формуле?

> Итак, в процессе считывания информации, мы уменьшили энтропию исследуемой системы на 8. И получили 8 бит информации.
> Та информация, которая ранее была неизвестна, увеличивала на величину своего объема энтропию системы. Как только мы получили информацию, мы изменили (уменьшили) энтропию стемы.
> И до и после считывания сумма информвция+энтропия == const.


> > Допустим, у Вас имеется некая микросхема постоянной памяти. Вы знаете, что в ней 8 двоичных разрядов, но не знаете их конкретного состояния.
> > Всего 256 равновероятных комбинаций. Энтропия этого устройства для Вас равна 8.

> Нельзя ли привести конкретный расчет по формуле?

По Шеннону энтропия

H = -SUM(Pi*log(Pi)) где i=1,...N

Имеем N=256; Pi=1/256

H = -SUM((1/256)log(1/256)) = -log(1/256) = log(256) = 8;

> > Теперь Вы считали содержимое этой микросхемы и точно установили, что в ней записано число 12. Теперь мы с вероятностью 1 знаем состояние этой микросхемы, значит ее энтропия стала равна 0.

> Нельзя ли привести конкретный расчет по формуле?

По Шеннону энтропия

H = -SUM(Pi*log(Pi)) где i=1,...N

Имеем N=1; Pi=1

H = -1*log(1) = 0;

Можно поупражняться с любым кол-вом битов, хоть к примеру, с компакт-диском.
Энтропия несчитанного компакт-диска где-то 700*8 Гиг - это и есть его объем в битах. Вот только записать вероятность каждого из его состояний достаточно сложно: Pi = 1/(2^H); Но это и не требуется, ведь формула для равновероятных состояний вырождается в простейшую:

H = log(N); Эту же формулу используют и для определения числа бит, требуемого для записи значения, квантованного на N уровней.

Так что энтропия таки в битах измеряется!


> Я не представляю в каком виде информация хранится в системе. Т.е. для меня информация субъективна, она может быть записана или передана от одного субъекта к другому.

Попробуйте проанализировать процесс передачи информации...

> В системе может храниться только "объективная информация", если это не специализированное устройство хранения информации.

Во первых, всякое устройство, которое имеет больше одного состояния, может быть использовано для хранения информации.
Во-вторых, из всякого устройства, которое имеет больше одного состояния, может быть считана информация о том, в каком именно состоянии это устройство находится.
В третьих, энтропия этого устройства в четком количественном виде показывает, сколько именно бит информации может быть считано из этого устройства.
И, наконец, в четвертых, Вы никакими силами не считаете из устройства больше информации, чем величина энтропии этого устройства до чтения.

Как раз энтропия - это величина субъективная!


> >
> > > Если мы не имеем информации о системе, то эта система для нас может оцениваться только вероятностными методами. Ее энтропия - это та информация, которая от нас скрыта.
> > Можно пожалуйста подробнее? Что значит сокрыта?

> Допустим, у Вас имеется некая микросхема постоянной памяти. Вы знаете, что в ней 8 двоичных разрядов, но не знаете их конкретного состояния.
> Всего 256 равновероятных комбинаций. Энтропия этого устройства для Вас равна 8.
> Информация о содержимом Вам пока недоступна.
> Теперь Вы считали содержимое этой микросхемы и точно установили, что в ней записано число 12. Теперь мы с вероятностью 1 знаем состояние этой микросхемы, значит ее энтропия стала равна 0.
Для кого для нас? А если некто до нас провёл эти расчёты? А если мы всё же ошиблись(расчёты были верными но исходные данные были "зашумлённые")
> Итак, в процессе считывания информации, мы уменьшили энтропию исследуемой системы на 8. И получили 8 бит информации.
Я думаю что считывание информации энтропию оной изменить не может. Потому что я считаю что энтропия связанно с энергетическим состоянием системы - чистая информация же на это состояние влиять не может.
> Та информация, которая ранее была неизвестна, увеличивала на величину своего объема энтропию системы. Как только мы получили информацию, мы изменили (уменьшили) энтропию стемы.
> И до и после считывания сумма информация+энтропия == const.
Не согласен. Дело в том что энтропия объективна а информация, как Вы Сами показали субъективна. Тогда для нескольких наблюдателей имеем несколько констант. Вот если бы Вы говорили про абсолютную истину как меру информации
(-:..., то я быть может смог бы с Вами согласиться. При условии что энтропия замкнутой системы остаётся неизменной.

Вопрос немного в сторону. Имеем колеблющаюся пружину. Как по Вашему ведёт себя энтропия этой пружины в момент сжатия пружины?
С уважением До.


> > > Допустим, у Вас имеется некая микросхема постоянной памяти. Вы знаете, что в ней 8 двоичных разрядов, но не знаете их конкретного состояния.
> По Шеннону энтропия
> H = -SUM(Pi*log(Pi)) где i=1,...N
> Имеем N=256; Pi=1/256
> H = -SUM((1/256)log(1/256)) = -log(1/256) = log(256) = 8;

> > > Теперь Вы считали содержимое этой микросхемы и точно установили, что в ней записано число 12. Теперь мы с вероятностью 1 знаем состояние этой микросхемы, значит ее энтропия стала равна 0.
> По Шеннону энтропия
> H = -SUM(Pi*log(Pi)) где i=1,...N
> Имеем N=1; Pi=1
> H = -1*log(1) = 0;

Странно, что N у Вас для одной и той же микросхемы вдруг получает разные значения. Логику Вашу я понимаю, но ... рассмотрим не постоянную память, а переменную. И считывать будем не однократно, а передадим файл в мегабайт, каждое значение (байт) которого (случайно) равно 12. Я утвердаю, что объем информации мы перекачаем именно мегабайт, поскольку заведомо не знаем содержимое файла, Вы утверждаете, что энтропия сообщения - 0, с чем не спорю.

Второй вариант: передаваемые значения - повторяющиеся последовательности 0-255.

Третий вариант: белый шум (пусть будет шифровка).

> Так что энтропия таки в битах измеряется!

В третьем варианте (по крайней мере) бит мы передали поболее, чем Вы посчитаете энтропию, размерность которой по определению равна размерности вероятности помноженной на размерность логарифма вероятности.


> В третьих, энтропия этого устройства в четком количественном виде показывает, сколько именно бит информации может быть считано из этого устройства.
> И, наконец, в четвертых, Вы никакими силами не считаете из устройства больше информации, чем величина энтропии этого устройства до чтения.

Это не так.

> Как раз энтропия - это величина субъективная!

http://physics.nad.ru/newboard/messages/37002.html


> Странно, что N у Вас для одной и той же микросхемы вдруг получает разные значения. Логику Вашу я понимаю, но ... рассмотрим не постоянную память, а переменную. И считывать будем не однократно, а передадим файл в мегабайт, каждое значение (байт) которого (случайно) равно 12. Я утвердаю, что объем информации мы перекачаем именно мегабайт, поскольку заведомо не знаем содержимое файла, Вы утверждаете, что энтропия сообщения - 0, с чем не спорю.

"Заведомо не знаем" - слишком размытое понятие... Речь идет об априорном распределении вероятности. Если оно равномерное, то имеем именно 1 Мегабайт информации и соответственную (~1миллион) энтропию.
Если же мы заведомо знаем, что мы получим, то это уже не новая для нас информация и энтропия равна 0.

> Второй вариант: передаваемые значения - повторяющиеся последовательности 0-255.

В этом случае мы не знаем только текущее значение, а узнав его, точно определим всю "начинку" такого рода сообщений любой длины. Поэтому информации в таком сообщении всего 1 байт.

> Третий вариант: белый шум (пусть будет шифровка).

Белый шум, как известно, имеет гауссово распределение вероятностей - не равномерное, а колоколообразное вокруг нуля. Поэтому энтропия такого сообщения будет меньше, чем при равномерном распределении. Таким образом, объем передаваемой информации будет тоже меньшим. Такую информацию можно сжать до энтропийного объема кодами переменной длины.
Правда, Вы говорите про шифровку - на выходе шифратора будет скорее всего не белый шум, а равномерное распределение. В таком случае сжать информацию нельзя.

> В третьем варианте (по крайней мере) бит мы передали поболее, чем Вы посчитаете энтропию, размерность которой по определению равна размерности вероятности помноженной на размерность логарифма вероятности.

Вот я и говорю, что раз так, значит переданная информация избыточна и кодирование Хаффманом уменьшит число бит до величины энтропии!


> Не согласен. Дело в том что энтропия объективна а информация, как Вы Сами показали субъективна. Тогда для нескольких наблюдателей имеем несколько констант. Вот если бы Вы говорили про абсолютную истину как меру информации
> (-:..., то я быть может смог бы с Вами согласиться. При условии что энтропия замкнутой системы остаётся неизменной.

Энтропия системы - это ее вероятностная оценка - это следует хотя бы из формулы.
Априорная и апостериорная вероятности - совершенно разные вещи. Поэтому после получения сведений о системе мы уменьшаем ее энтропию, причем ровно на столько - на сколько прибавили себе о ней сведений (информации).
Поэтому энтропия системы - это субъективная величина. Для кого-то она "черный ящик" с равномерным распределением вероятностей, а для другого - полностью детерминирована.
Абсолютна только сумма энтропии и информации о системе, на основе которой эта энтропия посчитана!


Не будем забывать, что речь здесь идет об информационной энтропии.

> "Заведомо не знаем" - слишком размытое понятие... Речь идет об априорном распределении вероятности. Если оно равномерное, то имеем именно 1 Мегабайт информации и соответственную (~1миллион) энтропию.

Энтропия будет равна 8. Просто делим объем информации на объем единицы информации, в данном случае байт - 8 бит.

> > Второй вариант: передаваемые значения - повторяющиеся последовательности 0-255.

Как ни странно, но энтропия тоже равна 8.

> Белый шум, как известно, имеет ...

Можно будет к этому вернуться.

> Вот я и говорю, что раз так, значит переданная информация избыточна и кодирование Хаффманом уменьшит число бит до величины энтропии!

Уменьшит в энтропия/(объем единицы информации) раз. Если провести некоторую аналогию с инертными свойствами тел, то масса-информация, плотность-энтропия.

Попалась под руку ссылка, не самая хорошая, но в этой части толковая.

http://n-t.proc.ru/ri/ch/pi02.htm


В двух местах делил не так как надо. Температура после Чубайса. Но на смысл это не влияет.


> В двух местах делил не так как надо. Температура после Чубайса. Но на смысл это не влияет.

Какую энтропию имеет 1 МБайт свежей информации, при условии равномерного распределения? Сколько различных комбинаций битов может быть в таком сообщении?
Число возможных состояний такой системы трудновообразимо: 2 в степени восемь миллионов!
Так чему же будет равна энтропия? Натуральному логарифму от числа состояний - а именно 8 миллионам.
Так что Вы ошиблись в расчетах ровно В МИЛЛИОН РАЗ!
Нифига себе, ошибочка вышла :-)

Я то только в восемь раз ошибся вначале, ито потому что мегабайт с мегабитом перепутал...

З.Ы.: Или я не так понял Ваше начальное условие? Тогда приведите Ваш расчет...


> Забавная вещь. Рисуем картинку. Получается вроде как аналог физической системы с низкой энтропией.
> Запускаем автомат. Картинка расплывается. Энтропия вроде как растет.

Извините, а как Вы энтропию картинки считали? Почему это у размытой картинки она растет?
Тогда, по-Вашему, "самая размытая в мире картинка" - черный квадрат - должна иметь максимальную энтропию?

Если Вы хотите повысить энтропию картинки - так наложите на нее шум, о котором Вы будете иметь только статистические данные - он то и будет иметь большую энтропию.
Попробуйте восстановить картинку после этого...
А если вы ИЗВЕСТНЫМ АЛГОРИТМОМ изменяете картинку, то результирующая энтропия картинки не изменится!


До сих пор я считал, что аналоговая (неквантованная) величина несет в себе бесконечный объем информации...
Действительно, сколько бит данных может быть передано одним значением напряжения в диапазоне 0 - 5 вольт? Это определяется только разрядностью ЦАП и АЦП на входе и выходе, а также их... точностью.
Но пока я спорил с автором этой темы (:-), окончательно уверовал в то, что энтропия - это и есть мера объема информации.

Но ведь для аналогового сигнала вполне можно подсчитать энтропию, если использовать не сумму вероятностей, а интеграл от плотности вероятности.

Тогда получается интересный момент - в процессе приема аналогового сигнала можно расчитать энтропию сигнала до его приема и после такового.
Достаточно использовать в вычислениях априорную и апостериорную плотность вероятности.
Разность энтропий и даст нам объем информации, который мы приняли.
Интересно, что после приема аналогового сигнала мы по-прежнему можем оценивать его состояние лишь вероятностно! Это вызвано наличием шума, который искажает полезный сигнал и не дает получить полностью детерминированную оценку. Именно этот шум и приведет к "размытию" апостериорного распределения.
Таким образом, зная статистические параметры сигнала и шума, можно точно определить, сколько бит информации мы получили, приняв неквантованное сообщение.

А оставшаяся энтропия покажет, сколько информации мы "пропустили мимо ушей" из за шума :-)

Так значит, исходное аналоговое сообщение все равно имеет конечный информационный объем, ведь его энтропия конечна...

Или интеграл вида: h = - intgr(p(x)*log(p(x)), где p(x) - плотность вероятности случайной величины х, будет уходить в бесконечность?

Какие будут мысли у народа?

Falcon.


> З.Ы.: Или я не так понял Ваше начальное условие? Тогда приведите Ваш расчет...

Имеем том информации - большую книгу.
Информация имеет структуру - слова или отдельные символы, для нас это "сигнал". Сигнал интересен сейчас тем, что содержится в томе информации от одного до безумного количества раз. Частота его появления в томе (в пределе - вероятность) обозначается как Pi. Всего таких сигналов N (т.е. N различных слов или букв). Общий объем информации в томе определяется как

ИНФ = -М*SUM(Pi*log(Pi)) где i=1,...N, М - число сигналов (слов, букв).

Чтобы определить среднее количество информации, приходящееся на один сигнал, т.е. удельную информативность источника, нужно ИНФ разделить на М, тогда мы получим энтропию:

H = -SUM(Pi*log(Pi)) где i=1,...N

Положим, что мы производим серию измерений некоторой физической величины, преобразуя ее в код с помощью восьмиразрядного АЦП. Объем полученной информации при этом может быть мегабайт, и не один. Максимальное значение энтропии - 8 (для белого, равномерного шума).

Как я теперь догадываюсь, Вы всегда рассматривали единичное измерение, т.е. весь CD как один сигнал. Весьма спорный взгляд. Энтропия - статистическое понятие, одиночное измерение не имеет смысла.



> Извините, а как Вы энтропию картинки считали? Почему это у размытой картинки она растет?

Энтропия - это достаточно нечетко определенная величина. Она определяется числом состоний, которые может принимать система, если она удовлетворяет некоторым взятым с потолка условиям упорядоченности (напрмер, целый стакан - разбитый стакан).
В начале у нас есть картинка, которая удовлетворяет неким условиям порядка (стакан цел). Через некоторое время у нас есть хаотичная комбинация точек (стакан разбит).
Обратив развитие мы можем собрать исходную картинку. Точно так же обратив время в физике мы можем к примеру собрать разбитый стакан обратно из осколков.
Однако, это не отменяет нарастания энтропии в физике и в клеточном автомате.

> Тогда, по-Вашему, "самая размытая в мире картинка" - черный квадрат - должна иметь максимальную энтропию?

Он не размытый он черный.
Если говорить о частичках краски, то действительно черный квадрат с хаотично расположившимися частичками краски действительно имеет большую энтропию чем многие другае картины, на которых частички краски располагаются по определенному закону.

> Если Вы хотите повысить энтропию картинки - так наложите на нее шум, о котором Вы будете иметь только статистические данные - он то и будет иметь большую энтропию.

И в этом случае энтропия повысится тоже.

> Попробуйте восстановить картинку после этого...
> А если вы ИЗВЕСТНЫМ АЛГОРИТМОМ изменяете картинку, то результирующая энтропия картинки не изменится!

Не изменится информация о картинке, а энтропия изменится.
Этот известный алгоритм мы можем и не знать. В физике молчаливо предполагается, что алгоритмы мы не знаем.
Если мы считаем, что мы знаем все алгоритмы, и верим в большой взрыв и детерминизм и обратимость в развитии вселенной, то получается следуя подобной логике, что энтропия мира не изменялась с момента большого взрыва и была равна нулю.


> Поэтому энтропия системы - это субъективная величина. Для кого-то она "черный ящик" с равномерным распределением вероятностей, а для другого - полностью детерминирована.

Это как это так???
Как энтропия может быть полностью детерминирована???

Это уже слишком.
Величину энтропии мы знать можем (число), и если информацию обозначить как I (известно), то энтропия будет равна 1 - I.
Но это вовсе не значит, что мы ее детерминировали.

Ozes


> Энтропия - это достаточно нечетко определенная величина. Она определяется числом состоний, которые может принимать система, если она удовлетворяет некоторым взятым с потолка условиям упорядоченности (напрмер, целый стакан - разбитый стакан).

Информационная энтропия - вполне четкая величина, и определяется она для системы, имеющей N состояний с вероятностями нахождения в i-м состоянии Pi строго по формуле Шеннона:

H = - SUM(Pi*log(Pi)) {i=1,..N};

в случае равновероятных состояний формула упрощается:

H = log(N);

Энтропия картинки определяется нашими априорными знаниями о картинке:

в общем случае, когда мы ожидаем получить КАКУЮ УГОДНО картинку, то легко подсчитать ее энтропию:

H = W * H * BPP; где W - ширина картинки в пикселах, H - высота, BPP - цветовое разрешение (бит на пиксел).

Однако, если мы априорно знаем, что на картинке изображен, например, лес, то вероятность появления зеленых точек на ней существенно выше, чем вероятность синих точек, поэтому энтропия картинки в этом случае будет меньше. Если добавить к этому некоторые общие особенности зрительных образов, а также особенности восприятия картинок человеческим глазом, то получим еще более неравномерное распределение вероятностей цветов растра - и еще меньшую энтропию. Так как энтропия - мера объема информации, то это говорит о том, что информация о таких изображениях может быть сжата теоретически до величины энтропии. Именно на этом построен алгоритм сжатия JPEG.

> В начале у нас есть картинка, которая удовлетворяет неким условиям порядка (стакан цел). Через некоторое время у нас есть хаотичная комбинация точек (стакан разбит).

Если мы имеем картинку, и уже посмотрели на нее и запомнили, то ДЛЯ НАС распределение вероятностей состояния картинки стало совсем другим: мы ТОЧНО знаем это состояние. Таким образом, энтропия картинки ПОСЛЕ ПРОСМОТРА равна НУЛЮ, или близка к нему (попробуй-ка абсолютно точно запомнить всю картинку :)
При этом, для человека, который еще не видел этой картинки, ее энтропия во много раз больше.

Другой пример - дорожные знаки. Тут тоже картинки, но мы АПРИОРНО знаем, что дорожный знак может иметь только несколько десятов состояний. Поэтому энтропия дорожного знака ДЛЯ ВОДИТЕЛЯ где-то около 4. А для человека, не знакомого с ПДД энтропия дорожного знака (который он еще не разглядел) намного выше - ведь он не знает, какие вообще состояния может иметь дорожный знак.

Из всего этого следует, что информационная энтропия картинки - вещь сугубо СУБЪЕКТИВНАЯ!

В Вашем случае следует понимать изменение энтропии так:
1) Для человека, владеющего Вашим алгоритмом, энтропия картинки до размытия и после него одинакова и равна нулю. В обоих случаях он ТОЧНО МОЖЕТ ОПРЕДЕЛИТЬ цвет каждой точки исходной картинки.
2) Для человека, видевшего картинку до размытия и не владеющего алгоритмом размытия, энтропия картинки равна нулю, а энтропия размытой картинки - больше нуля. Размер этой энтропии - для него и есть объем информации, заключенный в алгоритме размытия.
3) Для человека, не видевшего ни исходной, ни размытой картинок, энтропия обеих картинок велика и они близки друг к другу.

> > А если вы ИЗВЕСТНЫМ АЛГОРИТМОМ изменяете картинку, то результирующая энтропия картинки не изменится!
> Не изменится информация о картинке, а энтропия изменится.

Если алгоритм обратим, то каждому состоянию системы до обработки соответствует одно единственное состояние после обработки!
Таким образом, и до, и после такой обработки число состояний N и вероятности отдельных состояний Pi останутся одинаковыми. Посмотрев на вышеприведенную формулу можно однозначно утверждать:
ЭНТРОПИЯ ПРИ ОБРАТИМОЙ ОБРАБОТКЕ НЕ ИЗМЕНЯЕТСЯ!

> Этот известный алгоритм мы можем и не знать.

Тогда ДЛЯ НАС энтропия увеличится на величину объема информации, заключенного в алгоритме.

> В физике молчаливо предполагается, что алгоритмы мы не знаем.

Ну зачем же так круто! Кое какие алгоритмы (законы физики) мы все же знаем с высокой точностью, поэтому в частности,
априорная плотность вероятности длительности завтрашних суток ближе к дельта-функции, чем к равномерному распределению :)

> Если мы считаем, что мы знаем все алгоритмы, и верим в большой взрыв и детерминизм и обратимость в развитии вселенной, то получается следуя подобной логике, что энтропия мира не изменялась с момента большого взрыва и была равна нулю.

Как я уже доказывал, энтропия субъективна.

Поэтому, энтропия мира равна нулю разве что для ГБ.
Для нас же энтропия мира тем меньше, и настолько меньше, чем больше и насколько больше мы о нем узнаём.

H + I = Const Вот единственный закон сохранения информации!


> > Поэтому энтропия системы - это субъективная величина. Для кого-то она "черный ящик" с равномерным распределением вероятностей, а для другого - полностью детерминирована.

> Это как это так???
> Как энтропия может быть полностью детерминирована???
> Это уже слишком.

Не придирайтесь к словам! Думал, что все поймут правильно:

Поэтому энтропия системы - это субъективная величина. Для кого-то она (СИСТЕМА) "черный ящик" с равномерным распределением вероятностей, а для другого - СИСТЕМА полностью детерминирована и ее энтропия равна 0.


> Имеем том информации - большую книгу.
> Информация имеет структуру - слова или отдельные символы, для нас это "сигнал". Сигнал интересен сейчас тем, что содержится в томе информации от одного до безумного количества раз. Частота его появления в томе (в пределе - вероятность) обозначается как Pi. Всего таких сигналов N (т.е. N различных слов или букв). Общий объем информации в томе определяется как

> ИНФ = -М*SUM(Pi*log(Pi)) где i=1,...N, М - число сигналов (слов, букв).

> Чтобы определить среднее количество информации, приходящееся на один сигнал, т.е. удельную информативность источника, нужно ИНФ разделить на М, тогда мы получим энтропию:

> H = -SUM(Pi*log(Pi)) где i=1,...N

Совершенно согласен с Вами - таким образом Вы определили энтропию сигнала

Чтобы узнать энтропию сообщения, нужно энтропию сигнала умножить на число сигналов в сообщении.
Правда, обязательна оговорка: Ваша формула подсчета объема информации правильно работает только в случае отсутствия корреляции между следующими друг за другом сигналами! Поэтому, в Вашем примере, если за сигнал принять например один печатный знак, объем информации, содержащийся в книге, окажется раз в десять завышен. Это легко проверить, сжав электронную версию книги ZIP-ом.

Естественно, раз уж мы говорим про сообщение, то я и подразумевал энтропию сообщения...


> Положим, что мы производим серию измерений некоторой физической величины, преобразуя ее в код с помощью восьмиразрядного АЦП. Объем полученной информации при этом может быть мегабайт, и не один. Максимальное значение энтропии - 8 (для белого, равномерного шума).

Энтропии сигнала, а не энтропии серии измерений!

> Как я теперь догадываюсь, Вы всегда рассматривали единичное измерение, т.е. весь CD как один сигнал. Весьма спорный взгляд.

Что байт, что мегабайт - это набор из битов. Нет никакой разницы в том, последовательно мы считываем информацию, или параллельно. Энтропия CD от этого не изменяется.
Если уж на то пошло, то физически с СД считывается информация побитно. А из дисковода в компьютер передается параллельно по 32 бита. Как видите, сути считывания это не меняет. Если бы кто-то не поленился запаять например 8 миллионов проводов и сделать соответствующий регистр, то вполне можно было бы одним махом прочитать мегабайт информации, и рассматривать его, как один сигнал.

Правда, в соответствии с Вашей формулой, объем информации на CD будет получаться разным, в зависимости от того, сколько бит использовать под один символ. Но причина только в формуле - она приближенная.
Точный же объем информации - и энтропию сообщения можно получить толко рассматривая все сообщение, как единый сигнал.

Например, задав вопрос "Куда теперь повернуть?" Вы получите ответ "Налево", или "Направо".
Легко заметить, что по Вашей формуле, объем информации ответа будет расчитан следующим образом:
Число символов в сообщении - 7, набор символов - 8, вероятность каждого символа примерно 1/8.
Инф = 7 * 3 = 21 бит.
Энтропия сигнала = 3.

Однако, при моем подходе, легко видно, что объем полученной информации, как и энтропия сообщения, равен 1.
H = log(N) = log(2) = 1.

И такая оценка является правильной. Если бы мне требовалось разработать прибор, указывающий водителю направление поворота, я бы смог ограничиться именно одним информационным битом.

> Энтропия - статистическое понятие, одиночное измерение не имеет смысла.

Неправда Ваша! При одиночных измерениях априорное знание статистики измеряемой величины ничуть не менее важно. Например, зная энтропию сообщения, можно точно сказать, какой объем памяти Вам стоит подготовить для хранения одиночного сообщения, или результата одиночного измерения.
И это, пожалуй, самое важное и наиболее часто встречающееся техническое приложение энтропии.


> > Энтропия - это достаточно нечетко определенная величина. Она определяется числом состоний, которые может принимать система, если она удовлетворяет некоторым взятым с потолка условиям упорядоченности (напрмер, целый стакан - разбитый стакан).

> Информационная энтропия - вполне четкая величина, и определяется она для системы, имеющей N состояний с вероятностями нахождения в i-м состоянии Pi строго по формуле Шеннона:

Я говорил об энтропии, как она понимается в физике. С информационной энтропией Шенона все понятно, потому как Шенон сам все объяснил :)




> Я говорил об энтропии, как она понимается в физике. С информационной энтропией Шенона все понятно, потому как Шенон сам все объяснил :)

ЭНТРОПИЯ


> > ИНФ = -М*SUM(Pi*log(Pi)) где i=1,...N, М - число сигналов (слов, букв).
> > Чтобы определить среднее количество информации, приходящееся на один сигнал, т.е. удельную информативность источника, нужно ИНФ разделить на М, тогда мы получим энтропию:
> > H = -SUM(Pi*log(Pi)) где i=1,...N

> Совершенно согласен с Вами - таким образом Вы определили энтропию сигнала
> Естественно, раз уж мы говорим про сообщение, то я и подразумевал энтропию сообщения...

... И она равна нулю.

> > Энтропия - статистическое понятие, одиночное измерение не имеет смысла.
> Неправда Ваша! При одиночных измерениях априорное знание статистики измеряемой величины ничуть не менее важно.

При одиночных измерениях априорное знание статистики измеряемой величины совершенно бесполезно, следует всегда ожидать максимального значения.
Откуда Вы взяли "априорные" вероятности?


> > > Поэтому энтропия системы - это субъективная величина. Для кого-то она "черный ящик" с равномерным распределением вероятностей, а для другого - полностью детерминирована.

> > Это как это так???
> > Как энтропия может быть полностью детерминирована???
> > Это уже слишком.

> Не придирайтесь к словам! Думал, что все поймут правильно:
>
> Поэтому энтропия системы - это субъективная величина. Для кого-то она (СИСТЕМА) "черный ящик" с равномерным распределением вероятностей, а для другого - СИСТЕМА полностью детерминирована и ее энтропия равна 0.
>

Я к словам и не придираюсь.
Я - по сути.
Не следует выдумывать глупости.
Если чего-то кто-то не понимает, то следует понять, а не представлять все это в "субъективном" виде.
Понимаете, о чем я говрю, или трудновато?

Ozes


> Не следует выдумывать глупости.
> Если чего-то кто-то не понимает, то следует понять, а не представлять все это в "субъективном" виде.

Можно надеяться, что Вы этот совет примените к себе:)?


>
> > Я говорил об энтропии, как она понимается в физике. С информационной энтропией Шенона все понятно, потому как Шенон сам все объяснил :)

> ЭНТРОПИЯ

Уважаемый Falcon!
Вам вредно читать Шенона!
Без Шенона у Вас получается гораздо лучше.
Шенон сам не очень врубается в суть вопроса.
А после Вашей интерпретации Шенона получается вообще полный бред.

Ozes


> > Не следует выдумывать глупости.
> > Если чего-то кто-то не понимает, то следует понять, а не представлять все это в "субъективном" виде.

> Можно надеяться, что Вы этот совет примените к себе:)?

Само собой!

Ozes


> Уважаемый Falcon!
> Вам вредно читать Шенона!
> Без Шенона у Вас получается гораздо лучше.
> Шенон сам не очень врубается в суть вопроса.
> А после Вашей интерпретации Шенона получается вообще полный бред.

А по существу? Имеете что возразить?
В чем конкретно Вы видите бред?


> Я - по сути.
> Если чего-то кто-то не понимает, то следует понять, а не представлять все это в "субъективном" виде.

Уважаемый Ozes: Вы, прежде чем ответить, мои сообщения читаете, или как?
Я приводил достаточно четкие доказательства своих высказываний. Либо найдите в них конкретные ошибки, и укажите на них, либо приведите хотя бы свои доводы, если не согласны...

Вы не согласны с тем, что априорная и апостериорная функции распределения вероятностей отличаются друг от друга? Или с формулой для вычисления энтропии?

Интересная у Вас позиция: типа, Вы-то давно уже все поняли во всех тонкостях, и только изображаете такого беспристрастного наблюдателя, который лишь изредка отпускает ободряющие замечания вроде "хватит молоть чушь"...
Поделились бы своими великими знаниями, что ли.


> > Совершенно согласен с Вами - таким образом Вы определили энтропию сигнала
> > Естественно, раз уж мы говорим про сообщение, то я и подразумевал энтропию сообщения...

> ... И она равна нулю.

???
Энтропия суммы статистически независимых сигналов равна сумме их энтропий. Так как это величина всегда положительная, то нуль суммы возможен только при нулевых слагаемых.

> При одиночных измерениях априорное знание статистики измеряемой величины совершенно бесполезно, следует всегда ожидать максимального значения.

Удивительные Вы вещи говорите... Чаще всего максимальное значение случайной величины стремится к бесконечности при одновременном устремлении вероятности такого значения к нулю. Например, при приеме по радиоканалу импульсного сигнала. Поэтому, обычно выбирают не максимальное значение, а такой диапазон, в который сигнал попадает с заданной вероятностью.

Пусть мы хотим измерить продолжительность завтрашних суток. Как бы Вы поступили, если бы перед Вами стояла задача минимизации объема памяти для хранения одного-единственного измерения и максимальной точности его проведения?
Теоретически существует ненулевая, хоть и очень маленькая вероятность того, что завтрашние сутки из-за случайных флюктуаций составят 25 часов. Но мы знаем, что функция априорной плотности вероятности в соответствии с теоремой Ляпунова подчиняется нормальному распределению с очень маленькой дисперсией. Поэтому никому бы не пришло в голову раздвигать диапазон до нескольких часов от среднего значения.

> Откуда Вы взяли "априорные" вероятности?

При построении систем передачи информации, или систем обнаружения сигнала на фоне помех вычисление априорных плотностей вероятности и выбор диапазона, в который сигнал попадает с заданной вероятностью, это первоочередная задача.
В системах, которые занимаются приемом и хранением информации важна и форма функции распределения, так как она определит требуемые объемы памяти.

Falcon.


> > > Естественно, раз уж мы говорим про сообщение, то я и подразумевал энтропию сообщения...
> > ... И она равна нулю.
> ???

Только Вашими молитвами - сообщение принято, неопределенности нет http://physics.nad.ru/newboard/messages/36993.html, и это по Вашей трактовке отностится как к отдельному сигналу, так и к сообщению в целом.

> > Откуда Вы взяли "априорные" вероятности?
> При построении систем передачи информации, или систем обнаружения сигнала на фоне помех вычисление априорных плотностей вероятности и выбор диапазона, в который сигнал попадает с заданной вероятностью, это первоочередная задача.

1. Передача текстовой информации. Первый раз передаем роман на русском языке, второй раз передаем роман на китайском. Или наоборот, заведомо не знаем. Какие могут быть априорные вероятности? Только обрабатывая принятую информацию мы можем посчитать вероятность каждого из сигналов, и уже на основе такой статистики проектировать кодеры-декодеры.

2. Системы обнаружения. Знаем априорное распределение шума. Измеряем ток грозового разряда, о котором мало знаем, собственно его и изучаем. "Априорно" знаем, что гроза бывает два раза в месяц, а в наш прибор разряд попадает раз в год. Вероятность разряда более 1000 Ампер не выше 1/(365*24*60*60) при секундном разряде. Вы будете учитывать эту вероятность при выборе диапазона измерений?

> В системах, которые занимаются приемом и хранением информации важна и форма функции распределения, так как она определит требуемые объемы памяти.

Ну уж форма функции распределения интересует только разработчиков архиваторов.



> > Я - по сути.
> > Если чего-то кто-то не понимает, то следует понять, а не представлять все это в "субъективном" виде.

> Уважаемый Ozes: Вы, прежде чем ответить, мои сообщения читаете, или как?

Ваши сообщения я, разумеется, читаю.
Причем, читаю внимательнее, чем Вы их пишите.

> Я приводил достаточно четкие доказательства своих высказываний. Либо найдите в них конкретные ошибки, и укажите на них, либо приведите хотя бы свои доводы, если не согласны...

Только не надо о доказательствах.
В физике доказательства не нужны (даже вредны).
В физике следует ДОГОВАРИВАТЬСЯ.
А вот с этим у Вас - "напряженка".
Отсюда - и ошибки.
Если я возражаю, то следует искать пути согласия.
Ведь я не возражаю просто так - из вредности.

> Вы не согласны с тем, что априорная и апостериорная функции распределения вероятностей отличаются друг от друга? Или с формулой для вычисления энтропии?

Что касается функции распределения, то я уже высказал Вам свои замечания.
Отсюда есть лишь 2 пути - либо Вы мне ее жестко строите, либо отказываетесь от нее.
Что касается энтропии, то я согласен с Вашим определением информации.
Но определять ее через вероятность не имеет смысла.
Какие-то числовые оценки возможны (как у Шенона, или у Вас, но не более того).

> Интересная у Вас позиция: типа, Вы-то давно уже все поняли во всех тонкостях, и только изображаете такого беспристрастного наблюдателя, который лишь изредка отпускает ободряющие замечания вроде "хватит молоть чушь"...

Ну и что???
Может быть кое-что и понял (а может и нет)!.
Но далеко не все.

> Поделились бы своими великими знаниями, что ли.

Я уже поделился.
И на моем сайте, и на форуме по математике этот вопрос уже давно рассматривается (смотрите ветку "Обобщение теоремы Ферма").
Я же не виноват, что Вы не читаете.

Ozes


> > > Откуда Вы взяли "априорные" вероятности?
> > При построении систем передачи информации, или систем обнаружения сигнала на фоне помех вычисление априорных плотностей вероятности и выбор диапазона, в который сигнал попадает с заданной вероятностью, это первоочередная задача.

> 1. Передача текстовой информации. Первый раз передаем роман на русском языке, второй раз передаем роман на китайском. Или наоборот, заведомо не знаем. Какие могут быть априорные вероятности? Только обрабатывая принятую информацию мы можем посчитать вероятность каждого из сигналов, и уже на основе такой статистики проектировать кодеры-декодеры.

Если не знаем, на каком языке, то априорное распределение все равно неравномерное. Например, вряд ли в каком-нибудь языке встретится слово, длинной в 100 символов:)
Если язык заведомо известен - в силу вступают не только слова, но и словосочетания и т.д.
Например, если я напишу текст "ЗАФТРО БУДИТ ФТОРНЕК", думаю, Вы поймете, что я сказал. Значит, даже искаженная информация будет Вами принята без потерь. Именно этот факт в данном случае говорит об ее избыточности, а априорно настроенный на русский язык "фильтр" позволяет правильно ее обработать.

> 2. Системы обнаружения. Знаем априорное распределение шума. Измеряем ток грозового разряда, о котором мало знаем, собственно его и изучаем. "Априорно" знаем, что гроза бывает два раза в месяц, а в наш прибор разряд попадает раз в год. Вероятность разряда более 1000 Ампер не выше 1/(365*24*60*60) при секундном разряде. Вы будете учитывать эту вероятность при выборе диапазона измерений?

Что-то Вы все в одну кучу:)
- Разрабатываем приемный тракт для сотового телефона. На какой максимальный ток будем расчитывать, зная Вашу вероятность попадания его в грозу? Неужто тысячи ампер? А ведь это далеко не самое большое значение из теоретически возможных :)
- Разрабатываем измеритель тока грозового разряда. Должен ли он будет измерять токи в микроамперы, или выберем диапазон и разрешающую способность в соответствии с априорным знанием среднестатистического тока разряда молнии?

> > В системах, которые занимаются приемом и хранением информации важна и форма функции распределения, так как она определит требуемые объемы памяти.
> Ну уж форма функции распределения интересует только разработчиков архиваторов.

Да уж... Похоже Вы не специалист в этих областях.


> Если не знаем, на каком языке, то априорное распределение все равно неравномерное. Например, вряд ли в каком-нибудь языке встретится слово, длинной в 100 символов:)

Априорное=неравномерное? Или априорность предполагает точное (обоснованное) знание вероятностей? До сих пор элементом сообщения выступал байт, вдруг стало слово. Что-то Вы все в одну кучу:)

> Что-то Вы все в одну кучу:)
> - Разрабатываем измеритель тока грозового разряда. Должен ли он будет измерять токи в микроамперы, или выберем диапазон и разрешающую способность в соответствии с априорным знанием среднестатистического тока разряда молнии?

Что-то Вы все в одну кучу - выбор, конечно, из диапазона возможных значений тока разряда, только вот вероятности Pi из формулы Шеннона вычисляются по статистике потока информации.

> > > В системах, которые занимаются приемом и хранением информации важна и форма функции распределения, так как она определит требуемые объемы памяти.

Ну уж форма функции распределения интересует только разработчиков архиваторов, поскольку дает возможность оптимизировать сжатие статических файлов. Есть вероятности появления значения сигнала в потоке информации, и есть вероятности значений сигнала при наступлении события. И штуки это разные.

> Да уж... Похоже Вы не специалист в этих областях.

:)


> > Если не знаем, на каком языке, то априорное распределение все равно неравномерное. Например, вряд ли в каком-нибудь языке встретится слово, длинной в 100 символов:)

> Априорное=неравномерное? Или априорность предполагает точное (обоснованное) знание вероятностей? До сих пор элементом сообщения выступал байт, вдруг стало слово. Что-то Вы все в одну кучу:)

Вообще то я пытаюсь Вам доказать, что элементом сообщения выступает БИТ, и если правильно подсчитать энтропию сообщения по формуле Шеннона, то ее величина и будет обределять количество информации, содержащееся в сообщении.
Кстати, в любом учебнике по теории вероятности Вы можете найти формулу Шеннона, по которой вычисляется I - количество информации.

Априорное распределение может быть получено разными путями: эмпирически - анализируя большое количество сообщений, или выведено математически, используя законы ТВ.

Пусть, как Вы предлагаете, элементом сообщения выступает байт. Пусть в сообщении передается текст на русском языке. Тогда априорное распределение вероятностей различных комбинаций битов в байте окажется весьма неравномерным:
вероятность появления букв латинского алфавита, в частности, окажется равной нулю. Кроме того, различны вероятности появления разных русских букв и знаков препинания. Таким образом, если подсчитать энтропию одного символа по формуле Шеннона, получим значение около 6, а не 8.
Таким образом, каждый байт такого сообщения несет в себе не 8, а всего шесть информационных бит. Видите, априорное знание распределения вероятности, даже весьма поверхностное, позволило нам уменьшить объем полезной информации на целых 25%.
Если же рассматривать в виде символа не байт, а целое слово языка, то в силу вступают условные вероятности прихода последовательностей букв, которые приведут к тому, что результирующий объем информации сократится в десятки раз.
Если же перейти от слов к осмысленным предложениям - получим еще меньшие объемы информации. Именно так работает человеческий мозг при чтении книги, поэтому мы и можем запомнить содержание книг.

Вообще то я не понимаю сути нашего с Вами спора: у меня создается впечатление, что Вы прекрасно понимаете, о чем я Вам толкую...
Если Вы с чем-то конкретным не согласны, так скажите, с чем же именно?


> Если Вы с чем-то конкретным не согласны, так скажите, с чем же именно?

Вы упорно возвращаетесь к статической информации, которую можно не спеша обрабатывать (сжимать, урезать). Я упорно пытаюсь перевести разговор на информацию динамическую (отражение физических величин), которая появляется при измерении в реальном времени. Вы согласны, что это понятия связаны, но все же разные?


> > Если Вы с чем-то конкретным не согласны, так скажите, с чем же именно?
> Вы упорно возвращаетесь к статической информации, которую можно не спеша обрабатывать (сжимать, урезать). Я упорно пытаюсь перевести разговор на информацию динамическую (отражение физических величин), которая появляется при измерении в реальном времени. Вы согласны, что это понятия связаны, но все же разные?

Да, согласен.

Пусть динамическая информация - информация о мгновенном состоянии системы.
Для того, чтобы ее как-то оценить, передать, и т.п. нужно оценить ее объем...
Как это сделать?
Я утверждаю, что этот объем равен
I = - SUM(P(i)*log(P(i))) {i=1,...N}, где N-число возможных состояний системы, а P(i) - вероятность нахождения системы в i-м состоянии.

Вы с этим согласны?


> Пусть динамическая информация - информация о мгновенном состоянии системы.

Еще можно сказать: необработанная или исходная информация.

> Для того, чтобы ее как-то оценить, передать, и т.п. нужно оценить ее объем...
> Как это сделать?
> Я утверждаю, что этот объем равен
> I = - SUM(P(i)*log(P(i))) {i=1,...N}, где N-число возможных состояний системы, а P(i) - вероятность нахождения системы в i-м состоянии.
> Вы с этим согласны?

Да, при этом все вероятности следует считать равными. Именно при одиночном измерении. Это удивительно на первый взгляд, но не торопитесь возражать. Откуда мы получаем вероятности P(i)? Из уже принятого массива данных. Что мы будем измерять? Новое и непредсказуемое. Приняли текст на китайском языке, ждем новое сообщение. Кто Вам сказал, что дальше не будет текст на арабском? Рассмотрим сейсмограмму за год, пусть сигма будет 1 см по диаграме. Какова вероятность землятресения сегодня после обеда? Эта вероятность явным образом не зависит от предыдущего года спокойствия, она зависит от некоторых скрытых параметров.


> > Я утверждаю, что этот объем равен
> > I = - SUM(P(i)*log(P(i))) {i=1,...N}, где N-число возможных состояний системы, а P(i) - вероятность нахождения системы в i-м состоянии.
> > Вы с этим согласны?

> Да, при этом все вероятности следует считать равными. Именно при одиночном измерении. Это удивительно на первый взгляд, но не торопитесь возражать. Откуда мы получаем вероятности P(i)? Из уже принятого массива данных. Что мы будем измерять? Новое и непредсказуемое. Приняли текст на китайском языке, ждем новое сообщение. Кто Вам сказал, что дальше не будет текст на арабском? Рассмотрим сейсмограмму за год, пусть сигма будет 1 см по диаграме. Какова вероятность землятресения сегодня после обеда? Эта вероятность явным образом не зависит от предыдущего года спокойствия, она зависит от некоторых скрытых параметров.

А я, пожалуй, соглашусь с Вами. Если мы знаем распределение вероятностей - это некая дополнительная информация о системе. Поэтому посчитанный по формуле объем будет меньше. Полное априорное незнание (равномерное распределение) - это полное отсутствие информации о системе до приема сообщения.
Отсюда напрашивается интересный вывод: если нам известно изначальное распределение, можно вычислить объем этой априорной информации, как разницу информационного объема при равномерном распределении и при известном распределении:

Iapr = log(N) + SUM((P(i)*log(P(i))) {i=1,...N}, где N-число возможных состояний системы, а P(i) - априорная вероятность нахождения системы в i-м состоянии.

Таким образом получается, что мы можем вычислить количественно объем наших знаний о системе...

Как Вам это понравится?

P.S.: Правда, получить распределение вероятностей можно не только статистическим анализом ранее полученной информации. Так, например, если мы знаем, что состояние системы определяется воздействием большого количества независимых случайных факторов, то по теореме Ляпунова, будем иметь распределение не равномерное, а стремящееся к нормальному.
Но знание законов ТВ - тоже дополнительная информация :)


> > Так что Вы правы, видимо, расположившись поперек вектора ускорения ("лежа"), пожалуй, можно будет перетерпеть минутку под ускорением 8-10g.

> Кажется Снеговик догадался заглянуть в свою настольную книгу - медицинскую энциклопедию.

А Вам можно поставить еще один диагноз: очень болезненное самолюбие.
Стоит кому его задеть - будете долго потом кусаться. По поводу и без повода.
Только зубы-то уже подстёрлись...?


> P.S.: Правда, получить распределение вероятностей можно не только статистическим анализом ранее полученной информации. Так, например, если мы знаем, что состояние системы определяется воздействием большого количества независимых случайных факторов, то по теореме Ляпунова, будем иметь распределение не равномерное, а стремящееся к нормальному.
> Но знание законов ТВ - тоже дополнительная информация :)

Это при передаче текстовых сообщений большое количество независимых случайных факторов?

> Таким образом получается, что мы можем вычислить количественно объем наших знаний о системе...

Давайте рассмотрим броунвское движение L частиц, координаты (скорости) будем измерять прибором с выходным АЦП в 32 бита. При измерениях каждую миллисекунду получим поток информации в 32*L килобит в секунду.

1. Вы согласны, что именно столько информации мы получаем?
2. Вы согласны, что только используя дополнительные источники информации (алгоритмы и описания источников) мы можем ПРЕОБРАЗОВАТЬ информацию, т.е. из одного объема информации получить иной объем ИНОЙ информации?
3. Вы согласны, что зазипованную (как правило с меньшим объемом) информацию при использованиии необходимо восстановить, в том числе и восстановить объем. Или вы читаете тексты прямо из ZIP-формата?

Я согласен, что формула Шеннона полезна в жизни.
Я не уверен, что формула Шеннона напрямую поможет в деле "подсчета физической информации".

ЗЫ/PS
При броуноском движении мы рассматриваем НЕЗАВИСИМЫЕ параметры (координаты, скорости), при переходе к рассмотрению молекулярного движения мы будем рассматривать взаимосвязаные параметры. Задачи это разные. Второй вариант нам, как я полагаю и интересен.



> > ...получить распределение вероятностей можно не только статистическим анализом ранее полученной информации. Так, например, если мы знаем, что состояние системы определяется воздействием большого количества независимых случайных факторов, то по теореме Ляпунова, будем иметь распределение не равномерное, а стремящееся к нормальному.
> Это при передаче текстовых сообщений большое количество независимых случайных факторов?

Я же сказал - "например"!
Вы все время уходите от общего к частностям, а я пытаюсь рассматривать сперва общее, а уж потом, определив общие закономерности, переходить к частностям.
Конечно, при образовании текстов центральная предельная теорема вряд-ли работает, зато в большинстве физических систем...

> Давайте рассмотрим броунвское движение L частиц, координаты (скорости) будем измерять прибором с выходным АЦП в 32 бита. При измерениях каждую миллисекунду получим поток информации в 32*L килобит в секунду.

Для создания такого прибора Вам необходимо кроме разрядности АЦП выбрать его диапазон, не так ли? Это для получения максимальной точности. Иногда для повышения точности вводится еще и нелинейность преобразования.
Вот тут то и поможет априорное знание статистики: броуновское движение как раз и подчиняется нормальному закону распределения скоростей. Исходя из этого и зная (хотя бы очень приблизительно) дисперсию скоростей можно померить скорости частиц.

Если Вы не будете этого делать, то на какой диапазон скоростей поставите АЦП?
По-Вашему нужно ожидать ЛЮБЫЕ скорости от 0 до 3*10^8 м/с? Но тогда, скорее всего, Ваш АЦП будет на выходе всегда иметь 0.

> 1. Вы согласны, что именно столько информации мы получаем?

Именно столько, насколько правильно поставим опыт.

> 2. Вы согласны, что только используя дополнительные источники информации (алгоритмы и описания источников) мы можем ПРЕОБРАЗОВАТЬ информацию, т.е. из одного объема информации получить иной объем ИНОЙ информации?

Да, конечно. Я выше показал Вам, что в данном случае без этой дополнительной информации мы вообще не получим никакой информации.

> 3. Вы согласны, что зазипованную (как правило с меньшим объемом) информацию при использованиии необходимо восстановить, в том числе и восстановить объем. Или вы читаете тексты прямо из ZIP-формата?

Это вопрос философский. Смотря для чего ее использовать. Мозг все равно перерабатывает информацию, причем, как подтверждают многочисленные физиологические эксперименты, в мозгу информация сжимается до энтропийных объемов - вспомните логарифмический закон реакции на воздействие.

> При броуноском движении мы рассматриваем НЕЗАВИСИМЫЕ параметры (координаты, скорости), при переходе к рассмотрению молекулярного движения мы будем рассматривать взаимосвязаные параметры. Задачи это разные. Второй вариант нам, как я полагаю и интересен.

В теории вероятности основное внимание и уделяется тому, как в случае взаимосвязанных параметров определить их вероятностные характеристики.



> > Это при передаче текстовых сообщений большое количество независимых случайных факторов?
> Я же сказал - "например"!
> Вы все время уходите от общего к частностям, а я пытаюсь рассматривать сперва общее, а уж потом, определив общие закономерности, переходить к частностям.

Ухожу, и ухожу преднамеренно. Как можно рассмативать общее, не определившись для начала с фундаментом - в данном случае с понятием информации.

> Для создания такого прибора Вам необходимо кроме разрядности АЦП ...
> Вот тут то и поможет априорное знание статистики: ...

Это именно потому и не обсуждается, что очевидно.

> > 1. Вы согласны, что именно столько информации мы получаем?
> Именно столько, насколько правильно поставим опыт.

Даже при неправильном выборе мы получим именно заявленное количество информации. Постоянный 0 в старших разрядах является очень важной частью информации. Без этого нуля Вам нечего будет обрабатывать.

> Или вы читаете тексты прямо из ZIP-формата?
> Это вопрос философский. Смотря для чего ее использовать. Мозг все равно перерабатывает информацию, причем, как подтверждают многочисленные физиологические эксперименты, в мозгу информация сжимается до энтропийных объемов - вспомните логарифмический закон реакции на воздействие.

Знаю "логарифмический закон реакции". А вопрос именно в том, что на входе алгоритма обработки в общем случае должна быть восстановленная информация. И при любом статистическом распределении каждый параметр должен быть представлен "во всю ширину".

Забудьте на время Шеннона, его энтропия вторична, первична просто информация. Вспомните http://physics.nad.ru/newboard/messages/36849.html, Вы и сейчас будете утверждать, что
> P = -SUM{Pi*log(Pi) {i=1,...N}
> - это минимальный объем информации в битах, который требуется для описания состояния этой системы.
> Для полностью детерминированной системы результат будет нулевым.
... для полностью детерминированной системы не требуется ни одного бита информации, чтобы о ней все знать?



> > Для полностью детерминированной системы результат будет нулевым.
> ... для полностью детерминированной системы не требуется ни одного бита информации, чтобы о ней все знать?

Полностью детерминированная система для нас - это система, о которой мы все знаем априорно. Никакое сообщение о ее состоянии не содержит ДЛЯ НАС никакой НОВОЙ информации. Иными словами, любую информацию о ее состоянии можно сжать до нуля без потерь. Разве не так?



> Полностью детерминированная система для нас - это система, о которой мы все знаем априорно. Никакое сообщение о ее состоянии не содержит ДЛЯ НАС никакой НОВОЙ информации. Иными словами, любую информацию о ее состоянии можно сжать до нуля без потерь. Разве не так?

Разделение информации на старую и новую? Можно. Можно и на важную и не важную. А просто информация о системе - такое можно себе представить? И эта информация, как я себе представляю, может иметь количественную характеристику - объем (в битах). И не поверю, что нулевой.

Но даже не это главное. Информация о системе есть функция времени. Отслеживаем L частиц, 3*L степеней свободы по 32 бита. 3*L*32 - объем потока информации. А сколько раз в секунду мы его фиксируем - второй (важный, конечно) вопрос.


> > Полностью детерминированная система для нас - это система, о которой мы все знаем априорно. Никакое сообщение о ее состоянии не содержит ДЛЯ НАС никакой НОВОЙ информации. Иными словами, любую информацию о ее состоянии можно сжать до нуля без потерь. Разве не так?

> Разделение информации на старую и новую? Можно. Можно и на важную и не важную. А просто информация о системе - такое можно себе представить? И эта информация, как я себе представляю, может иметь количественную характеристику - объем (в битах). И не поверю, что нулевой.

Ну так и я о том же!
Я же уже в сотый раз повторяю Вам (а Вы, вроде бы и соглашаетесь :) что наши знания системы - субъективны. Поэтому и рассчитываемое по формуле Шеннона значение энтропии - тоже субъективно. Чем больше мы знаем о системе - тем меньше ее энтропия, суть которой - неизвестная еще нам информация.
А сумма наших знаний о системе и её энтропии - это и есть полная физическая информация системы. И она - величина объективная и постоянная.

Iapr + H = const.

> Но даже не это главное. Информация о системе есть функция времени. Отслеживаем L частиц, 3*L степеней свободы по 32 бита. 3*L*32 - объем потока информации. А сколько раз в секунду мы его фиксируем - второй (важный, конечно) вопрос.

И с этим согласен. Статистически всякая система описывается функцией плотности вероятности и функцией спектральной плотности вероятности. Соответственно, информационный поток может оцениваться "плотностью информации" как во времени, так и спектрально по частотам...


> > > Полностью детерминированная система для нас - это система, о которой мы все знаем априорно. Никакое сообщение о ее состоянии не содержит ДЛЯ НАС никакой НОВОЙ информации. Иными словами, любую информацию о ее состоянии можно сжать до нуля без потерь. Разве не так?

Без потерь чего?
Давайте по порядку.

1. Есть такое понятие как отношение фазовых объемов, которое при увеличении наших знаний о физической системе стремиться к нулю, поскольку исходный объем не более вселенной и константа, а всякое измерение (знание) накладывает ограничения. В пределе можно говорить о 100% знании. Давайте про это говорить прямым текстом - процент знания параметров системы. Это не информация и не информационная энтропия.

2. Информационная энтропия по Шеннону - статистическая характеристика потока информации. Это не информация. Если мы исследовали том символьной информации (пусть будет Толстой, пусть будут таблицы спектральных линий или скоростей-импульсов), то, во первых, мы не изменили количества информации (если только не съели книгу), во вторых при повторной обработке получим то же значение информационной энтропии, как и при первой обработке (если только не поработали карандашом или ластиком).

3. Используя статистические данные можно ПРЕОБРАЗОВАТЬ исследуемый том, т.е. создать новый, с новым (можно мЕньшим, можно бОльшим) объемом. Ваш любимый ZIP так и поступает, старый файл без команды не стирает. При этом исходная информация не изменяет своего объема.

> Я же уже в сотый раз повторяю Вам (а Вы, вроде бы и соглашаетесь :) что наши знания системы - субъективны.

Все знания субъективны, они присущи не объекту, а субъекту.

> Чем больше мы знаем о системе - тем меньше ее энтропия, суть которой - неизвестная еще нам информация.

Вы можете просчитать энтропию тома Толстого. Это не вопрос, готов поспорить, что сможете. Для этого том надо прочитать. Вы утверждаете, что после прочтения энтропия изменилась? ("Кто ж его посадит - он же памятник!"). После прочтения количество информации изменилось?
4. Вы можете кардинально пребразовать информацию, изменив даже структуру ее элементов. Вместо одиночных символов рассматривать слова, или вместо слов их совокупности, или (что Вы и пытаетесь) весь фрагмент (том) рассматривать как "единичку" информации. Это не запрещено, но Вы же получили НОВУЮ информацию, с иными, чем у исходной, свойствами. Объем (в битах) при этом не станет нулевым.


Извините, но первую часть Вашего сообщения я пока пропущу...
Давайте начнем с самого простого.

> > Чем больше мы знаем о системе - тем меньше ее энтропия, суть которой - неизвестная еще нам информация.

> Вы можете просчитать энтропию тома Толстого. Это не вопрос, готов поспорить, что сможете. Для этого том надо прочитать. Вы утверждаете, что после прочтения энтропия изменилась? ("Кто ж его посадит - он же памятник!"). После прочтения количество информации изменилось?

Естественно!
Для того, кто не знает, о чем писал Толстой, возможных вариантов того, что он прочитает - несметное множество. Иными словами, система имеет множество равновероятных состояний. И энтропия такой системы велика.
Если кто-нибудь выучил Толстого наизусть, то ДЛЯ НЕГО сочинение Толстого может иметь всего одно-единственное состояние с вероятностью единица. Да, он совершенно точно знает, что именно он прочтет. Энтропия нулевая, система детерминирована и информации он не получит при чтении никакой.
Я Толстого наизусть не помню, но помню в общих чертах :)
Поэтому, если соберусь его почитать, то конкретно для меня есть некоторая статистическая "свобода" - я могу только с некоторой вероятностью предполагать, что я прочту на следующей странице. Энтропия ненулевая, но и не такая большая, как для моей дочери:) И это именно тот объем информации, который я получу при чтении.

То же самое можно говорить о любой физической системе: Чем больше мы ее изучаем, тем уже вероятностные рамки, в которые мы можем загнать поведение этой системы. Тем меньше ее энтропия - неизученная часть информации о ней.

Вы не согласны с такими утверждениями?


> Давайте начнем с самого простого.
> Чем больше мы знаем о системе - тем меньше ее энтропия, суть которой - неизвестная еще нам информация.

Итого два варианта. Информационные объем и энтропия системы - свойства системы, имеющие отношение к объекту, эти значения неизменны. Вы говорите не об объеме информации, а о разности объемов на двух носителях, причем разности специфической (а если изменим одну букву?). Различные понятия => различные термины. Я использую вероятности появления символов (букв или слов, но заранее оговоренных структурных единиц). Вы используете ... расшифруйте, это действительно не понятно.

> То же самое можно говорить о любой физической системе: Чем больше мы ее изучаем, тем уже вероятностные рамки, в которые мы можем загнать поведение этой системы. Тем меньше ее энтропия - неизученная часть информации о ней.

Физическая система имеет некоторое количество параметров, значения которых постоянно изменяется. Заведомо неизвестно, "какая буква в книге" изменилась. Требуется постоянная сверка текущих значений каждого параметра с ранее зафиксированным. У нас каждый новый момент времени новая книга, хотя информационная энтропия неизменна.

Вы не согласны с такими утверждениями?


> > Давайте начнем с самого простого.
> > Чем больше мы знаем о системе - тем меньше ее энтропия, суть которой - неизвестная еще нам информация.

> Итого два варианта. Информационные объем и энтропия системы - свойства системы, имеющие отношение к объекту, эти значения неизменны.

Вы согласны с тем, что энтропия системы может быть вычислена по приводимой мной ранее формуле Шеннона?

Но если так, то что следует понимать под вероятностью i-го состояния системы?

Вот простейший случай: Пусть один человек показывает другим разноцветные флажки. Какова вероятность того, что он покажет красный флажок - наверное 1/7 (если семь цветов)...
Но некий наблюдатель заведомо знает, что у показывающего флажки человека нет красного флажка, а есть только синие и зеленые. Причем зеленых в два раза больше, чем синих.
Так какова для него (с его априорными знаниями) будет вероятность показа красного флажка? - очевидно, что нулевая!
Вы согласны с тем, что для разных наблюдателей в этом случае будет совершенно разная величина энтропии "флажковых сообщений"?

Как же тогда быть с Вашим высказыванием о неизменности энтропии системы?


> ... что следует понимать под вероятностью i-го состояния системы?

То, что понимал Шеннон - отношение числа измеренных i-х состояний системы к общему числу измерений.

> Вот простейший случай: Пусть один человек показывает другим разноцветные флажки. Какова вероятность того, что он покажет красный флажок - наверное 1/7 (если семь цветов)...

Это зависит только от показывающего.

> Но некий наблюдатель заведомо знает, что у показывающего флажки человека нет красного флажка, а есть только синие и зеленые. Причем зеленых в два раза больше, чем синих.

Т.е. некий наблюдатель уже получил сценарий передачи, просчитал вероятности, вычислил информационную энтропию. А другим эти вычисления еще предстоит сделать.

> Так какова для него (с его априорными знаниями) будет вероятность показа красного флажка? - очевидно, что нулевая!

Да, если сценарий не предусматривал такого показа.

> Вы согласны с тем, что для разных наблюдателей в этом случае будет совершенно разная величина энтропии "флажковых сообщений"?

Для всех наблюдателей энтропия будет совершенно одинаковой.
Давайте следовать Шеннону. Если речь идет о передаче информации (а Шеннон именно с этим работал), то определяется протокол ее передачи. Протоколом определяется структура информации, т.е. определяется набор возможных (допустимых) состояний. В простейшем случае допустимым состоянием является символ, более сложный случай - последовательности символов (слова), но это не принципиально. Принципиально то, что такой протокол (соглашение) зафиксирован для данной системы. Нарушаете протокол (соглашение) - и вместо информации получаете шум.

> Как же тогда быть с Вашим высказыванием о неизменности энтропии системы?


> > ... что следует понимать под вероятностью i-го состояния системы?
> То, что понимал Шеннон - отношение числа измеренных i-х состояний системы к общему числу измерений.

Я записывал результаты бросания монетки. Причем провел только три замера. И все три раза монетка падала на орла. Получил вероятность орла 1, а решки - 0.
Подсчитал энтропию = 0.

Вы тоже занимались подсчетом, но сделали выборку из 10 бросаний. У Вас получились вероятности 0.5 и 0.5, а энтропия соответственно 1.

Один очень дотошный человек измерил геометрию монеты и из общефизических соображений вычислил, что в среднем на 1 миллион бросаний монета может встать на ребро. Таким образом, у него получилось, что система может иметь три состояния: "орел", "решка" и "ребро" с вероятностями 0.499999, 0.499999 и 0.000001 соответственно. Подсчитав энтропию, он получил результат чуть больше единицы.

А кто-то добавил, что в момент бросания монета может аннигилировать, телепортировать, или вообще зависнуть в воздухе по неизвестным науке причинам с некоторой ненулевой вероятностью. И у него энтропия оказалась еще больше...

Так кто же из них правильно рассчитал энтропию?

P.S.: Классическая задачка из учебника по теории вероятности - сколько информации содержит среднестатистический прогноз погоды. Какие исходные данные нужны для ее решения, как думаете?


> Я записывал результаты бросания монетки. Причем провел только три замера. И все три раза монетка падала на орла. Получил вероятность орла 1, а решки - 0.
> Подсчитал энтропию = 0.

Если предварительное соглашение (протокол) предусматривает возможность двух исходов, то имеем передачу трех бит информации с нулевой энтропией.

> Вы тоже занимались подсчетом, но сделали выборку из 10 бросаний. У Вас получились вероятности 0.5 и 0.5, а энтропия соответственно 1.

Имеем десять бит информации, с энтропией равной единице.

> Один очень дотошный человек измерил геометрию монеты и из общефизических соображений вычислил, что в среднем на 1 миллион бросаний монета может встать на ребро. Таким образом, у него получилось, что система может иметь три состояния: "орел", "решка" и "ребро" с вероятностями 0.499999, 0.499999 и 0.000001 соответственно. Подсчитав энтропию, он получил результат чуть больше единицы.

Дотошный человек пофантазировал и не передал никакой информации. Просто решил предложить иной, чем было предложено выше, протокол (соглашение). Если мы не примем новый протокол, то "ребро" не войдет в поток передаваемой информации, там просто не будет описания такого состояния.

> А кто-то добавил, что в момент бросания монета может аннигилировать, телепортировать, или вообще зависнуть в воздухе по неизвестным науке причинам с некоторой ненулевой вероятностью. И у него энтропия оказалась еще больше...

А если дополнительные состояния включены в наши протокольные договоренности, и мы при реальных измерениях их зафиксировали и передали, то энтропия может достигнуть значения логарифма от числа узаконенных состояний.

> Так кто же из них правильно рассчитал энтропию?

Энтропия рассчитывается для серии испытаний (измерений). В том числе можно несколько серий просуммировать и для суммы посчитать. Условие во всех случаях такое: количество измерений (испытаний) должно быть много больше числа состояний.

> P.S.: Классическая задачка из учебника по теории вероятности - сколько информации содержит среднестатистический прогноз погоды. Какие исходные данные нужны для ее решения, как думаете?


> Энтропия рассчитывается для серии испытаний (измерений). В том числе можно несколько серий просуммировать и для суммы посчитать. Условие во всех случаях такое: количество измерений (испытаний) должно быть много больше числа состояний.

Энтропия расчитывается не для серии испытаний, а для физической системы. При этом значения вероятностей могут быть как получены экспериментально, так и расчитаны.
Например, мы можем вместо монеты подбрасывать некоторое геометрическое тело, например 150-гранник. Если точно известна геометрия и тело однородно, то рассчитать априорные вероятности не составит труда.
Или еще пример - система из 24 игральных кубиков (вряд-ли кто-нибудь проводил испытания именно такой системы). Но сумма выпавших цифр при их одновременном бросании будет иметь легко рассчитываемое распределение.
В обоих случаях рассчитываемое априорное распределение будет совпадать с апостериорным экспериментальным, при устремлении числа экспериментов к бесконечности.
Затем и служит теория вероятности, чтобы не заниматься постоянным "подбрасыванием монетки", а не делая ни одного эксперимента вычислить распределение математически.

Falcon.


> Энтропия расчитывается не для серии испытаний, а для физической системы.

Энтропия расчитывается для потока информации. За неимением бесконечного потока можно энтропию расчитать для конечного фрагмента, в том числе для составного фрагмента.

> При этом значения вероятностей могут быть как получены экспериментально, так и расчитаны.

Так.

В любом случае мы работаем с информационным потоком. Определения информации нет, но про нее мы уже много поговорили и выяснили (или нет?):

Информация состоит из отдельных сообщений.

Количество элементов составляет алфавит.

Алфавит не имеет смысла без соглашения о значении каждого элемента (протокола).

Логарифм от числа элементов (букв, слов) есть информационная емкость одного сообщения.

Объем информации определяется произведением информационной емкости одного сообщения на число сообщений.

Каждому элементу ставится в соответствие априорная вероятность или экспериментальная нормированная частота P(i).

Информационная энтропия по Шеннону определяет статистическую характеристику в пересчете на одно сообщение.

Можно рассматривать энтропийное количество информации - произведение энтропии на количество элементов. Это имеет смысл для отложенной (не в режиме реального времени) обработки и хранения информации.

Информация не содержиться в физической системе, она возникает только в процессе измерения.


Похоже что меня интересует та же самая тема. И я уже несеолько лет пытаюсь рахработать архиватор такого типа. Кое-что получилось, но это, конечно, мало.
http://logarc.narod.ru

http://logarc.narod.ru


> Похоже что меня интересует та же самая тема. И я уже несеолько лет пытаюсь рахработать архиватор такого типа. Кое-что получилось, но это, конечно, мало.
> http://logarc.narod.ru

В чем отличие вашего архиватора от обычного?
Как он устроен? Какая идея в нем используются?
Чем он эффективнее обычного?


Правильно ли я понял, что Вашим архиватором любой файл можно сжать по крайней мере на 1 байт, а потом восстановить в исходный?


> В чем отличие вашего архиватора от обычного?
> Как он устроен? Какая идея в нем используются?
> Чем он эффективнее обычного?

Главное отличие - нет никакой зависимости от таких понятий как информационная энтропия, избыточность, частота появления символов кода и т.д. В основе лежит логическое правило "бритва Хакама", а так же утверждение, что любой набор данных, объёмом более 2-х бит может быть записан как минимум на 1 бит меньше. Указателем остановки процесса возврата является максимальное соответствие получаемой информации (в соответствии с алгоритмом) для логически ожидаемой относительно "запакованной". Относительно эффективности - позволяет сжимать данные до их физического отсутствия путем совмещения одних данных с другими не зависимо от соответствия типов (графика, звук и др.). Единственное - процесс возврата очень долгий по времени.


> Правильно ли я понял, что Вашим архиватором любой файл можно сжать по крайней мере на 1 байт, а потом восстановить в исходный?

Именно так


> > В чем отличие вашего архиватора от обычного?
> > Как он устроен? Какая идея в нем используются?
> > Чем он эффективнее обычного?

> Главное отличие - нет никакой зависимости от таких понятий как информационная энтропия, избыточность, частота появления символов кода и т.д. В основе лежит логическое правило "бритва Хакама", а так же утверждение, что любой набор данных, объёмом более 2-х бит может быть записан как минимум на 1 бит меньше. Указателем остановки процесса возврата является максимальное соответствие получаемой информации (в соответствии с алгоритмом) для логически ожидаемой относительно "запакованной". Относительно эффективности - позволяет сжимать данные до их физического отсутствия путем совмещения одних данных с другими не зависимо от соответствия типов (графика, звук и др.). Единственное - процесс возврата очень долгий по времени.

> "бритва Хакама"

Что-то я не помню такого логического правила.
Может, Хакамады?


>... любой набор данных, объёмом более 2-х бит может быть записан как минимум на 1 бит меньше.

Ну сами-то подумайте: пусть некоторая система может находиться в 8 равновероятных состояниях. Для описания конкретного состояния этой системы просто необходимо 3 бита. Как же ОДНОЗНАЧНО описать ее состояние 2-мя битами? Тут хоть наизнанку вывернись - все равно только четыре варианта получится :-)

Думаю, это Ваше утверждение в общем случае неверно!

Falcon.



> > "бритва Хакама"
> Что-то я не помню такого логического правила.
> Может, Хакамады?
http://www.philosophenlexikon.de/ockham.htm
До



> а так же утверждение, что любой набор данных, объёмом более 2-х бит может быть записан как минимум на 1 бит меньше.

Для любого набора это невозможно и это математически доказано.
Вы принимаете желаемое за действительное.

> Указателем остановки процесса возврата является максимальное соответствие получаемой информации (в соответствии с алгоритмом) для логически ожидаемой относительно "запакованной".

Т.е. для распаковки первоначального вида информации нужно использовать саму информацию?


>
> > > "бритва Хакама"
> > Что-то я не помню такого логического правила.
> > Может, Хакамады?
> http://www.philosophenlexikon.de/ockham.htm
> До

Хакам уйинчига гапириш кобилиятини кайтариб берди Ушбу антика вокеа 1967 йилда Тунис яшил ... Аммо хакам хакконий равишда уйинчини майдондан четлаштирди

Абд ар-Рахман ибн Абд ал-Хакам

Вы очень умный. Эрудит.

http://slovari.yandex.ru/search.xml?text=Ockham
http://www.m-w.com/cgi-bin/dictionary?book=Dictionary&va=Occam


> > Правильно ли я понял, что Вашим архиватором любой файл можно сжать по крайней мере на 1 байт, а потом восстановить в исходный?

> Именно так

Можно ли такой процесс повторить несколко раз, т.е. сжатый файл опять пропустить через архиватор (и сжать ещё немного), а потом восстановить?

Вы понимаете, к чему я веду разговор?


Критика... Нет и ещё раз нет. Кто это доказал математически что любое сообщение нельзя записать как минимум на один бит короче? Этого не докажет ни кто, т.к. это элемнтарно. Дело в том, что информационная область может быть може вернуть сообщение в исходный размер, но и это не проблема. А главное - что это теория, а мой алгоритм - практика и она рабоет! Относительно логического правила, я не помню точного текста, но суть в том, что если есть следствие, но не известна причина, то из всех возможных причин самая простая является самой верной. Т.е. устанавливается прямопропорциональная зависимость следствия и простоты (объём, наличие ошибок...) причины. А для распаковки я не использую саму информацию, я использую логически ожидаемое состояние. Не знаю как сказать точнее. Для сжатия на большой объём не нужно увеличивать количество итерации самого алгоритма. В программе установил ограничение, т.к. её работоспособность можно проверить, не тратя большое количество времени. Для каждого баёта время восстановления увеличивается в геометрической прогрессии.


> Критика... Нет и ещё раз нет. Кто это доказал математически что любое сообщение нельзя записать как минимум на один бит короче? Этого не докажет ни кто, т.к. это элемнтарно. Дело в том, что информационная область может быть може вернуть сообщение в исходный размер, но и это не проблема. А главное - что это теория, а мой алгоритм - практика и она рабоет! Относительно логического правила, я не помню точного текста, но суть в том, что если есть следствие, но не известна причина, то из всех возможных причин самая простая является самой верной. Т.е. устанавливается прямопропорциональная зависимость следствия и простоты (объём, наличие ошибок...) причины. А для распаковки я не использую саму информацию, я использую логически ожидаемое состояние. Не знаю как сказать точнее. Для сжатия на большой объём не нужно увеличивать количество итерации самого алгоритма. В программе установил ограничение, т.к. её работоспособность можно проверить, не тратя большое количество времени. Для каждого баёта время восстановления увеличивается в геометрической прогрессии.

Г-н fxfxfx!
Я к Вам особых претензий не имею.
Но такого дремучего народа, как "физики", ещё не встречал в интернете.
Суперархиватор со сжатием, невзирая на позиционную систему счисления – традиционная первоапрельская шутка в компьютерных журналах. Такой баян, что ни одна редакции за деньги не согласится. А этих хлебом не корми, дай им только на мелкой воде поплескаться.

А с "бритвой Хакама" Вы такого маху дали, можно в книгу рекордов записывать.
Как говорится, слышал звон.
И хоть бы хны: плюй в глаза – божья роса.
Невежество – второе счастье.


>Г-н fxfxfx!
>Я к Вам особых претензий не имею.
>Но такого дремучего народа, как "физики", ещё не встречал в интернете.
>Суперархиватор со сжатием, невзирая на позиционную систему счисления – >традиционная первоапрельская шутка в компьютерных журналах. Такой баян, что >ни одна редакции за деньги не согласится. А этих хлебом не корми, дай им >только на мелкой воде поплескаться.

>А с "бритвой Хакама" Вы такого маху дали, можно в книгу рекордов записывать.
>Как говорится, слышал звон.
>И хоть бы хны: плюй в глаза – божья роса.
>Невежество – второе счастье.

А я и не физик, так... программист-теоретик, просто смежную тематику нашел. Я не пытаюсь создать "суперархиватор". Если Вас интересует эта тематика, то читайте, как Вы сказали, первоапрельские шутки, но сейчас не первое апреля. Холодно, снежно и предпразднично... Недавно нашел в инете информацию о "архиваторе Лыщенко". Пишите такое ему, а не мне. Если Вы считаете, что я делаю розыгрыш, то почему моя програмка работает (работает!)? Теперб я понял почему Вы не поняли меня в той части, где я говорил о б уменьшенной записи любых сообщений (<=1bit). Вы говорите о позиционном характере чисел. А я именно это свойство игнорирую. так оди байт содержит не 256 выриаций, а 256+256-2= 510 выриаций (если Вы отвлечётесь от позиционности, то заметите). Ну ладненько, мне пора "плескаться на мелкой воде". Как говорил Сократ "если меня ругают за моей спиной, то за моей спиной они пусть даже бъют меня, всё равно".



> >Г-н fxfxfx!
> >Я к Вам особых претензий не имею.
> >Но такого дремучего народа, как "физики", ещё не встречал в интернете.
> >Суперархиватор со сжатием, невзирая на позиционную систему счисления – >традиционная первоапрельская шутка в компьютерных журналах. Такой баян, что >ни одна редакции за деньги не согласится. А этих хлебом не корми, дай им >только на мелкой воде поплескаться.

> >А с "бритвой Хакама" Вы такого маху дали, можно в книгу рекордов записывать.
> >Как говорится, слышал звон.
> >И хоть бы хны: плюй в глаза – божья роса.
> >Невежество – второе счастье.

> А я и не физик, так... программист-теоретик, просто смежную тематику нашел. Я не пытаюсь создать "суперархиватор". Если Вас интересует эта тематика, то читайте, как Вы сказали, первоапрельские шутки, но сейчас не первое апреля. Холодно, снежно и предпразднично... Недавно нашел в инете информацию о "архиваторе Лыщенко". Пишите такое ему, а не мне. Если Вы считаете, что я делаю розыгрыш, то почему моя програмка работает (работает!)? Теперб я понял почему Вы не поняли меня в той части, где я говорил о б уменьшенной записи любых сообщений (<=1bit). Вы говорите о позиционном характере чисел. А я именно это свойство игнорирую. так оди байт содержит не 256 выриаций, а 256+256-2= 510 выриаций (если Вы отвлечётесь от позиционности, то заметите). Ну ладненько, мне пора "плескаться на мелкой воде". Как говорил Сократ "если меня ругают за моей спиной, то за моей спиной они пусть даже бъют меня, всё равно".

Тем более.
Поднимите глаза. Прочитайте заглавие.
Здесь форум по физике, а не по программированию.


> Какие будут мысли у народа?
>
> Falcon.

Как то не завершилась тема. В предверии нового года (поскольку тема всплыла):

http://www.relativity.ru/forum/viewtopic.php?p=14815#14815

Какие будут мысли у народа?


У меня получилось бесконечное сжатие данных. Алгоритм работает на свойстве исключения. Восстановление происходит без потерь (долго). Работаю над сокращением времени воссановления.


> У меня получилось бесконечное сжатие данных. Алгоритм работает на свойстве исключения. Восстановление происходит без потерь (долго). Работаю над сокращением времени воссановления.

Очень интересно. Поскольку тут действительно форум почти физический, то предлагаю встречу на нейтральной территории, например:
http://phys.ucoz.ru/forum/12


> У меня получилось бесконечное сжатие данных. Алгоритм работает на свойстве исключения. Восстановление происходит без потерь (долго). Работаю над сокращением времени воссановления.

Вот Вам сжатый файл:
01101001
Что получится, если его восстановить по Вашему алгоритму?


> У меня получилось бесконечное сжатие данных. Алгоритм работает на свойстве исключения. Восстановление происходит без потерь (долго). Работаю над сокращением времени воссановления.

"Бесконечное сжатие" - это самообман.
А бесконечное сжатие без потерь - это чушь.

Бесконечное - это до одного байта?
Или, до одного бита?
Или, до нуля битов - вообще до отсутствия информации?
Интересно, как же Вы собираетесь потом все из ничего восстанавливать?

P.S.: Попробуйте - ка сжать набор информации из двух битов в один бит, а потом восстановить его из одного бита :-)


> > У меня получилось бесконечное сжатие данных. Алгоритм работает на свойстве исключения. Восстановление происходит без потерь (долго). Работаю над сокращением времени воссановления.
Не знаю что Вы подразумеваете под алгоритмом исключения.
> "Бесконечное сжатие" - это самообман.
Верно если ударение ставить на бесконечность.
> А бесконечное сжатие без потерь - это чушь.
Не говори Гоп пока не перепрыгнешь.
> Бесконечное - это до одного байта?
Почему бы и нет?
> Или, до одного бита?
Можно попробовать.
> Или, до нуля битов - вообще до отсутствия информации?
Не будем переборщивать (-:.
> Интересно, как же Вы собираетесь потом все из ничего восстанавливать?
Ну например я хочу сжать рассказ

Морской волчонок
Автор "Томас Майн Рид"
Размер 404210 Байт

Вот:
0
> P.S.: Попробуйте - ка сжать набор информации из двух битов в один бит, а потом восстановить его из одного бита :-)
Надо сжимать не информацию а ссылку на неё. Тогда получится.


> > А бесконечное сжатие без потерь - это чушь.
> Не говори Гоп пока не перепрыгнешь.

Сказать "Гоп" должен тот, кто продемонстрирует рабочую программу, сжимающую произвольные файлы хотя-бы на 20 процентов эффективнее всяких ZIP или RAR.
То, что практически все современные алгоритмы сжатия без потерь жмут примерно одинаково, говорит о том, что они вплотную подошли к пределу, после которого сжатие без потерь просто невозможно.

> > Бесконечное - это до одного байта?
> Почему бы и нет?
> > Или, до одного бита?
> Можно попробовать.

По-моему, очевидно, что на вопрос "Какого цвета Ваш автомобиль" нельзя ответить "да" или "нет".

Если информацию представить, как указание на одно из N возможных равновероятных состояний, то ее нельзя сжать больше, чем до log(N) битов.
Конечно, если состояния не равновероятные, то возможно и большее сжатие.
Я уже говорил в этой теме о том, как можно подсчитать теоретический предел в этом случае...

> Ну например я хочу сжать рассказ
> Морской волчонок
> 0
> > P.S.: Попробуйте - ка сжать набор информации из двух битов в один бит, а потом восстановить его из одного бита :-)
> Надо сжимать не информацию а ссылку на неё. Тогда получится.

Если на сервере рассказ сотрут, то ссылка не поможет - это не сжатие а адресация...

Но даже ссылка в Интернете может иметь около 4 миллиардов возможных состояний, поэтому сжать ее можно только до 4 байт - именно так и хранится эта ссылка в компьютере (IP-адрес, четыре числа в диапазоне 0-255).


> > > А бесконечное сжатие без потерь - это чушь.
> > Не говори Гоп пока не перепрыгнешь.

> Сказать "Гоп" должен тот, кто продемонстрирует рабочую программу, сжимающую произвольные файлы хотя-бы на 20 процентов эффективнее всяких ZIP или RAR.
> То, что практически все современные алгоритмы сжатия без потерь жмут примерно одинаково, говорит о том, что они вплотную подошли к пределу, после которого сжатие без потерь просто невозможно.

Есть сдерживающий фактор - объем кода архиватора и соответственно время обработки. Пока пределом не пахнет.


> > То, что практически все современные алгоритмы сжатия без потерь жмут примерно одинаково, говорит о том, что они вплотную подошли к пределу, после которого сжатие без потерь просто невозможно.

> Есть сдерживающий фактор - объем кода архиватора и соответственно время обработки. Пока пределом не пахнет.

Я бы с удовольствием установил себе архиватор раз в 10 больший по объему, чем тот же WinRar и пусть бы он работал раз в десять дольше если бы он сжимал хотя бы в два раза лучше!

Увы, это не так!

Попробуйте сжать любым архиватором файл, который уже сжат другим архиватором. Увидите, что размер практически не изменится. Почему?
Да потому, что сжатие - это удаление избыточной информации!
Нет избыточности - нет и сжатия.
Если кто-то говорит, что может бесконечно сжать файл - это значит, что вся информация в этом файле - избыточна.
Не исключено, что для него это именно так, но тогда такое "сжатие" эквивалентно удалению файла :-)


> > Есть сдерживающий фактор - объем кода архиватора и соответственно время обработки. Пока пределом не пахнет.

> Я бы с удовольствием установил себе архиватор раз в 10 больший по объему, чем тот же WinRar и пусть бы он работал раз в десять дольше если бы он сжимал хотя бы в два раза лучше!

Ace сжимет лучше других, но времени уходит больше. Arj (и другие) имеет опции, можно выбирать скорость или разные степени сжатия.

> Попробуйте сжать любым архиватором файл, который уже сжат другим архиватором. Увидите, что размер практически не изменится. Почему?

Потому, что класс архиваторов сопоставим.

> Да потому, что сжатие - это удаление избыточной информации!
> Нет избыточности - нет и сжатия.

Это так, но возникает вопрос о единицах информации. Если за единицу брать байт, то это быстро, но менее качественно, чем два байта.

> Если кто-то говорит, что может бесконечно сжать файл - это значит, что вся информация в этом файле - избыточна.
> Не исключено, что для него это именно так, но тогда такое "сжатие" эквивалентно удалению файла :-)

Эквивалентно.
Бесконечность сжатия невозможна, это вообще не вопрос, более того можно вывести теоретический предел. Сходу не возьмусь, надо вспомнить.


> > > То, что практически все современные алгоритмы сжатия без потерь жмут примерно одинаково, говорит о том, что они вплотную подошли к пределу, после которого сжатие без потерь просто невозможно.

> > Есть сдерживающий фактор - объем кода архиватора и соответственно время обработки. Пока пределом не пахнет.

> Я бы с удовольствием установил себе архиватор раз в 10 больший по объему, чем тот же WinRar и пусть бы он работал раз в десять дольше если бы он сжимал хотя бы в два раза лучше!
Кто Вам мешает?
> Увы, это не так!
Может Вы что то не так делаете или исходите из неправильных предположений?
> Попробуйте сжать любым архиватором файл, который уже сжат другим архиватором. Увидите, что размер практически не изменится. Почему?
Потому, что информации маловато.
> Да потому, что сжатие - это удаление избыточной информации!
Совершенно верно.
> Нет избыточности - нет и сжатия.
И это верно.
> Если кто-то говорит, что может бесконечно сжать файл - это значит, что вся информация в этом файле - избыточна.
Не обязательно, есть и другой путь.
Предположим у Вас есть столько файлов(страничек), сколько страниц в книге Толстого "Война и Мир". Каждую страничку в отдельности даже самым лучшим архиватором(если она уже была сжата) не слишком сожмешь, тут Вы совершенно правы. Но что произойдёт если Вы начнёте сжимать не каждую страничку а весь роман сжатый первоначально постранично? Согласны, что эффективность сжатия увеличиться?


> > > А бесконечное сжатие без потерь - это чушь.
> > Не говори Гоп пока не перепрыгнешь.

> Сказать "Гоп" должен тот, кто продемонстрирует рабочую программу, сжимающую произвольные файлы хотя-бы на 20 процентов эффективнее всяких ZIP или RAR.
Безвыходных положений не бывает. И на старуху найдётся проруха.
> То, что практически все современные алгоритмы сжатия без потерь жмут примерно одинаково, говорит о том, что они вплотную подошли к пределу, после которого сжатие без потерь просто невозможно.
Верно если жать один и тот же файл.
> > > Бесконечное - это до одного байта?
> > Почему бы и нет?
> > > Или, до одного бита?
> > Можно попробовать.

> По-моему, очевидно, что на вопрос "Какого цвета Ваш автомобиль" нельзя ответить "да" или "нет".
Можно растянуть поиск информации во времени и довольствоваться только ответами да(1) или нет(0). Так довольно быстро можно выяснить день Вашего рождения, часовой пояс в котором Вы проживаете, Ваш вес итд. итп.
> Если информацию представить, как указание на одно из N возможных равновероятных состояний, то ее нельзя сжать больше, чем до log(N) битов.
Верно, поэтому надо стремиться как можно большему N. А это ведь не проблема, или?
> Конечно, если состояния не равновероятные, то возможно и большее сжатие.
Формула, схема, рисунок..
> Я уже говорил в этой теме о том, как можно подсчитать теоретический предел в этом случае...
Чем случайнее состояние, тем меньше возможностей для сжатия файла.
> > Ну например я хочу сжать рассказ
> > Надо сжимать не информацию а ссылку на неё. Тогда получится.

> Если на сервере рассказ сотрут, то ссылка не поможет - это не сжатие а адресация...
А Вы видите разницу? Если Вы сжимаете файл до предела, удаляя всю двойную-тройную информацию, то при потере лишь части этого файла Вы в худшем случае нужную Вам важную! информацию не восстановите.

> Но даже ссылка в Интернете может иметь около 4 миллиардов возможных состояний, поэтому сжать ее можно только до 4 байт - именно так и хранится эта ссылка в компьютере (IP-адрес, четыре числа в диапазоне 0-255).
В чём смысл сжатия? В том чтобы иметь возможность передавать большие объёмы информации?
Или в том чтобы иметь быстрый доступ к оным?
Неужели каждый читатель обязан иметь экземпляр томика Пушкина?
Или всё же достаточно если этот томик лежит в библиотеке, интернете и мы имеем доступ к стихам поэта?


> > > > А бесконечное сжатие без потерь - это чушь.
> > > Не говори Гоп пока не перепрыгнешь.

> > Сказать "Гоп" должен тот, кто продемонстрирует рабочую программу, сжимающую произвольные файлы хотя-бы на 20 процентов эффективнее всяких ZIP или RAR.
> Безвыходных положений не бывает. И на старуху найдётся проруха.
> > То, что практически все современные алгоритмы сжатия без потерь жмут примерно одинаково, говорит о том, что они вплотную подошли к пределу, после которого сжатие без потерь просто невозможно.
> Верно если жать один и тот же файл.
> > > > Бесконечное - это до одного байта?
> > > Почему бы и нет?
> > > > Или, до одного бита?
> > > Можно попробовать.

> > По-моему, очевидно, что на вопрос "Какого цвета Ваш автомобиль" нельзя ответить "да" или "нет".
> Можно растянуть поиск информации во времени и довольствоваться только ответами да(1) или нет(0). Так довольно быстро можно выяснить день Вашего рождения, часовой пояс в котором Вы проживаете, Ваш вес итд. итп.
> > Если информацию представить, как указание на одно из N возможных равновероятных состояний, то ее нельзя сжать больше, чем до log(N) битов.
> Верно, поэтому надо стремиться как можно большему N. А это ведь не проблема, или?
> > Конечно, если состояния не равновероятные, то возможно и большее сжатие.
> Формула, схема, рисунок..
> > Я уже говорил в этой теме о том, как можно подсчитать теоретический предел в этом случае...
> Чем случайнее состояние, тем меньше возможностей для сжатия файла.
> > > Ну например я хочу сжать рассказ
> > > Надо сжимать не информацию а ссылку на неё. Тогда получится.

> > Если на сервере рассказ сотрут, то ссылка не поможет - это не сжатие а адресация...
> А Вы видите разницу? Если Вы сжимаете файл до предела, удаляя всю двойную-тройную информацию, то при потере лишь части этого файла Вы в худшем случае нужную Вам важную! информацию не восстановите.

> > Но даже ссылка в Интернете может иметь около 4 миллиардов возможных состояний, поэтому сжать ее можно только до 4 байт - именно так и хранится эта ссылка в компьютере (IP-адрес, четыре числа в диапазоне 0-255).
> В чём смысл сжатия? В том чтобы иметь возможность передавать большие объёмы информации?
> Или в том чтобы иметь быстрый доступ к оным?
> Неужели каждый читатель обязан иметь экземпляр томика Пушкина?
> Или всё же достаточно если этот томик лежит в библиотеке, интернете и мы имеем доступ к стихам поэта?

Вы на каком форуме находитесь, г-н До? Разве на вычислительных методах и программировании?

Кто Вы вообще такой? Как ваше имя? Где находитесь? Давно ли страдаете графоманией?



> У меня получилось бесконечное сжатие данных. Алгоритм работает на свойстве исключения. Восстановление происходит без потерь (долго). Работаю над сокращением времени воссановления.

Сжатие случайного массива неосуществимо по весьма очевидной причине:
если сжатый массив меньше, чем исходный, то количество возможных вариантов сжатых массивов меньше, чем количество возможных вариантов исходных массивов.
Значит вариантов сжатых массивов "не хватает" для того, чтобы представить все возможные варианты исходных массивов. Значит любой алгоритм может сжимать только определенный класс массивов, и не может сжать любой случайно составленный массив.


> Предположим у Вас есть столько файлов(страничек), сколько страниц в книге Толстого "Война и Мир". Каждую страничку в отдельности даже самым лучшим архиватором(если она уже была сжата) не слишком сожмешь, тут Вы совершенно правы. Но что произойдёт если Вы начнёте сжимать не каждую страничку а весь роман сжатый первоначально постранично? Согласны, что эффективность сжатия увеличиться?

Не согласен впринципе!
Еще раз повторюсь: Всякий информационный набор (и "Война и мир" в том числе) имеет некоторую характеристику, показывающую то, какой минимально необходимый объем информации в нем содержится для полного восстановления этого набора. Любой способ сжатия без потерь будет стремиться уменьшить этот набор до этого минимального объема. В идеале получится именно этот объем, но не меньше!
Что же это за характеристика? Я утверждаю, что это ЭНТРОПИЯ.


> Сжатие случайного массива неосуществимо по весьма очевидной причине:
> если сжатый массив меньше, чем исходный, то количество возможных вариантов сжатых массивов меньше, чем количество возможных вариантов исходных массивов.

Это абсолютно так, если под "случайным массивом" понимать еще не заполненные конкретными значениями поля. Т.е. бессмысленно сжимать файл экспериментальных данных, который уже зарезервировал объем на носителе, но измерения еще не проведены.

> Значит вариантов сжатых массивов "не хватает" для того, чтобы представить все возможные варианты исходных массивов. Значит любой алгоритм может сжимать только определенный класс массивов, и не может сжать любой случайно составленный массив.


> > > Есть сдерживающий фактор - объем кода архиватора и соответственно время обработки. Пока пределом не пахнет.

> > Я бы с удовольствием установил себе архиватор раз в 10 больший по объему, чем тот же WinRar и пусть бы он работал раз в десять дольше если бы он сжимал хотя бы в два раза лучше!

> Ace сжимет лучше других, но времени уходит больше. Arj (и другие) имеет опции, можно выбирать скорость или разные степени сжатия.

Можно, но при устремлении времени сжатия к бесконечности выходной объем устремится не к нулю, а к вполне определенной величине - теоретическому пределу. Численно он определяется по той же формуле, что и энтропия.
Поэтому, если мы при заданной скорости сжатия получаем размер, на несколько процентов больший предельного, то нет смысла повышать качество сжатия - игра не будет стоить свеч.

> ... но возникает вопрос о единицах информации. Если за единицу брать байт, то это быстро, но менее качественно, чем два байта.

За единицу информации следует брать БИТ - это элементарная и неделимая единица информации. Других вариантов просто не существует!

> Бесконечность сжатия невозможна, это вообще не вопрос, более того можно вывести теоретический предел. Сходу не возьмусь, надо вспомнить.

Вот и я про то же! И предел этот - энтропия по Шеннону. А в теории вероятности эта величина вообще названа количеством информации!


> Можно, но при устремлении времени сжатия к бесконечности выходной объем устремится не к нулю, а к вполне определенной величине - теоретическому пределу. Численно он определяется по той же формуле, что и энтропия.

К нулю - абсурд. И предел есть, и определяется предел по формуле близкой по смыслу к энтропии. Давайте бросим Толстого и перейдем к измерению физических величин, например к грозовым разрядам. Нам понадобится прибор с большим динамическим диапазоном. Соответственно канал передачи данных должен иметь информационную ширину в несколько байт, хотя очень длительные промежутки времени амплитуды сигналов уместятся в один байт. В этом случае сжатие просто переводом в форматный вид даст хороший результат. Т.е. можно использовать переход от стандартной длины слова к переменной. И что в этом случае характеризует энтропия?

> Поэтому, если мы при заданной скорости сжатия получаем размер, на несколько процентов больший предельного, то нет смысла повышать качество сжатия - игра не будет стоить свеч.

> > ... но возникает вопрос о единицах информации. Если за единицу брать байт, то это быстро, но менее качественно, чем два байта.

> За единицу информации следует брать БИТ - это элементарная и неделимая единица информации. Других вариантов просто не существует!

> > Бесконечность сжатия невозможна, это вообще не вопрос, более того можно вывести теоретический предел. Сходу не возьмусь, надо вспомнить.

> Вот и я про то же! И предел этот - энтропия по Шеннону. А в теории вероятности эта величина вообще названа количеством информации!



> Кто Вы вообще такой?

Уважаемый "механист"!

Вы мне напомнили интересных персонажей из незабвенной книги тов. Ильфа и Петрова. Продолжайте в этом духе. Удивительно, но Вы соответсвуете занимаемой должности.

Так держать,
Валерий.



> > Предположим у Вас есть столько файлов(страничек), сколько страниц в книге Толстого "Война и Мир". Каждую страничку в отдельности даже самым лучшим архиватором(если она уже была сжата) не слишком сожмешь, тут Вы совершенно правы.
С этим согласны?
> > Но что произойдёт если Вы начнёте сжимать не каждую страничку а весь роман сжатый первоначально постранично? Согласны, что эффективность сжатия увеличиться?

> Не согласен впринципе!
Вот Ваши слова:
> Если информацию представить, как указание на одно из N возможных равновероятных состояний, то ее нельзя сжать больше, чем до log(N) битов.
Пользуйтесь Вашей собственной формулой.
> Еще раз повторюсь: Всякий информационный набор (и "Война и мир" в том числе) имеет некоторую характеристику, показывающую то, какой минимально необходимый объем информации в нем содержится для полного восстановления этого набора.
Вот первый том романа на 736 стр.:
ссылка
Эфективность "постраничного" сжатия на порядки меньше чем всего первого тома.
Если же Вы сжимаете все произведения Л.Толстого, то эта эффективность
составляет тысячные от эфективности сжатия всего наследства Толстого.
> Любой способ сжатия без потерь будет стремиться уменьшить этот набор до этого минимального объема. В идеале получится именно этот объем, но не меньше!
Но этот минимальный объём зависит нелинейно от кол-ва информации которую надо сжать. Если на странице одно слово появляется лишь один раз, то его не сожмешь.
Но в романе это слово будет появляться множество раз, значит и возможность минимального сжатия улучшается.
> Что же это за характеристика? Я утверждаю, что это ЭНТРОПИЯ.
Вы вероятно имеете ввиду процесс обратный энтропии?
Ведь увеличение энтропии это увеличение беспорядка.
Мы уже говорили на эту тему. Я придерживался и придерживаюсь мнения что информация подчиняется
з-нам сохранения. Она просто есть(была и будет, в неизменном кол-ве). Независимо от того обладаем ли
мы оной или нет. Поэтому информация по моему мнению с энропией ничего общего не имеет.
Для Вас быть может информация сожженной рукописи убывает по мере горения.
Для меня усложняется лишь считывание этой информации.
Полагаю что под понятием "информация" мы подразумеваем разные вещи.
Содержит ли для Вас информацию книга на языке который Вы не понимаете?
А если у Вас есть словарь для перевода с этого языка?


> > Сжатие случайного массива неосуществимо по весьма очевидной причине:
> > если сжатый массив меньше, чем исходный, то количество возможных вариантов сжатых массивов меньше, чем количество возможных вариантов исходных массивов.

> Это абсолютно так, если под "случайным массивом" понимать еще не заполненные конкретными значениями поля. Т.е. бессмысленно сжимать файл экспериментальных данных, который уже зарезервировал объем на носителе, но измерения еще не проведены.

Вообще-то мысль не понял.
Однако на тему случайных массивов могу добавить следующее.
Проведены измерения значений массива или нет, неважно. Важно как именно сформирован этот массив. Случайный массив невозможно создать алгоритмом. Его может создать только физическая вселенная (вопрос еще может ли).

Любой массив, созданный алгоритмом будет сжимаем, если его размер больше размера самого алгоритма.
С другой стороны, можно предположить, что большинство массивов, созданных физической вселенной несжимаемы. Это предположение неверно если вселенная это классический алгоритм. Тогда любой достаточно большой массив, созданный любым физическим генератором случайных чисел будет сжимаемым.
На практике это означает, что любой физический генератор случайных чисел генерирует только массивы, которые теоретически можно сжать. Их сжимаемость может быть недоказуемой в случае, если на распаковку массива потребуются вычислительнеые ресурсы, превышающие ресурсы вселенной.
Все это очень запутанно и интересно. Мне нигде не попадалось описание попыток исследовать подобные вопросы.


> > Это абсолютно так, если под "случайным массивом" понимать еще не заполненные конкретными значениями поля. Т.е. бессмысленно сжимать файл экспериментальных данных, который уже зарезервировал объем на носителе, но измерения еще не проведены.
> Вообще-то мысль не понял.

Информация не совсем то, что напечатано в книге или записано на диск в виде битовый последовательностей. Рассматривая тело мы говорим, что оно характеризуется (например) объемом и массой. Каков объем этой информации? До проведения измерений мы можем только сказать, что требуется зарезервировать столько то байт памяти. Причем расчеты и их обоснования могут быть разными, но это второй вопрос.
Грамотные люди говорят: архиватор сжимает файл, но не информацию.

> Случайный массив невозможно создать алгоритмом. Его может создать только физическая вселенная (вопрос еще может ли).

В классике достаточно иметь исходные условия и по законам расчитать движение, в таком случае сжимаемость очевидна.


> > > Сжатие случайного массива неосуществимо по весьма очевидной причине:
> > > если сжатый массив меньше, чем исходный, то количество возможных вариантов сжатых массивов меньше, чем количество возможных вариантов исходных массивов.

Это справедливо только в одном случае: если Ваш случайный массив состоит из равновероятных символов. В этом случае количество информации, передаваемой в таком массиве равно объему этого массива. Если же вероятность появления разных символов различна, то такой массив может быть сжат без потерь тем больше, чем больше отличается распределение от равномерного.

> ... можно предположить, что большинство массивов, созданных физической вселенной несжимаемы.

Можно предположить, что если "физическая вселенная создаст массив", то в соответствии с центральной предельной теоремой теории вероятности, распределение символов в таком массиве будет не равномерным, а нормальным - гауссовым. По просту говоря, если случайная физическая величина определяется большим количеством независимых случайных факторов, то эта величина будет иметь нормальное распределение.

Так например, измеренное атмосферное давление в комнате - величина случайная, но вероятность того, что оно окажется около 760 мм. гораздо выше, чем вероятность того, что оно будет 650 мм.
Именно поэтому массив накопленных данных об атмосферном давлении может быть очень эффективно сжат алгоритмами вероятностного кодирования.

Любой, кому приходилось обрабатывать большие массивы измерений каких-либо физических процессов, знает, что держать их в компьютете или пересылать по эл.почте гораздо проще сжав предварительно тем же ZIP.



> > > Предположим у Вас есть столько файлов(страничек), сколько страниц в книге Толстого "Война и Мир". Каждую страничку в отдельности даже самым лучшим архиватором(если она уже была сжата) не слишком сожмешь, тут Вы совершенно правы.
> С этим согласны?
> > > Но что произойдёт если Вы начнёте сжимать не каждую страничку а весь роман сжатый первоначально постранично? Согласны, что эффективность сжатия увеличиться?
> > Не согласен впринципе!

Виноват, прошу прощения! Почемуто я прочитал Ваш текст и понял наоборот - будто бы эффективнее сжимать постранично, а потом сжать то, что получилось...
Конечно же все сжимать разом - эффективнее.

> Ведь увеличение энтропии это увеличение беспорядка.

А что, по-Вашему, несет в себе информацию - порядок, или беспорядок?
Порядок - это когда каждая вещь на своем месте. Но для описания этого не нужно информации (и так все ясно априорно)
Другое дело - беспорядок! Здесь мы можем априорно иметь только вероятностные знания - нужная мне книга с вероятностью 50% находится на столе, на 40% - под ним, а на 10%-в туалете :-)

Значит, каждая конкретная реализация беспорядка требует информации для своего описания. Чем больше беспорядка - тем дольше его описывать!

Вот по этому то энтропия, как мера беспорядка, и есть оцнека того объема информации, который необходим для точного описания состояния системы.

> Полагаю что под понятием "информация" мы подразумеваем разные вещи.
По видимому :-(

> Содержит ли для Вас информацию книга на языке который Вы не понимаете?
Да, причем максимальное количество информации, ибо я даже не имею понятия, о чем она:-)
> А если у Вас есть словарь для перевода с этого языка?
Тогда информации уже меньше.
Если же мне удастся прочитать (вызубрить наизусть) эту книгу, то она уже не будет содержать для меня информации.

Я понимаю под информацией, которую несет в себе что-либо, меру моего НЕЗНАНИЯ этого.
Пусть это книга.
Она имеет некоторую энтропию для меня. Причем тем большую, чем меньше я знаю об этой книге. После того, как я прочту эту книгу, для меня ее энтропия уменьшится. Конечно же, что не до нуля - я не собираюсь учить ее наизусть!
Так на сколько изменилась энтропия книги после прочтения? Именно на тот объем информации, который я получил из нее!

Тоже самое и с природой - чем больше мы знаем о ней, тем больше получаем информации и тем меньше становится для нас ее энтропия.
Вот Вам и закон сохранения информации:
Сумма энтропии физической системы и информации, которой мы об этой системе располагаем - константа.

И ее можно вычислить, как энтропию системы при полном незнании о ней :-)



> > > > Сжатие случайного массива неосуществимо по весьма очевидной причине:
> > > > если сжатый массив меньше, чем исходный, то количество возможных вариантов сжатых массивов меньше, чем количество возможных вариантов исходных массивов.

> Это справедливо только в одном случае: если Ваш случайный массив состоит из равновероятных символов. В этом случае количество информации, передаваемой в таком массиве равно объему этого массива. Если же вероятность появления разных символов различна, то такой массив может быть сжат без потерь тем больше, чем больше отличается распределение от равномерного.

Речь не о вероятности. Речь о том, почему если перечислить все возможные существующие массивы, то подавляющее большинство из них будет несжимаемым
- потому, что возможных коротких массивов существует меньше чем длинных.
Я просто пытался убедить Нео в невозможности создать невозможное.

> ... можно предположить, что большинство массивов, созданных физической вселенной несжимаемы.

> Можно предположить, что если "физическая вселенная создаст массив", то в соответствии с центральной предельной теоремой теории вероятности, распределение символов в таком массиве будет не равномерным, а нормальным - гауссовым.

Я имел ввиду, что большинство массивов с равномернвм распределением, созданные физической вселенной видимо несжимаемы. В отличии от алгоритмов.


>
> > Ведь увеличение энтропии это увеличение беспорядка.
> А что, по-Вашему, несет в себе информацию - порядок, или беспорядок?
Разницы не вижу.Ведь "порядок" есть лишь нюанс беспорядка.
Причём порядки разные бывают.
> Порядок - это когда каждая вещь на своем месте. Но для описания этого не нужно информации (и так все ясно априорно)
Скажем что описать порядок несколько проще.
> Другое дело - беспорядок! Здесь мы можем априорно иметь только вероятностные знания - нужная мне книга с вероятностью 50% находится на столе, на 40% - под ним, а на 10%-в туалете :-)

> Значит, каждая конкретная реализация беспорядка требует информации для своего описания. Чем больше беспорядка - тем дольше его описывать!
И тут проявляется выгода слова "больше" и Ваша ф-ла. Имееем переход кол-ва в качество, чем больше беспорядка тем больше вероятность повтора его собственных фрагментов(чем больше страниц, тем эффективнее сжатие информации).
> Вот по этому то энтропия, как мера беспорядка, и есть оцнека того объема информации, который необходим для точного описания состояния системы.
Но энтропия обязана расти, а с чего бы расти кол-ву информации?
Есть исключения из правил и энтропия может уменьшаться(всё живое этому подтверждение) но за счёт увеличения энтропии окружения.
Как Вы рассматриваете информацию в таком случае?
> > Полагаю что под понятием "информация" мы подразумеваем разные вещи.
> По видимому :-(

> > Содержит ли для Вас информацию книга на языке который Вы не понимаете?
> Да, причем максимальное количество информации, ибо я даже не имею понятия, о чем она:-)
Странно.
> > А если у Вас есть словарь для перевода с этого языка?
> Тогда информации уже меньше.
Но у Вас есть доступ к интернету, тогда информация также падает?
Учтите что эта конкретная книга быть может находится в электроннном, переведённом виде. Что вызывает уменьшение информации? Уже знание о том что где то существует ссылка на эту книгу или критику на эту книгу?
> Если же мне удастся прочитать (вызубрить наизусть) эту книгу, то она уже не будет содержать для меня информации.
Куда изчезает информация в таком случае?
> Я понимаю под информацией, которую несет в себе что-либо, меру моего НЕЗНАНИЯ этого.
Ну а если Вы что то знали и забыли? А потом поднапрялись и снова вспомнили?
> Пусть это книга.
> Она имеет некоторую энтропию для меня. Причем тем большую, чем меньше я знаю об этой книге. После того, как я прочту эту книгу, для меня ее энтропия уменьшится. Конечно же, что не до нуля - я не собираюсь учить ее наизусть!
Но энтропия имеет тенденцию увеличивться, следует из этого что информация также имеет тенденцию увеличиваться?
И что делать если мы в ходе эксперимента приходим к новым познаниям которые одновремено приводят нас к новым вопросам которые мы себен до сих пор не ставили? Увеличивается тогда информация или нет?
> Так на сколько изменилась энтропия книги после прочтения? Именно на тот объем информации, который я получил из нее!
Неужели Вы всеръёз полагаете что прочтение книги уменьшит её энтропию?
Как Вы себе это представляете?
Под увеличением энтропией я понимаю стремление системы к более низкому энергетическому состоянию, обычно уменьшение потенциальной энергии.
ссылка
> Тоже самое и с природой - чем больше мы знаем о ней, тем больше получаем информации и тем меньше становится для нас ее энтропия.
Думаю что Вы пытаетесь нарушить з-ны сохранения.
> Вот Вам и закон сохранения информации:
> Сумма энтропии физической системы и информации, которой мы об этой системе располагаем - константа.
Ну а если мы умираем а с нами и наше приобретённое знание, то как гарантировать Вашу константу?
> И ее можно вычислить, как энтропию системы при полном незнании о ней :-)
Думаю Вы выдаёте желаемое за действительное.
Возьмём физические з-ны. Их работоспособность не зависит от нашего знания о этих з-нах. Эти з-ны просто есть, также как и информация сравнимая с книгой которая лежит у Вас в чулане и о которой Вы даже не подозреваете. Но от этой книги не убудет если Вы её прочитаете.
Ещё пример. Пусть существовала книга которая была написанна и до того как её прочитал первый читатель уничтожена. Имела ли эта книга информацию и если да куда она изчезла? Меня также интересует как Вы расматриваете процесс творчества при написании книги. Откуда берётся по Вашему информация для этой книги?
У меня всё просто. Начальные условия определяют развитие нашей Вселенной и достаточны для описания оной. Т.е. информация нашей Вселенной остаётся неизменной. Энтропия же растёт т.к. наша Вселенная расширяясь охлаждается.


Попробую все же пояснить, что я понимаю под информацией.

Представим себе некую физическую систему, которая может находиться в одном из восьми состояний. Допустим, мы ничего кроме этого об этой самой системе не знаем. Тогда для нас она в данный момент времени она с равной вероятностью может находиться в любом из этих состояний.
Энтропия этой системы равна log(8) = 3.
Для описания того, в каком состоянии находится эта система, можно использовать разные подходы:
Например, написать текстом "состояние номер три", и для этого понадобится около 20 байт информации;
или обойтись одним байтом, записав в нем код символа "3";
а можно использовать только 3 бита, записав в них код 011.
А меньше трех битов уже не получится, и это понятно - для указания одного из 8 состояний требуется как минимум 3 бита информации. Это и есть энтропия системы.
Если мы описываем состояние этой системы 20 байтами - то значит имеет место избыточность информации. Эту информацию можно сжать до трех бит без потерь.

Допустим, мы долго изучали эту самую физическую систему и установили, что вероятность нахождения ее в разных состояниях сильно различается: так в состояниях 1,2,3 и 4 она может находиться с вероятностью 24,99 % , в состояниях 5,7 и 8 - менее 0.003%, а в состоянии 6 - и того меньше.
Таким образом, подсчитав энтропию этой системы с учетом полученных нами знаний об априорном распределении вероятностей состояний, мы получим величину, чуть больше 2.
Именно такой минимальный объем информации (в битах) необходим для описания системы с учетом наших знаний.
Куда же делась информация?
Она получена нами в результате изучения системы. Наши новые знания уменьшили энтропию системы ровно на тот объем информации, который мы получили в результате изучения.

Именно поэтому я утверждаю, что фраза на незнакомом языке таит в себе для меня гораздо больше информации, чем фраза на русском. Для запоминания фразы на русском мне нужно гораздо меньшие объемы памяти, так как к ней добавится информация, которую я получил изучая русский язык.
А может оказаться, что фраза эта: "Волга впадает в Каспийское море." В этом случае она вообще не несет для меня информации, потому что я это и так знаю из уроков географии.

Таким образом я прихожу к интересному выводу:

Информационный объем вещь чисто субъективная и представляет для каждого субъекта разницу энтропии объекта до и после получения этой информации.



> Таким образом я прихожу к интересному выводу:

> Информационный объем вещь чисто субъективная и представляет для каждого субъекта разницу энтропии объекта до и после получения этой информации.

Перейдём на нейтральную почву?
ссылка



> Перейдём на нейтральную почву?


я считаю - обсуждение что такое информация -безсмысленное пустослловие- так как мы стремимся понять информацию ей же самою - а это уже кабалла какая-то


> я считаю - обсуждение что такое информация -безсмысленное пустослловие- так как мы стремимся понять информацию ей же самою - а это уже кабалла какая-то

Тогда обсуждение того - что такое человеческий мозг - тоже "безсмысленное пустословие"? Или нужно "стремиться понять" это какой-нибудь другой частью тела :-)


доброго времяни суток! прочел дискуссию интересный подход кто то тут утверждает что безконечное сжатие не возможно. я бы хотел вам возразить и приведу не большой пример: представте к примеру что у нас есть способ сжимать число(чисто гипотэтически) значит имея 100 символов мы можем сжать до минимального целого числа то есть до "1" (еденицы). значит мы сжали объем информации из 100 ячеек до 1 ячейки далие мы насоберали еще 100 едениц и того у нас получилось уже 101 ячейка информации. и мы опять сжимаем 100 ячеек в одну. и унас получилось 2 ячейки. и так мы проделываем еще 98 раз. и у нас теперь в наличии 100 предворительно сжатых ячеек. и если в первом виде мы не могли сжать информацию меньше чем "1". то теперь мы опять можем дожать информацию до "1". и так мы можем проделывать до бескотечности! от сюдв и следует что сжатие информации это безконечный процесс все зависет от объема имюющеяся информации!! то есть логически это не противоречит правелам физики! значит осталось найти способ такого сжатия! так что в принципе в нашем измерени не должно существовать понятия "не возможно". а просто это сложно сделать на ннашем этаппе интелектуальной эволюци!


> доброго времяни суток! прочел дискуссию интересный подход кто то тут утверждает что безконечное сжатие не возможно. я бы хотел вам возразить и приведу не большой пример: представте к примеру что у нас есть способ сжимать число(чисто гипотэтически) значит имея 100 символов мы можем сжать до минимального целого числа то есть до "1" (еденицы). значит мы сжали объем информации из 100 ячеек до 1 ячейки далие мы насоберали еще 100 едениц и того у нас получилось уже 101 ячейка информации. и мы опять сжимаем 100 ячеек в одну. и унас получилось 2 ячейки. и так мы проделываем еще 98 раз. и у нас теперь в наличии 100 предворительно сжатых ячеек. и если в первом виде мы не могли сжать информацию меньше чем "1". то теперь мы опять можем дожать информацию до "1". и так мы можем проделывать до бескотечности! от сюдв и следует что сжатие информации это безконечный процесс все зависет от объема имюющеяся информации!! то есть логически это не противоречит правелам физики! значит осталось найти способ такого сжатия! так что в принципе в нашем измерени не должно существовать понятия "не возможно". а просто это сложно сделать на ннашем этаппе интелектуальной эволюци!

Ладно, давайте представим, что есть некий алгоритм, который позволяет (пусть за очень большое время) сжать 1МБайт информации до 1-го бита.
Пусть этот бит в итоге оказался равен единице.
Не будете же вы утверждать, что возможен алгоритм, который восстановит текст записанного мной сообщения из одного единичного бита не имея никакой дополнительной информации.
З.Ы.: Надеюсь, понятно что я сказал?


> > доброго времяни суток! прочел дискуссию интересный подход кто то тут утверждает что безконечное сжатие не возможно. я бы хотел вам возразить и приведу не большой пример: представте к примеру что у нас есть способ сжимать число(чисто гипотэтически) значит имея 100 символов мы можем сжать до минимального целого числа то есть до "1" (еденицы). значит мы сжали объем информации из 100 ячеек до 1 ячейки далие мы насоберали еще 100 едениц и того у нас получилось уже 101 ячейка информации. и мы опять сжимаем 100 ячеек в одну. и унас получилось 2 ячейки. и так мы проделываем еще 98 раз. и у нас теперь в наличии 100 предворительно сжатых ячеек. и если в первом виде мы не могли сжать информацию меньше чем "1". то теперь мы опять можем дожать информацию до "1". и так мы можем проделывать до бескотечности! от сюдв и следует что сжатие информации это безконечный процесс все зависет от объема имюющеяся информации!! то есть логически это не противоречит правелам физики! значит осталось найти способ такого сжатия! так что в принципе в нашем измерени не должно существовать понятия "не возможно". а просто это сложно сделать на ннашем этаппе интелектуальной эволюци!

> Ладно, давайте представим, что есть некий алгоритм, который позволяет (пусть за очень большое время) сжать 1МБайт информации до 1-го бита.
> Пусть этот бит в итоге оказался равен единице.
> Не будете же вы утверждать, что возможен алгоритм, который восстановит текст записанного мной сообщения из одного единичного бита не имея никакой дополнительной информации.
> З.Ы.: Надеюсь, понятно что я сказал?


если бит будет представлен в виде бинарной системе (двоичный код) то разумеется нет! но если мы интарпритируем двоичную систему в обычную цыфравую то это можно сделать! к примеру задать две мнимые еденицы и из двух возможных комбинаций мы можем получить три вареанта ответа значит из этого мы можем определить второе постановочное значение и повторяя такой принцип шифравания (кодировки) мы сможем востановить всю информацию!!! :)


Физика в анимациях - Купить диск - Тесты по физике - Графики on-line

Реклама:
Rambler's Top100