Определение погрешности метода наименьших квадратов

Сообщение №74656 от Alexander 10 сентября 2013 г. 22:32
Тема: Определение погрешности метода наименьших квадратов

В лабораторном практикуме МФТИ есть работа Работа 1.2. Определение моментов инерции твёрдых тел с помощью трифилярного подвеса и методика определения погрешности результата (стр.36-40). Мне представляется, что в этой методике явно есть проблемы. Согласно предлагаемой методике на график добавляются систематические ошибки в виде отрезков или крестов, затем строятся две крайние прямые по этим крестам и угол между ними делится на корень из числа измерений. Полученное число выдают за погрешность метода наименьших квадратов. Очевидно если использованы систематические погрешности, то результат не должен зависеть от числа измерений. Иначе если например у вольтметра стоит неточный шунт, дающий мультипликативную систематическую погрешность, то его точность можно поднять увеличением числа измерений, что абсурдно. Буду рад, если кто-то, кто в теме, сможет прокомментировать.


Отклики на это сообщение:

> В лабораторном практикуме МФТИ есть работа Работа 1.2. Определение моментов инерции твёрдых тел с помощью трифилярного подвеса и методика определения погрешности результата (стр.36-40). Мне представляется, что в этой методике явно есть проблемы. Согласно предлагаемой методике на график добавляются систематические ошибки в виде отрезков или крестов, затем строятся две крайние прямые по этим крестам и угол между ними делится на корень из числа измерений. Полученное число выдают за погрешность метода наименьших квадратов. Очевидно если использованы систематические погрешности, то результат не должен зависеть от числа измерений. Иначе если например у вольтметра стоит неточный шунт, дающий мультипликативную систематическую погрешность, то его точность можно поднять увеличением числа измерений, что абсурдно. Буду рад, если кто-то, кто в теме, сможет прокомментировать.

В методичке действительно написано нечто странное.
Почему неточность измерения длины считается систематической ошибкой? Стандартно её относят к
случайным (из-за "скважности" миллиметровых делений). Систематика здесь была бы при неправильной
линейке, но тогда почему неправильность оценена именно в 1 мм? В принципе, это следует проверять сопоставлением данной линейки с эталонной, после чего вносить соответствующую поправку. Конечно же, систематику нельзя скомпенсировать числом измерений.
Я бы посоветовал вежливо поговорить с автором методички - что он имел в виду? Мне, к сожалению, приходилось обнаруживать довольно грубые ошибки (путались разные эффекты) в таких физтеховских методичках.


1. ЗАДАНИЕ. стр. 14 пункт 2 ----- Цитата:" ...Суммарную погрешность найдите, сложив систематическую и случайную погрешность среднеквадратично."
Почему среднеквадратично? Может быть авторы методики считают систематическую ошибку измерения времени случайной величиной?

2 Не понятно, почему авторы считают ошибку измерения h (расстояния между центрами половинок полудисков) зависящей от величины h. Это зависит от конструктивных особенностей прибора и способа определения h.


> Почему неточность измерения длины считается систематической ошибкой? Стандартно её относят к
> случайным (из-за "скважности" миллиметровых делений). Систематика здесь была бы при неправильной
> линейке, но тогда почему неправильность оценена именно в 1 мм? В принципе, это следует проверять сопоставлением данной линейки с эталонной, после чего вносить соответствующую поправку. Конечно же, систематику нельзя скомпенсировать числом измерений.

Я тоже считаю, что погрешность определения h случайная. Метки нанесены очень точно. Мы можем случайно ошибиться ± деление (1 мм). Но это наша максимальная ошибка. Если распределение ошибок нормальное, то это 3 сигма. Реально распределение может быть параболическим или каким-то ещё, поэтому для оценок часто берут половину деления. Если такую ошибку отложить на графике, то точки должны появляться не только вблизи прямой, но случайно отклоняться от неё на эту величину. В приведённых графиках это не наблюдается. Погрешность явно завышена. Реально мы ошибаемся на половину деления (0,5 мм) и это близко к 2-3 сигма. Систематическая же погрешность (аддитивная, мультипликативная и пр) должна в первую очередь проявляться в нелинейности графика, а не в разбросе точек, чего не наблюдается. Ну хорошо, предположим отложены не систематические погрешности, как написано в методичке, а случайные. Далее строятся прямые по крайним точкам крестов ошибок, находится угол между ними и результат делится на корень из числа точек. Суть моего возражения состоит, что такой метод нигде не описан. Я не нашёл его в Сквайерсе, Зайделе, учебниках МФТИ и др. ВУЗов. Стандартный метод состоит в определении таких прямых, чтобы 2/3 и 1/3 лежали сверху и снизу. При этом кресты ошибок не строятся и предполагается, что погрешности всех точек независимы и одинаковы. Ну предположим, эти два метода эквивалентны. Но авторы методики не сообщают как нужно проводить прямые: по кончикам крестов ошибок, по серединам или где-то на уровне 2/3. И уж тем более всё усложняется в случае, когда погрешности по горизонтали сопоставимы с погрешностями по вертикали и меняются от точки к точке. В этом случае стандартный метод наименьших квадратов вообще неприменим, а графический метод требует существенных обоснований. Вот собственно этих обоснований я и не нахожу.

> Я бы посоветовал вежливо поговорить с автором методички - что он имел в виду? Мне, к сожалению, приходилось обнаруживать довольно грубые ошибки (путались разные эффекты) в таких физтеховских методичках.

Я так думаю, что все эти методички делаются наспех и не проходят достаточной проверки, как это было бы в случае публикации статьи или книги. Собственно в ранее изданных книгах я не нахожу тех противоречий, которые появляются в нынешних методичках. Проблема состоит в том, что изложенная методика широко используется в МФТИ разными преподавателями, несмотря на то, что она не является "сертифицированной", нигде не описана и область её применения не оговорена. Это в ряде случаев приводит к неправильным оценкам ошибок измерений, что однако остаётся незамеченным, так как это не публикуется, не связано с решением реальных научных или производственных задач, а студенты все эти лабы быстро забывают.


> 1. ЗАДАНИЕ. стр. 14 пункт 2 ----- Цитата:" ...Суммарную погрешность найдите, сложив систематическую и случайную погрешность среднеквадратично."
> Почему среднеквадратично?

Так действительно делается. См., например, "Лабораторные занятия по физике" под ред.Гольдина. Правомерность и применимость этого - несколько иной вопрос.

> 2 Не понятно, почему авторы считают ошибку измерения h (расстояния между центрами половинок полудисков) зависящей от величины h. Это зависит от конструктивных особенностей прибора и способа определения h.

Погрешность h² линейно зависит от h.


> > Почему неточность измерения длины считается систематической ошибкой? Стандартно её относят к
> > случайным (из-за "скважности" миллиметровых делений). Систематика здесь была бы при неправильной
> > линейке, но тогда почему неправильность оценена именно в 1 мм? В принципе, это следует проверять сопоставлением данной линейки с эталонной, после чего вносить соответствующую поправку. Конечно же, систематику нельзя скомпенсировать числом измерений.

> Я тоже считаю, что погрешность определения h случайная. Метки нанесены очень точно. Мы можем случайно ошибиться ± деление (1 мм). Но это наша максимальная ошибка. Если распределение ошибок нормальное, то это 3 сигма. Реально распределение может быть параболическим или каким-то ещё, поэтому для оценок часто берут половину деления. Если такую ошибку отложить на графике, то точки должны появляться не только вблизи прямой, но случайно отклоняться от неё на эту величину. В приведённых графиках это не наблюдается. Погрешность явно завышена. Реально мы ошибаемся на половину деления (0,5 мм) и это близко к 2-3 сигма. Систематическая же погрешность (аддитивная, мультипликативная и пр) должна в первую очередь проявляться в нелинейности графика, а не в разбросе точек, чего не наблюдается. Ну хорошо, предположим отложены не систематические погрешности, как написано в методичке, а случайные. Далее строятся прямые по крайним точкам крестов ошибок, находится угол между ними и результат делится на корень из числа точек. Суть моего возражения состоит, что такой метод нигде не описан. Я не нашёл его в Сквайерсе, Зайделе, учебниках МФТИ и др. ВУЗов. Стандартный метод состоит в определении таких прямых, чтобы 2/3 и 1/3 лежали сверху и снизу. При этом кресты ошибок не строятся и предполагается, что погрешности всех точек независимы и одинаковы. Ну предположим, эти два метода эквивалентны. Но авторы методики не сообщают как нужно проводить прямые: по кончикам крестов ошибок, по серединам или где-то на уровне 2/3. И уж тем более всё усложняется в случае, когда погрешности по горизонтали сопоставимы с погрешностями по вертикали и меняются от точки к точке. В этом случае стандартный метод наименьших квадратов вообще неприменим, а графический метод требует существенных обоснований. Вот собственно этих обоснований я и не нахожу.

Ну, я также считаю, что на Сквайрса ориентироваться не в пример как лучше.

> > Я бы посоветовал вежливо поговорить с автором методички - что он имел в виду? Мне, к сожалению, приходилось обнаруживать довольно грубые ошибки (путались разные эффекты) в таких физтеховских методичках.

> Я так думаю, что все эти методички делаются наспех и не проходят достаточной проверки, как это было бы в случае публикации статьи или книги. Собственно в ранее изданных книгах я не нахожу тех противоречий, которые появляются в нынешних методичках. Проблема состоит в том, что изложенная методика широко используется в МФТИ разными преподавателями, несмотря на то, что она не является "сертифицированной", нигде не описана и область её применения не оговорена. Это в ряде случаев приводит к неправильным оценкам ошибок измерений, что однако остаётся незамеченным, так как это не публикуется, не связано с решением реальных научных или производственных задач, а студенты все эти лабы быстро забывают.

Ну, я опять согласен, но всё-таки очень рекомендую поговорить с автором. Вводить студентов в заблужднение есть грех. Ну и, вдруг, там всё нормально, просто ход мысли причудлив, и мы его не улавливаем. Но методичку надо менять.


Описанный в методичке метод как фольклор, он довольно часто используется, но никто не знает его автора. Поэтому каждый интерпретирует его как хочет, что зачастую это приводит к неправильной оценке погрешностей. А так как лабораторку сделал и забыл, то до правильности метода никто особо не докапывается. Я так думаю, что при определённых оговорках данный метод использовать можно, но у меня есть несколько вопросов:
1) Где опубликован данный метод (рецензируемые статьи, учебники)?
2) Систематическую погрешность откладывать в виде крестов ошибок можно и даже иногда нужно, но не нужно затем по ним находить погрешность МНК, а именно делить угол между двумя предельными прямыми на корень из числа измерений. Мы не можем устранить систематическую ошибку многократным повторением эксперимента.
3) Если мы откладываем случайную погрешность в виде "крестов ошибок" и обрабатываем далее результат графическим методом, то нужны обоснования проведения предельных прямых по этим крестам (края отрезков, их середины, на уровне 2/3, углы квадратов, все ли кресты учитывать и т.д). Также совершенно непонятно как поступать, если ошибки существенно различные у различных точек. То, как это сделано в методичке, представляется мне по крайней мере не обоснованным.
4) Используя МНК и его модификации нужно иметь в виду, что погрешности по координате x должны быть много меньше погрешности по координате y (если это не так, то используется пересчёт ошибок по x на y) и в простейших формулах эти погрешности должны быть одинаковыми. Если погрешности разные, то в формулах нужно использовать статистический вес каждой точки.

Надеюсь на ответ авторов данного методического пособия и прочих специалистов и преподавателей, которые с этим сталкивались.



> 4) Используя МНК и его модификации нужно иметь в виду, что погрешности по координате x должны быть много меньше погрешности по координате y (если это не так, то используется пересчёт ошибок по x на y) и в простейших формулах эти погрешности должны быть одинаковыми. Если погрешности разные, то в формулах нужно использовать статистический вес каждой точки.

Кроме того, нужно иметь в виду, что МНК требует гауссовых ошибок. В противном случае лучше честно применять ММП, частным случаем которого является МНК. Типичный пример ошибки - применение МНК для фита гистограммы с небольшим числом входов (особенно содержащей нулевые бины). Из-за магой статистики в бинах пуассоновское распределение даже приближенно нельзя считать нормальным...


Раз Вам удобнее обсуждать проблемы публично, так и быть, я отвечу здесь (но могли бы сначала изложить претензии в письме или лично).

Во-первых, неточность в вашем комментарии
> Полученное число выдают за погрешность метода наименьших квадратов.

Ничего подобного. Там проводится попытка ошибку опыта графически ВМЕСТО метода наименьших квадратов. А вовсе не попытка выдать эту погрешность за ошибку МНК.

Теперь по существу. Ваши вопросы породили и во мне сомнения (хотя методичку читал рецензент и несколько наших коллег, и претензий у них не возникло -- возможно сей метод есть коллективное заблуждение кафедры). Посему вместо защиты своего текста, я предпочел бы поставить вопрос прямо: как надо поступать в таком случае при оценке погрешности?

Конкретная постановка задачи: есть ограниченный набор весьма неточных измерений. Известны размеры "крестов" на графике --- априорная оценка возможной (систематической или случайной) погрешности измерений. Ввиду недостаточности статистики, метод наименьших квадратов для оценки погрешности не годится. Как правильно (насколько возможно корректно) оценить погрешность полученных по графику коэффициентов прямой?


1) То, что набор ограничен, а измерения весьма неточны - это для МНК само по себе не страшно.
2) Одно из главных условий МНК - некоррелированные ошибки точек. Поэтому я бы не стал включать в "кресты" оценку систематической ошибки. Как раз она может оказаться для разных точек сильно скоррелированной. Условно говоря, кривая линейка врёт на протяжении всего эксперимента в одну и ту же сторону. То есть разумно использовать МНК для оценки именно статистической ошибки.
3) Самый общий метод оценки параметров и их ошибок - метод максимального правдоподобия. Тот и с корреляциями справится, и негауссовыми ошибками. Но больно уж трудоёмок...


> 2) Одно из главных условий МНК - некоррелированные ошибки точек. Поэтому я бы не стал включать в "кресты" оценку систематической ошибки. Как раз она может оказаться для разных точек сильно скоррелированной. Условно говоря, кривая линейка врёт на протяжении всего эксперимента в одну и ту же сторону. То есть разумно использовать МНК для оценки именно статистической ошибки.

То, что МНК использовать неразумно при наличии большой систематической ошибки -- очевидно. Вопрос в том, чем воспользоваться вместо МНК.

> 3) Самый общий метод оценки параметров и их ошибок - метод максимального правдоподобия. Тот и с корреляциями справится, и негауссовыми ошибками. Но больно уж трудоёмок...

На сколько я понимаю, для использования этого метода надо все-таки заранее выбрать какое-то распределение, для которого будут определяться параметры. Или я не прав? А если прав, то где ж его взть в конкретном случае?

Также еще добавлю: всё это должны делать студенты первого курса, ни о каком знании матстатистики не может быть и речи. Студенты провели опыт, получили результат и должны иметь разумный метод оценки точности этого результата.


> Почему неточность измерения длины считается систематической ошибкой? Стандартно её относят к
> случайным (из-за "скважности" миллиметровых делений). Систематика здесь была бы при неправильной
> линейке, но тогда почему неправильность оценена именно в 1 мм?

Интересный вопрос, по поводу которого согласия в литературе нет. Физтеховские лабники и методички, к примеру, по этому поводу вообще не заморачиваются, называя погрешность отсчёта по шкале (или по линейке) в одном месте случайной ошибкой, в другом -- систематической, в зависимости от того, что удобнее. Что не удивительно, посколько пишут эти лабники десятки людей.

Приведу запутывающий пример из реальной лабораторной работы: имеется штангенциркуль, его погрешность 0.05 мм. С помощью него проводится 10 измерений диаметра проволоки. Все измерения дают одинаковое значение d = 0.4 мм. То есть никакой случайности нет. Однако очевидно, что ошибка опыта --- те же 0.05 мм, то есть ошибка отсчёта по шкале прибора. Случайная ли это ошибка или систематическая?


> Метки нанесены очень точно.

Проделайте эту работу. Там положение грузов измеряется не линейкой, а метками на подставке. Реально точность в +-1мм -- это даже завышенная оценка.

> точки должны появляться не только вблизи прямой, но случайно отклоняться от неё на эту величину

Может быть и должны, но, предположим, в пределах одного учебного эксперимента они не отклонились. Точки легли на прямую гораздо лучше, чем априорно ожидалось. Как тогда оценить ошибку опыта?

> Систематическая же погрешность (аддитивная, мультипликативная и пр) должна в первую очередь проявляться в нелинейности графика, а не в разбросе точек, чего не наблюдается.

Почему именно в нелинейности? Она может проявится просто в смещении всех точек на одну величину.

> Суть моего возражения состоит, что такой метод нигде не описан.

Если суть вашего возражения только в этом, то суть моего ответа будет очень проста: нигде не написано, что данная методичка рекомендована министерством к использованию в вузах.

Давайте все-таки обсуждать содержание проблемы, а не где что опубликовано и насколько великие имена стоят в подписи под тем или иным текстом.


1) Метод наименьших квадратов позволяет оценить наиболее вероятное значение параметра и его статистическую ошибку. Оценка систематической ошибки с МНК никак не связана и должна делаться независимо.

2) Для использования любого метода нужно знать (или делать предположение) вид функции распределения случайной величины. МНК есть всего лишь частный случай ММП для гауссовых ошибок.

3) Вроде как раньше теория вероятностей читалась на 1м курсе. Правда, возможно, не в первом семестре. Но, в любом случае, боюсь, что без минимального знания матстатистики будет сложно объяснить студентам суть любого метода оценки ошибок.


> > Почему неточность измерения длины считается систематической ошибкой? Стандартно её относят к
> > случайным (из-за "скважности" миллиметровых делений). Систематика здесь была бы при неправильной
> > линейке, но тогда почему неправильность оценена именно в 1 мм?

> Интересный вопрос, по поводу которого согласия в литературе нет. Физтеховские лабники и методички, к примеру, по этому поводу вообще не заморачиваются, называя погрешность отсчёта по шкале (или по линейке) в одном месте случайной ошибкой, в другом -- систематической, в зависимости от того, что удобнее. Что не удивительно, посколько пишут эти лабники десятки людей.

> Приведу запутывающий пример из реальной лабораторной работы: имеется штангенциркуль, его погрешность 0.05 мм. С помощью него проводится 10 измерений диаметра проволоки. Все измерения дают одинаковое значение d = 0.4 мм. То есть никакой случайности нет. Однако очевидно, что ошибка опыта --- те же 0.05 мм, то есть ошибка отсчёта по шкале прибора. Случайная ли это ошибка или систематическая?

Зависит от. Если измеряется что-то одно, то систематическая (мы попадаем всё время в одно место между делениями). Если одной и той же линейкой разные длины (как в обсуждаемой методичке), то случайная (не видно причин, по которым всё время будем попадать в избыток или недостаток). В этом случае систематика возникает, если линейка "неправильная". Это проверяется сравнением с эталоном.
Посмотрите Сквайрса "Практическая физика". Жизнь, конечно, сложна и какие-то корреляции могут возникнуть. Именно поэтому анализ ошибок - сложная штука, близкая к искусству (как и вообще применение статистики к реальной жизни).


> 1) Метод наименьших квадратов позволяет оценить наиболее вероятное значение параметра и его статистическую ошибку. Оценка систематической ошибки с МНК никак не связана и должна делаться независимо.

Я разве утверждал обратное. Зачем вы повторяете банальности?

> 2) Для использования любого метода нужно знать (или делать предположение) вид функции распределения случайной величины. МНК есть всего лишь частный случай ММП для гауссовых ошибок.

А поскольку единственное разумное предположение в рамках учебного эксперимента -- гауссовость ошибок, то ММП ничего нового нам не приносит.

> 3) Вроде как раньше теория вероятностей читалась на 1м курсе. Правда, возможно, не в первом семестре. Но, в любом случае, боюсь, что без минимального знания матстатистики будет сложно объяснить студентам суть любого метода оценки ошибок.

Теорвер никогда не читался в 1-м семестре. Лишь на некоторых факультетах -- во 2-м. Не говоря уж о матстатистике. На самом деле, если в сложных вещах хорошо разобраться, то их всегда можно объяснить простым языком, на этом всё обучение в иституте основано. А с вашей логикой можно откладывать изучение механики до знакомства с теорией дифференциальных уравнений, электричества -- до знакомства с теорией векторных полей, и т.д.


> А поскольку единственное разумное предположение в рамках учебного эксперимента -- гауссовость ошибок, то ММП ничего нового нам не приносит.

А как Вы донесёте это до студента, который не знает, что такое центральная предельная теорема? Заставите просто поверить? Но это уже ближе к религии. И это при том, что не составит никакого труда привести совершенно жизненные примеры, когда ошибки заведомо негауссовы...


> Теорвер никогда не читался в 1-м семестре. Лишь на некоторых факультетах -- во 2-м. Не говоря уж о матстатистике. На самом деле, если в сложных вещах хорошо разобраться, то их всегда можно объяснить простым языком, на этом всё обучение в иституте основано. А с вашей логикой можно откладывать изучение механики до знакомства с теорией дифференциальных уравнений, электричества -- до знакомства с теорией векторных полей, и т.д.

Вовсе нет. Если мне не изменяет память, в лабнике всегда был раздел, в котором излагались основы теории вероятности и матстатистики. Могу ошибаться, но там и метод наименьших квадратов, вроде как, был описан на уровне, вполне понятном первокурснику. Вобщем, как ни крути, но от курса молодого бойца по матстатистике первокурснику никуда не деться.


> Именно поэтому анализ ошибок - сложная штука, близкая к искусству (как и вообще применение статистики к реальной жизни).

А иногда даже к шаманству


> Может быть и должны, но, предположим, в пределах одного учебного эксперимента они не отклонились. Точки легли на прямую гораздо лучше, чем априорно ожидалось. Как тогда оценить ошибку опыта?

Вы слишком утилитарно подходите к МНК. Изначально это метод проверки статистических гипотез и уж только потом - метод оценки параметров. То есть результат применения МНК для апроксимации некоторой экспериментальной зависимости некоторой кривой есть не только параметры этой кривой и её ошибки. Прежде всего результат - это минимальное значение X2. Зная это значение и число степеней свободы, можно оценить, насколько вероятно было получить такое значение X2 в случае, если Ваше предположение об ошибках точек и виде апроксимирующей кривой верно. И если Вы получили нереалистичный X2, то прежде стоит задуматься не об ошибке опыта, а о том, действительно ли имеет место та зависимость, которую Вы пытаетесь "натянуть" на точки и правильно ли Вы оцениваете ошибки каждой точки.

В приведённом Вами примере первое, что приходит в голову - Вы переоценили ошибки точек (минимальное значение X2 невероятно мало).


> Зависит от. Если измеряется что-то одно, то систематическая (мы попадаем всё время в одно место между делениями). Если одной и той же линейкой разные длины (как в обсуждаемой методичке), то случайная (не видно причин, по которым всё время будем попадать в избыток или недостаток). В этом случае систематика возникает, если линейка "неправильная". Это проверяется сравнением с эталоном.
> Посмотрите Сквайрса "Практическая физика". Жизнь, конечно, сложна и какие-то корреляции могут возникнуть. Именно поэтому анализ ошибок - сложная штука, близкая к искусству (как и вообще применение статистики к реальной жизни).

Ну Сквайрс, к примеру, предлагает следующий метод обращения с систематическими ошибками: если невомзожно определить их конкретную величину и устранить непосредственно, нужно оценивать их максимальную возможную величину и затем складывать наравне со случайными для получения полной ошибки опыта. (гл. 4, параграф 1д). В целом, ровно это и делается в обсуждаемой методичке. Единственный вопрос, который мне хотелось бы выяснить, как всё-таки правильно оценить погрешность проведения прямой по графику, на котором отмечены кресты ошибок (т.е. величины априорных оценок ошибок измерения, не важно случайных или систематических).

Кстати о Сквайрсе, в том же параграфе есть прекрасная фраза, выглядящая примерно следующим образом "систематические ошибки устраняют..., случайные вычисляют по ... методам, а ОСТАЛЬНЫЕ ошибки грубо оценивают". То есть бывают еще и "остальные" ошибки, что еще раз показывает что и лучшие книги не свободны от противоречий в терминологии.

И еще. Предположим мы измеряем одной и той же линейкой разные длины. Вы утверждаете, что ошибка в полцены деления -- случайная. Значит ли это, что многократными измерениями (возможно даже большим количеством разных линеек), можно эту случайную ошибку уменьшить (и сделать её значиельно меньше цены деления)?


> Вобщем, как ни крути, но от курса молодого бойца по матстатистике первокурснику никуда не деться.

О таком курсе здесь речь вообще-то и идет. Только не по матстатистике, а куда проще --- по основам экспериментальной физики. Даже если в таком курсе будет упомянута ЦПТ, то уж точно она будет приведена без доказательства. Да, придется пока поверить. Пока. Оставьте свои страхи перед религией, это стандартный метод в обучении -- утверждения часто приводятся без доказательств (есствественно, с указанием, где доказательства и прочие подробности можно при желании найти)


> > Зависит от. Если измеряется что-то одно, то систематическая (мы попадаем всё время в одно место между делениями). Если одной и той же линейкой разные длины (как в обсуждаемой методичке), то случайная (не видно причин, по которым всё время будем попадать в избыток или недостаток). В этом случае систематика возникает, если линейка "неправильная". Это проверяется сравнением с эталоном.
> > Посмотрите Сквайрса "Практическая физика". Жизнь, конечно, сложна и какие-то корреляции могут возникнуть. Именно поэтому анализ ошибок - сложная штука, близкая к искусству (как и вообще применение статистики к реальной жизни).

> Ну Сквайрс, к примеру, предлагает следующий метод обращения с систематическими ошибками: если невомзожно определить их конкретную величину и устранить непосредственно, нужно оценивать их максимальную возможную величину и затем складывать наравне со случайными для получения полной ошибки опыта. (гл. 4, параграф 1д). В целом, ровно это и делается в обсуждаемой методичке. Единственный вопрос, который мне хотелось бы выяснить, как всё-таки правильно оценить погрешность проведения прямой по графику, на котором отмечены кресты ошибок (т.е. величины априорных оценок ошибок измерения, не важно случайных или систематических).

Не думаю, что здесь есть универсальные рецепты. Если не предполагать гауссовость и пр.

> Кстати о Сквайрсе, в том же параграфе есть прекрасная фраза, выглядящая примерно следующим образом "систематические ошибки устраняют..., случайные вычисляют по ... методам, а ОСТАЛЬНЫЕ ошибки грубо оценивают". То есть бывают еще и "остальные" ошибки, что еще раз показывает что и лучшие книги не свободны от противоречий в терминологии.

Возможно, он имел в виду, например, что не все систематические удалось устранить. Оставшиеся приходится оценивать. Не надо сразу кидаться, я и топик-стартёру советовал не ругаться, а поговорить с автором методички (с Вами?) для уточнения позиций.

> И еще. Предположим мы измеряем одной и той же линейкой разные длины. Вы утверждаете, что ошибка в полцены деления -- случайная. Значит ли это, что многократными измерениями (возможно даже большим количеством разных линеек), можно эту случайную ошибку уменьшить (и сделать её значиельно меньше цены деления)?

Не понимаю вопроса. Если, например, мы измеряем (идеальной) линейкой какие-то длины, то каждое такое измерение конкретной длины имеет систематическую ошибку. Устранить её сколь угодно кратными измерениями нельзя (повторяю, если линейка была идеально правильной). Но совокупность таких ошибок (для совокупности измерений разных длин) можно считать случайной величиной с некоторым распределением (скажем, равномерным на отрезке полделения шкалы). Поэтому если мы исследуем экспериментально, например, зависимость "длина проволокисопротивление проволоки", и сопротивление (для простоты) измеряем точно, то ошибку в коэффициенте повышением числа измерений уменьшить можем. Если, конечно, не многократно измеряем одни и те же проволоки, а увеличиваем число измеряемых проволок.


Только что приехал с дачи и пока ещё не успел прочитать все комментарии. Кстати, на даче занимался измерением сопротивления заземления в виде закопанного ведра. Тоже своего рода лабораторная работа с построением разных графиков и обработкой результатов.

> Раз Вам удобнее обсуждать проблемы публично, так и быть, я отвечу здесь (но могли бы сначала изложить претензии в письме или лично).

Ну во-первых, либо "так и быть", либо обсуждаем проблему. Считаю, что обсуждать её нужно именно публично и форум - очень удобное место для этого. Никаких претензий.. Более того методичка - лишь повод для начала этого разговора. Проблема состоит в том, что наверное треть студентов обрабатывает результаты, как описано в конце методички. Причём кто-то заносит в "кресты" случайную ошибку, кто-то систематическую. Кто-то проводит предельные прямые по углам квадратов, кто-то по серединам отрезков. Кто-то делит на корень из N, кто-то нет. И когда спрашиваешь о том, почему человек делает так, а не иначе, то он ссылается на преподавателя, который его так учил. Таким образом один учит так, другой иначе, но нигде нет чёткого изложения методики, её обоснования и ограничений. Преподаватели же часто говорят, что дело тёмное, ну как-нибудь оценим и ладно. В результате часто получается ну вообще ни разу не правильно. Я предлагаю сделать рассылку по преподавателям и предложить им присоединиться к этому обсуждению. Также некоторые люди, считающие себя специалистами в этой области, взялись выступить на научно-методическом семинаре. Думаю, что принять участие в таком семинаре могут не только сотрудники МФТИ.

> Во-первых, неточность в вашем комментарии
> > Полученное число выдают за погрешность метода наименьших квадратов.

> Ничего подобного. Там проводится попытка ошибку опыта графически ВМЕСТО метода наименьших квадратов. А вовсе не попытка выдать эту погрешность за ошибку МНК.

> Посему вместо защиты своего текста, я предпочел бы поставить вопрос прямо: как надо поступать в таком случае при оценке погрешности?

> Конкретная постановка задачи: есть ограниченный набор весьма неточных измерений. Известны размеры "крестов" на графике --- априорная оценка возможной (систематической или случайной) погрешности измерений. Ввиду недостаточности статистики, метод наименьших квадратов для оценки погрешности не годится. Как правильно (насколько возможно корректно) оценить погрешность полученных по графику коэффициентов прямой?

Я вполне представляю, как эту задачу можно решить. Точек 20 - уже достаточная статистика для МНК, нужно только пересчитать погрешности по x на у и использовать каждую точку с её статистическим весом. Собственно этот метод описан в учебнике "Лабораторный практикум по общей физике", том.3 Квантовая физика. Попробую проделать этот вывод на примере обсуждаемой лабораторной, нужно только найти хоть немного времени.


Ну раз нет претензий, то и славно. Давайте обсуждать проблему.

> Точек 20 - уже достаточная статистика для МНК

К сожалению, реальность учебного эксперимента -- это 6-8 точек. Причем с большими погрешностями.
Поэтому, уверен, нужно искать путь к максимально корректной оценке погрешности именно по графику.


> Ну раз нет претензий, то и славно. Давайте обсуждать проблему.

> > Точек 20 - уже достаточная статистика для МНК

> К сожалению, реальность учебного эксперимента -- это 6-8 точек. Причем с большими погрешностями.
> Поэтому, уверен, нужно искать путь к максимально корректной оценке погрешности именно по графику.

Ей богу никак не пойму, что мешает применять МНК к 6-8 точкам и какое значение имеет тот факт, что погрешности большие... Вас смущает, что при малых NDF распределение χ2 само далеко от нормального?


> К сожалению, реальность учебного эксперимента -- это 6-8 точек. Причем с большими погрешностями.

Это вопрос планирования эксперимента. Обычно в учебной лаборатории сделать 15-20 измерений не занимает много времени. Тем более что значительная часть лабораторных автоматизирована. Даже в работе с трифилярным подвесом таких измерений 15. Но даже по 8-и точкам не вижу проблемы построения прямой по МНК. И если наилучшая прямая строится аналитически, то и погрешности полученных коэффициентов нужно искать аналитически. При этом не стоит пугаться, когда погрешность массы по МНК составляет 0,4%, а погрешность h² - 3% и сразу утверждать, что "МНК сильно завышает реальную точность измерения" и пытаться пересчитать её графически. Тут ведь идёт усреднение по 15 точкам.

> Поэтому, уверен, нужно искать путь к максимально корректной оценке погрешности именно по графику.

По сути точки при разных h нам нужны лишь для того, чтобы убедиться, что они ложатся точно на прямую. Вот тут-то нам и понадобятся и "кресты", и критерий значимости χ². Если же мы хотим выжать максимальную точность построения прямой, то лучше сделать половину измерений при x=0 и половину при x=xmax. Что касается того, что "нужно искать путь к максимально корректной оценке погрешности именно по графику", то конечно графический метод в ряде случаев может сэкономить время, наглядно показать выпадающие точки и зону нелинейности. В литературе изложен метод, когда прямая шевелится по углу и высоте так, чтобы с одной стороны от неё лежало 2/3 точек, а по другую 1/3 и наоборот. Это хорошо работает, когда статистический вес точек одинаков, их много и они имеют довольно большой разброс (иначе размер самой точки становится сравним с погрешностью и нужно строить очень большой график). Однако многие студенты и преподаватели пользуются графическим методом определения случайных погрешностей наилучшей прямой по крестам. Я бы хотел увидеть чёткое изложение этого метода, его обоснование и ограничения.


В случае, когда погрешности точек существенно отличаются, то нужно пользоваться взвешенным МНК, учитывающий статистический вес каждой точки. При этом если погрешности по x велики, то их нужно пересчитать на y. Я попробовал просчитать данные из методички по формулам из Скваерса. Это оказалось не намного сложнее, чем обычный МНК. Можно завести в Excel шаблон и подставлять в него колонки данных с их погрешностями.

Получилась наилучшая прямая в виде y=mx+c, где
m = 1,42 ± 0,01 кг (0,5%)
с = 1,73 ± 0,01 г·м² (0,6%)

В качестве случайной погрешности h была выбрана величина 0,5 мм. Также необходимо добавить некоторую погрешность измерения периода (без этого статистический вес нулевой точки становится слишком большим). Какую именно величину взять в качестве погрешности определения периода требует экспериментального исследования. Для демострации использования взвешенного МНК я взял погрешности моментов инерции одинаковыми и равными ±0,02 г·м²

Ниже на рисунке изображено случайное отклонение точек от наилучшей прямой. Отрезками показаны наши оценки случайной погрешности для каждой точки.

Точность окончательной погрешности определения массы и момента инерции оказывается зависящей в основном от систематической погрешности константы установки (1,5%) и момента инерции ненагруженной платформы (2%).


Чему равно χ2 получилось?


> Чему равно χ2 получилось?

χ2=14,2


> > Чему равно χ2 получилось?

> χ2=14,2

то есть χ2/n = 1.09

вполне реалистично


Физика в анимациях - Купить диск - Тесты по физике - Графики on-line

Реклама:
Rambler's Top100