В статистической теории из оценки, проблема немецких танков состоит в оценке максимального значения дискретное равномерное распределение из выборки без замены. Проще говоря, предположим, что существует неизвестное количество элементов, которые последовательно пронумерованы от 1 до N. Берется случайная выборка этих элементов и наблюдаются их порядковые номера; проблема состоит в том, чтобы оценить N по этим наблюдаемым числам.
К проблеме можно подойти с помощью частотного вывода или байесовского вывода, что приведет к другим результатам. Оценка максимума генеральной совокупности на основе одной выборки дает разные результаты, тогда как оценка, основанная на нескольких выборках, представляет собой практический вопрос оценки, ответ на который прост (особенно в частотной настройке), но не очевиден (особенно в байесовской настройке).
Проблема названа в честь ее исторического применения союзными войсками во время Второй мировой войны для оценки ежемесячных темпов производства немецких танков на основе очень ограниченных данных. При этом использовалась производственная практика присвоения и прикрепления возрастающей последовательности серийных номеров к компонентам танка (шасси, коробка передач, двигатель, колеса), причем некоторые из танков в конечном итоге были захвачены в бою войсками союзников.
Предполагается, что противник изготовил серию танков, помеченных последовательными целыми числами, начиная с порядкового номера 1. Кроме того, независимо от даты изготовления танка. После того, как он был использован, история обслуживания или серийный номер, который он имеет, распределение по серийным номерам, которые становятся доступными для анализа, является равномерным до момента, когда анализ проводится.
Предположим, что танкам присвоены последовательные серийные номера, начинающиеся с 1, предположим, что захвачено четыре танка и у них есть серийные номера: 19, 40, 42 и 60.
Частотный подход предсказывает, что общее количество произведенных танков будет:
Байесовский подход предсказывает, что среднее количество произведенных танков будет очень похоже на частотный прогноз:
, тогда как байесовское среднее предсказывает, что количество произведенных танков будет следующим:
Пусть N равно общему количеству прогнозируемых произведенных танков, m равно наибольшему наблюдаемому серийному номеру а k равно количеству захваченных танков.
Частотный прогноз рассчитывается как:
Байесовская медиана рассчитывается как:
Среднее байесовское значение рассчитывается как:
Оба байесовских вычисления основаны на следующей функции массы вероятности :
Это распределение имеет положительную асимметрию , связанную с тем, что существует не менее 60 резервуаров. Из-за этой асимметрии среднее значение может быть не самой значимой оценкой. Среднее значение в этом примере равно 74,5, что полностью согласуется с частотной формулой. Используя приближение Стирлинга, байесовская функция вероятности может быть аппроксимирована как
, что приводит к следующему приближению для медианы:
Наконец, средняя оценка байесовского, и его отклонение вычисляются как:
В ходе войны западные союзники прилагали постоянные усилия для определения масштабов производства в Германии и подходили к этому двумя основными способами: обычным сбором разведданных и статистической оценкой. Во многих случаях статистический анализ существенно улучшил обычный интеллект. В некоторых случаях обычная разведка использовалась в сочетании со статистическими методами, как это было в случае оценки производства танков Panther незадолго до дня Д.
. Командная структура союзников считала Panzer V (Panther), замеченные в Италии, с их высокоскоростными длинноствольными пушками калибра 75 мм / L70, были необычными тяжелыми танками и их можно было увидеть только на севере Франции в небольшом количестве, почти так же, как Тигр I был замечен в Тунисе. Армия США была уверена, что танк Sherman и дальше будет хорошо себя вести, как и против танков Panzer III и Panzer IV в Северной Африке и Сицилии. Незадолго до дня высадки ходили слухи, что использовалось большое количество танков Panzer V.
Чтобы определить, правда ли это, союзники попытались оценить количество производимых танков. Для этого использовали серийные номера трофейных или уничтоженных танков. В качестве основных используемых чисел использовались номера коробок передач, поскольку они распадались в двух непрерывных последовательностях. Также использовались номера шасси и двигателя, но их использование было более сложным. Различные другие компоненты были использованы для перекрестной проверки анализа. Аналогичный анализ был проведен на колесах, которые были пронумерованы последовательно (т. Е. 1, 2, 3,..., N).
Анализ колес цистерны дал оценку количества колесных форм. которые были в употреблении. Затем в ходе обсуждения с британскими производителями опорных катков было оценено количество колес, которые можно было бы произвести из такого количества форм, что дало количество танков, производимых каждый месяц. Анализ колес от двух танков (32 опорных катка каждый, всего 64 опорных катка) показал, что в феврале 1944 года произведено 270 танков, что значительно больше, чем предполагалось ранее.
Немецкие отчеты после войны показали, что производство для в феврале 1944 года было 276. Статистический подход оказался намного более точным, чем обычные методы разведки, и фраза «проблема немецких танков» стала использоваться в качестве дескриптора для этого типа статистического анализа.
Оценка производства была не единственным использованием этого анализа серийных номеров. Он также использовался для понимания немецкого производства в более общем плане, включая количество фабрик, относительную важность фабрик, длину цепочки поставок (на основе отставания между производством и использованием), изменения в производстве и использование ресурсов, таких как каучук.
Согласно общепринятым оценкам разведки союзников, в период с июня 1940 г. по сентябрь 1942 г. немцы производили около 1400 танков в месяц. Применяя приведенную ниже формулу к серийным номерам захваченных танков, количество было подсчитано 246 в месяц. После войны захваченные данные о производстве в Германии из министерства Альберта Шпеера показали, что фактическое число составляло 245.
Оценки для некоторых конкретных месяцев представлены как:
Месяц | Статистическая оценка | Оценка разведки | Немецкие записи |
---|---|---|---|
июнь 1940 г. | 169 | 1000 | 122 |
Июнь 1941 | 244 | 1550 | 271 |
август 1942 | 327 | 1550 | 342 |
Аналогичный анализ серийных номеров использовался для другой военной техники во время Второй мировой войны, наиболее успешно для Фау-2 rocket.
Заводские маркировки на советской военной технике были проанализированы во время Корейской войны, а также немецкой разведкой во время Второй мировой войны.
В 1980-х годах некоторые Американцы получили доступ к производственной линии израильских танков Merkava. Производственные номера были засекречены, но у танков были серийные номера, позволяющие оценить производство.
Формула использовалась в невоенном контексте, например, для оценки количества Commodore 64 построены компьютеры, результат которых (12,5 миллионов) совпадает с низкими оценками.
Чтобы затруднить анализ серийных номеров, серийные номера могут быть исключены или уменьшена полезная вспомогательная информация. В качестве альтернативы можно использовать серийные номера, устойчивые к криптоанализу, наиболее эффективно путем случайного выбора чисел без замены из списка, который намного превышает количество созданных объектов (сравните одноразовый блокнот ), или произвольно номера и сверьте их со списком уже присвоенных номеров; коллизии вероятны, если возможное количество цифр не более чем в два раза превышает количество цифр в количестве произведенных объектов (где серийный номер может быть в любом основании); см. день рождения. Для этого может использоваться криптографически безопасный генератор псевдослучайных чисел. Все эти методы требуют использования таблицы поиска (или взлома шифра) для перехода от серийного номера к производственному заказу, что усложняет использование серийных номеров: например, ряд серийных номеров не может быть вызван, но каждый должен быть найден индивидуально, или созданный список.
В качестве альтернативы последовательные серийные номера могут быть зашифрованы с помощью простого шифра подстановки, который позволяет легко декодировать, но также легко может быть взломан с помощью атаки с известным открытым текстом : даже если начать с произвольной точки, открытый текст имеет шаблон (а именно, числа расположены последовательно). Один из примеров приведен в романе Кена Фоллетта Code to Zero, где серийные номера ракет Юпитер-C зашифрованы следующим образом:
H | U | N | T | S | V | I | L | E | X |
---|---|---|---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 0 |
Кодовое слово здесь - Хантсвилл (без повторяющихся букв), чтобы получить 10-буквенный ключ. Таким образом, ракета номер 13 была «HN», а ракета номер 24 - «UT».
Надежное шифрование серийных номеров без их расширения может быть достигнуто с помощью шифрования с сохранением формата. Вместо того, чтобы хранить действительно случайную перестановку на множестве всех возможных серийных номеров в большой таблице, такие алгоритмы будут выводить псевдослучайную перестановку из секретного ключа. Затем безопасность можно определить как псевдослучайную перестановку, неотличимую от действительно случайной перестановки для злоумышленника, который не знает ключа.
Для точечной оценки (оценка одного значения для итога, ), несмещенная оценка с минимальной дисперсией (оценка MVUE или UMVU) задается по формуле:
где m - наибольший наблюдаемый серийный номер (максимум выборки ), а k - количество наблюдаемых резервуаров (размер выборки ). Обратите внимание, что после того, как серийный номер был обнаружен, он больше не находится в пуле и больше не будет наблюдаться.
Это имеет дисперсию
, поэтому стандартное отклонение составляет приблизительно N / k, ожидаемый размер разрыва между отсортированными наблюдениями в выборке.
Формулу можно интуитивно понимать как максимум выборки плюс средний разрыв между наблюдениями в выборке, причем максимум выборки выбирается в качестве начальной оценки, так как это оценка максимального правдоподобия, с зазором, добавленным для компенсации отрицательного смещения максимума выборки в качестве оценки для максимума совокупности, и записывается как
Это можно визуализировать, представив, что наблюдения в выборке равномерно распределены по всему диапазону, с дополнительными наблюдениями сразу за пределами диапазона от 0 до N + 1. Если начать с начального промежутка между 0 и самое низкое наблюдение в выборке (минимум выборки), средний разрыв между последовательными наблюдениями в выборке составляет ; означает, что сами наблюдения не учитываются при вычислении разрыва между наблюдениями. Вывод ожидаемого значения и дисперсия максимума выборки показаны в страница дискретного равномерного распределения.
Эта философия формализована и обобщена в методе оценки максимального интервала ; аналогичная эвристика используется для при нанесении позиции на Q – Q график, на графике точек выборки при k / (n + 1), который находится на равномерном распределении, с пробелом в конце.
Вместо точечной оценки или в дополнение к ней может выполняться интервальная оценка, например, доверительные интервалы. Их легко вычислить, основываясь на наблюдении, что вероятность того, что k наблюдений в выборке попадут в интервал, покрывающий p диапазона (0 ≤ p ≤ 1), равна p (при условии, что в этом разделе рисунки выполнены с заменой, чтобы упростить вычислений; если ничьи без замены, это завышает вероятность, и интервалы будут слишком консервативными).
Таким образом, распределение выборки квантиля максимума выборки - это график x от 0 до 1: квантиль с p-го по q-й квантиль максимума выборки m - это интервал [ pN, qN]. Инвертирование этого дает соответствующий доверительный интервал для максимума совокупности [m / q, m / p].
Например, принимая симметричный 95% интервал p = 2,5% и q = 97,5% для k = 5, получаем 0,025 ≈ 0,48, 0,975 ≈ 0,995, поэтому доверительный интервал составляет приблизительно [1,005 м, 2,08 м]. Нижняя граница очень близка к m, поэтому более информативным является асимметричный доверительный интервал от p = 5% до 100%; для k = 5 это дает 0,05 ≈ 0,55 и интервал [м, 1,82 м].
В более общем смысле 95% доверительный интервал (смещенный вниз) составляет [m, m / 0,05] = [m, m · 20]. Для диапазона значений k с точечным оценщиком UMVU (плюс 1 для удобочитаемости) это дает:
k | Точечная оценка | Доверительный интервал |
---|---|---|
1 | 2m | [м, 20 м] |
2 | 1,5 м | [м, 4,5 м] |
5 | 1,2 м | [м, 1,82 м] |
10 | 1,1 м | [м, 1,35 м] |
20 | 1,05 m | [m, 1,16m] |
Непосредственные наблюдения:
Обратите внимание, что m / k нельзя наивно использовать (или, скорее, (m + m / k - 1) / k) в качестве оценки стандартной ошибки SE, как стандартной ошибки оценка основана на максимуме совокупности (параметр) и использует оценку для оценки ошибки в этой самой оценке рассуждения по кругу.
Байесовский подход к проблеме немецких танков заключается в учете достоверности , что количество танков противника равно равно числу , когда количество наблюдаемых танков равно число , а максимальный наблюдаемый серийный номер равен числу . Ответ на эту проблему зависит от выбора предшествующего для . Можно продолжить использование надлежащего априорного распределения, например, распределения Пуассона или отрицательного биномиального распределения, где можно получить замкнутую формулу для апостериорного среднего и апостериорной дисперсии. Альтернативой является использование прямых вычислений, как показано ниже.
Далее для краткости записывается
Правило для условной вероятности дает
Выражение
- это условная вероятность того, что максимальный наблюдаемый серийный номер M равен m, когда известно, что количество вражеских танков N равно n, а количество наблюдаемых вражеских танков K равно заведомо равным k.
Это
где - биномиальный коэффициент и является скобкой Айверсона.
Выражение может быть получено следующим образом: отвечает на вопрос: «Какова вероятность того, что конкретный серийный номер будет наибольшим числом, наблюдаемым в выборке резервуаров, учитывая, что всего существует резервуаров? "
Можно представить выборку размера как результат индивидуального рисует. Предположим, что наблюдается на розыгрыше с номером . Вероятность этого:
Как видно из правой части, это выражение не зависит от и, следовательно, одинаково для каждого . Поскольку можно нарисовать на различных розыгрышах, вероятность любого конкретного , являющееся наибольшим наблюдаемым, в раз выше вероятности:
Выражение вероятность того, что максимальный серийный номер равен m после наблюдения k танков, но до фактического наблюдения серийных номеров.
Выражение может быть переписано в терминах других величин путем маргинализации по всем возможным .
Выражение
является достоверностью того, что общее количество танков N равно n, когда известно, что количество K наблюдаемых танков равно k, но до того, как были обнаружены серийные номера. Предположим, что это некоторое дискретное равномерное распределение
Верхний предел должен быть конечным, поскольку функция
не является функцией распределения масс.
Если k ≥ 2, то , а нежелательная переменная исчезает из выражения.
При k ≥ 1 режим распределения количества танков противника равен m.
Для k ≥ 2 достоверность того, что количество танков противника равно , составляет
Достоверность того, что количество танков противника, N, больше n, равно
Для k ≥ 3, N имеет конечное среднее значение :
Для k ≥ 4 N имеет конечное стандартное отклонение :
Эти формулы выводятся ниже.
Следующая идентичность биномиальных коэффициентов используется ниже для упрощения серии, относящейся к немецкой проблеме резервуаров.
Эта формула суммы является несколько аналогично интегральной формуле
Эти формулы применимы для k>1.
Наблюдение за одним резервуаром случайным образом из популяции из n резервуаров дает порядковый номер m с вероятностью 1 / n для m ≤ n и нулевую вероятность для m>n. Используя обозначение скобки Айверсона, это записывается как
Это функция условного распределения вероятностей по массе .
Если рассматривать как функцию n для фиксированного m, это функция правдоподобия.
оценка максимального правдоподобия для общего количества резервуаров N 0 = m.
Предельное правдоподобие (т. Е. Маргинальное по всем моделям) составляет бесконечно, являясь хвостом гармонического ряда.
, но
где - номер гармоники.
достоверность функции распределения массы зависит от предыдущего предела :
Среднее значение равно
Если наблюдаются два резервуара, а не один, то вероятность того, что больший из двух наблюдаемых серийных номеров равен m, составляет
Если рассматривать функцию от n для фиксированного m, это функция правдоподобия
Общая вероятность составляет
и масса достоверности функция распределения:
median удовлетворяет
поэтому
, поэтому медиана равна
но среднее значение N бесконечно
Условная вероятность того, что наибольшее из k наблюдений, взятых из серийных номеров {1,..., n}, равно m, равно
Функция правдоподобия n - это то же выражение
Общее правдоподобие конечно для k ≥ 2:
Функция распределения достоверности массы равна
Дополнительная кумулятивная функция распределения - это достоверность того, что N>x
The cumulative distribution function is the credibility that N ≤ x
The order of magnitude of the number of enemy tanks is
The statistical uncertainty is the standard deviation σ, satisfying the equation
So
and
The variance-to-mean ratio is simply