Индуктивная вероятность

Определение вероятности будущих событий на основе прошлых событий

Индуктивная вероятность пытается дать вероятность будущих событий на основе прошлых событий. Это основа для индуктивного мышления и математическая основа для обучения и восприятия закономерностей. Это источник знаний о мире.

Есть три источника знаний: вывод, общение и дедукция. Коммуникация передает информацию, полученную другими методами. Выведение устанавливает новые факты на основе существующих фактов. Вывод устанавливает новые факты из данных. Его основой является теорема Байеса.

Информация, описывающая мир, записывается на языке. Например, может быть выбран простой математический язык предложений. На этом языке предложения могут быть записаны в виде строк символов. Но в компьютере эти предложения можно закодировать в виде цепочек битов (единиц и нулей). Затем язык может быть закодирован так, чтобы наиболее часто используемые предложения были самыми короткими. Этот внутренний язык неявно представляет вероятности утверждений.

Бритва Оккама говорит, что «простейшая теория, согласующаяся с данными, скорее всего, верна». «Простейшая теория» интерпретируется как представление теории, написанной на этом внутреннем языке. Теория с кратчайшей кодировкой на этом внутреннем языке, скорее всего, верна.

• 1 История
  • 1.1 Минимальная длина описания / сообщения
    • 1.1.1 Переобучение
  • 1.2 Вывод на основе сложности программы
    • 1.2.1 Выявление шаблонов в данных
    • 1.2. 2 Рассмотрение всех теорий
    • 1.2.3 Универсальные априорные значения
  • 1.3 Универсальный искусственный интеллект
• 2 Вероятность
  • 2.1 Сравнение с дедуктивной вероятностью
  • 2.2 Вероятность как оценка
  • 2.3 Комбинирование вероятностных подходов
• 3 Вероятность и информация
  • 3.1 Объединение информации
  • 3.2 Внутренний язык информации
    • 3.2.1 Кодирование выражений
    • 3.2.2 Распределение чисел
• 4 Вероятность и частота
  • 4.1 Условная вероятность
  • 4.2 Частотный подход, применяемый к возможным мирам
  • 4.3 Закон общей вероятности
  • 4.4 Альтернативные возможности
  • 4.5 Отрицание
  • 4.6 Вероятность следствия и условий
• 5 Проверка байесовской гипотезы
  • 5.1 Набор гипотезы
• 6 Логический индуктивный вывод
  • 6.1 Обобщение и специализация
  • 6.2 Ne Использование индукции wton
  • 6.3 Вероятности для индуктивного вывода
• 7 Выводы
  • 7.1 Вывод индуктивной вероятности
  • 7.2 Модель для индуктивного вывода
    • 7.2.1 Применение теоремы Байеса
    • 7.2.2 Удаление теорий без предсказательной силы
• 8 Ключевые люди
• 9 См. Также
• 10 Ссылки
• 11 Внешние ссылки

Вероятность и статистика были сосредоточены на распределениях вероятностей и тесты значимости. Вероятность была формальной, четко определенной, но ограниченной по масштабу. В частности, его применение было ограничено ситуациями, которые можно было определить как эксперимент или испытание с четко определенной популяцией.

Теорема Байеса названа в честь преподобного Томаса Байеса 1701–1761 гг. Байесовский вывод расширил применение вероятности ко многим ситуациям, когда совокупность не была четко определена. Но теорема Байеса всегда зависела от априорных вероятностей, чтобы генерировать новые вероятности. Было неясно, откуда должны взяться эти априорные вероятности.

Рэй Соломонофф разработал алгоритмическую вероятность, которая дала объяснение того, что такое случайность и как шаблоны в данных могут быть представлены компьютерными программами, которые дают более короткие представления данных примерно в 1964 году.

Крис Уоллес и DM Boulton разработали минимальную длину сообщения примерно в 1968 году. Позже Йорма Риссанен разработал минимальную длину описания примерно в 1978 году. Эти методы позволяют теория информации должна быть связана с вероятностью таким образом, чтобы ее можно было сравнить с применением теоремы Байеса, но которая дает источник и объяснение роли априорных вероятностей.

Маркус Хаттер объединил теорию принятия решений с работами Рэя Соломонова и Андрея Колмогорова, чтобы дать теорию оптимального по Парето поведения для Интеллектуальный агент, около 1998 г.

Минимальная длина описания / сообщения

Программа с наименьшей длиной, соответствующей данным, с наибольшей вероятностью предсказывает будущие данные. Это тезис, лежащий в основе методов минимальной длины сообщения и минимальной длины описания.

На первый взгляд теорема Байеса кажется отличной от принципа минимальной длины сообщения / описания. При ближайшем рассмотрении оказывается то же самое. Теорема Байеса касается условных вероятностей и утверждает вероятность того, что событие B произойдет, если сначала произойдет событие A:

$P\; (A\; \wedge \; B)\; =\; P\; (B)\; \cdot \; P\; (A\; |\; B)\; =\; P\; (A)\; \cdot \; P\; (B\; |\; A)\; \{\backslash \; displaystyle\; P\; (A\; \backslash \; land\; B)\; =\; P\; (B)\; \backslash \; cdot\; P\; (A\; |\; B)\; =\; P\; (A)\; \backslash \; cdot\; P\; (B\; |\; A)\}$

становится с точки зрения сообщения длина L,

$L\; (A\; \wedge \; B)\; =\; L\; (B)\; +\; L\; (A\; |\; B)\; =\; L\; (A)\; +\; L\; (B\; |\; A).\; \{\backslash \; displaystyle\; L\; (A\; \backslash \; land\; B)\; =\; L\; (B)\; +\; L\; (A\; |\; B)\; =\; L\; (A)\; +\; L\; (B\; |\; A).\}$

Это означает, что если вся информация дается с описанием event, то длина информации может быть использована для определения исходной вероятности события. Таким образом, если дана информация, описывающая возникновение A, вместе с информацией, описывающей B для данного A, то была предоставлена ​​вся информация, описывающая A и B.

Переобучение

Переобучение происходит, когда модель соответствует случайному шуму, а не шаблону в данных. Например, возьмем ситуацию, когда кривая аппроксимируется по набору точек. Если подбирается многочлен с множеством членов, он может более точно представлять данные. Тогда аппроксимация будет лучше, а информации, необходимой для описания отклонений от подобранной кривой, будет меньше. Меньшая длина информации означает более высокую вероятность.

Однако необходимо также учитывать информацию, необходимую для описания кривой. Общая информация для кривой с большим количеством членов может быть больше, чем для кривой с меньшим количеством членов, которая не так хорошо подходит, но требует меньше информации для описания полинома.

Вывод, основанный на сложности программы

Теория индуктивного вывода Соломонова также является индуктивным выводом. Наблюдается битовая строка x. Затем рассмотрите все программы, которые генерируют строки, начинающиеся с x. Программы, представленные в форме индуктивного вывода, представляют собой теории, предполагающие наблюдение за битовой цепочкой x.

Используемый здесь метод определения вероятностей для индуктивного вывода основан на теории индуктивного вывода Соломонова.

Обнаружение закономерностей в данных

Если все биты равны 1, то люди сделайте вывод, что в монете есть смещение, и что более вероятно, что следующий бит также равен 1. Это описывается как изучение или обнаружение закономерностей в данных.

Такой шаблон может быть представлен компьютерной программой. Может быть написана короткая компьютерная программа, которая производит серию битов, которые все равны 1. Если длина программы K составляет $L\; (K)\; \{\backslash \; displaystyle\; L\; (K)\}$бит, то ее априорная вероятность:

$P\; (K)\; =\; 2\; -\; L\; (K)\; \{\backslash \; displaystyle\; P\; (K)\; =\; 2\; ^\; \{-\; L\; (K)\}\}$

Длина самой короткой программы, представляющей строку бит называется сложностью Колмогорова.

сложностью Колмогорова не вычислима. Это связано с проблемой остановки . При поиске самой короткой программы некоторые программы могут зайти в бесконечный цикл.

Рассмотрение всех теорий

Цитируется греческий философ Эпикур : «Если более одной теории согласуется с наблюдениями, сохраняйте все теории».

Как в криминальном романе, при определении вероятного убийцы необходимо учитывать все теории, так и с индуктивной вероятностью все программы должны учитываться при определении вероятных будущих битов, возникающих из потока битов.

Программы, длина которых уже превышает n, не имеют возможности прогнозирования. Необработанная (или априорная) вероятность того, что последовательность битов случайна (не имеет шаблона), равна $2\; -\; n\; \{\backslash \; displaystyle\; 2\; ^\; \{-\; n\}\}$.

Каждая программа, которая производит последовательность битов, но короче n - это теория / шаблон о битах с вероятностью $2\; -\; k\; \{\backslash \; displaystyle\; 2\; ^\; \{-\; k\}\}$, где k - длина программы.

Вероятность получения последовательности битов y после приема серии битов x является тогда условной вероятностью получения y при заданном x, которая представляет собой вероятность x с добавленным y, деленную на вероятность x.

Универсальные приоритеты

Язык программирования влияет на предсказание следующего бита в строке. Язык действует как априорная вероятность. Это особенно проблема, когда язык программирования кодирует числа и другие типы данных. Интуитивно мы думаем, что 0 и 1 - простые числа, и что простые числа каким-то образом сложнее, чем числа, которые могут быть составными.

Использование сложности Колмогорова дает несмещенную оценку (универсальную априорную) априорной вероятности числа. В качестве мысленного эксперимента интеллектуальный агент может быть снабжен устройством ввода данных, выдающим ряд чисел после применения некоторой функции преобразования к необработанным числам. Другой агент может иметь такое же устройство ввода с другой функцией преобразования. Агенты не видят и не знают об этих функциях преобразования. Тогда не возникает рациональных оснований для предпочтения одной функции другой. Универсальный априор гарантирует, что, хотя два агента могут иметь разные начальные распределения вероятностей для ввода данных, разница будет ограничена константой.

Таким образом, универсальные априорные факторы не устраняют изначальную предвзятость, но уменьшают и ограничивают ее. Каждый раз, когда мы описываем событие на каком-либо языке, используя естественный или другой язык, язык закодировал в нем наши предыдущие ожидания. Так что некоторая опора на априорные вероятности неизбежна.

Проблема возникает, когда предварительные ожидания интеллектуального агента взаимодействуют с окружающей средой, образуя самоусиливающуюся петлю обратной связи. Это проблема предвзятости или предубеждений. Универсальные приоры уменьшают, но не устраняют эту проблему.

Универсальный искусственный интеллект

Теория универсального искусственного интеллекта применяет теорию принятия решений к индуктивным вероятностям. Теория показывает, как можно выбрать лучшие действия для оптимизации функции вознаграждения. Результатом является теоретическая модель интеллекта.

Это фундаментальная теория интеллекта, которая оптимизирует поведение агентов в:

• исследовании окружающей среды; выполнение действий для получения ответов, которые расширяют знания агентов.
• Конкуренция или сотрудничество с другим агентом; игры.
• Уравновешивание краткосрочных и долгосрочных вознаграждений.

В общем, ни один агент не всегда обеспечивает наилучшие действия во всех ситуациях. Конкретный выбор, сделанный агентом, может быть неправильным, и среда может не предоставить агенту возможности оправиться от первоначального неправильного выбора. Однако агент является оптимальным по Парето в том смысле, что ни один другой агент не будет работать лучше, чем этот агент в этой среде, без ухудшения в другой среде. В этом смысле нельзя сказать, что никакой другой агент лучше.

В настоящее время теория ограничена невыполнимостью (проблема остановки ). Чтобы избежать этого, можно использовать приближения. Скорость обработки и комбинаторный взрыв остаются основными ограничивающими факторами для искусственного интеллекта.

Вероятность - это представление неопределенного или частичного знания об истинности утверждений. Вероятности - это субъективные и личные оценки вероятных результатов, основанные на прошлом опыте и выводах, сделанных на основе данных.

Это описание вероятности поначалу может показаться странным. На естественном языке мы говорим о «вероятности» того, что солнце взойдет завтра. Мы не говорим о «вашей вероятности» восхода солнца. Но для того, чтобы вывод был правильно смоделирован, вероятность должна быть личной, а акт вывода порождает новые апостериорные вероятности из предшествующих вероятностей.

Вероятности личны, потому что они зависят от знания человека. Вероятности субъективны, потому что они всегда в некоторой степени зависят от априорных вероятностей, назначенных человеком. Под субъективным здесь не следует понимать неопределенность или неопределенность.

Термин интеллектуальный агент используется для обозначения держателя вероятностей. Интеллектуальный агент может быть человеком или машиной. Если интеллектуальный агент не взаимодействует с окружающей средой, то вероятность со временем сходится к частоте события.

Однако, если агент использует вероятность взаимодействия с окружающей средой, может возникнуть обратная связь, так что два агента в идентичной среде, начиная с немного разных априорных значений, в конечном итоге получат совершенно разные вероятности. В этом случае оптимальная теория принятия решений, как в Универсальный искусственный интеллект Маркуса Хаттера, даст оптимальную по Парето производительность для агента. Это означает, что ни один другой интеллектуальный агент не может добиться лучших результатов в одной среде и не добиться худших результатов в другой.

Сравнение с дедуктивной вероятностью

В дедуктивных теориях вероятности вероятности являются абсолютными величинами, не зависящими от человека, производящего оценку. Но дедуктивные вероятности основаны на

• общих знаниях.
• предполагаемых фактах, которые должны быть выведены из данных.

Например, в испытании участники осведомлены о результатах всей предыдущей истории испытаний. Они также предполагают, что каждый исход одинаково вероятен. Вместе это позволяет определить одно безусловное значение вероятности.

Но на самом деле у каждого человека нет одинаковой информации. И вообще вероятность каждого исхода не равна. Игра в кости может быть загружена, и эту загрузку необходимо вывести из данных.

Вероятность как оценка

Принцип безразличия сыграл ключевую роль в теории вероятностей. Он говорит, что если N утверждений симметричны, так что одно условие не может быть предпочтительнее другого, тогда все утверждения равновероятны.

Если серьезно, то при оценке вероятности этот принцип приводит к противоречиям. Предположим, что на расстоянии есть 3 мешка с золотом, и одного просят выбрать один. Тогда из-за большого расстояния не видно размеров сумки. Вы оцениваете, используя принцип безразличия, что в каждой сумке есть равное количество золота, а в каждой сумке - треть золота.

Сейчас, пока один из нас не смотрит, другой берет один из мешков и делит его на 3 мешка. Сейчас есть 5 мешков с золотом. Принцип безразличия гласит, что в каждой сумке находится пятая часть золота. В сумке, в которой, по оценкам, находилась треть золота, сейчас оценивается пятая часть золота.

В качестве значения, связанного с сумкой, значения различны, поэтому противоречивы. Но взятые в качестве оценки, данной при конкретном сценарии, оба значения представляют собой отдельные оценки, данные при разных обстоятельствах, и нет оснований полагать, что они равны.

Особенно сомнительны оценки априорных вероятностей. Оценки будут построены без согласованного частотного распределения. По этой причине априорные вероятности рассматриваются как оценки вероятностей, а не вероятностей.

Полная теоретическая трактовка связана с каждой вероятностью,

• Утверждение
• Предыдущие знания
• Априорные вероятности
• Процедура оценки, используемая для определения вероятность.

Объединение вероятностных подходов

Индуктивная вероятность объединяет два разных подхода к вероятности.

• Вероятность и информация
• Вероятность и частота

Каждый подход дает немного разную точку зрения. Теория информации используется для соотнесения вероятностей с количеством информации. Этот подход часто используется для оценки априорных вероятностей.

Частотная вероятность определяет вероятности как объективные утверждения о том, как часто происходит событие. Этот подход можно расширить, определив испытания как более возможных миров. Утверждения о возможных мирах определяют события.

Тогда как логика представляет только два значения; истина и ложь как значения утверждения, вероятность связывает число в [0,1] с каждым утверждением. Если вероятность утверждения равна 0, утверждение ложно. Если вероятность утверждения равна 1, утверждение верно.

При рассмотрении некоторых данных как строки битов априорные вероятности для последовательности единиц и нулей, вероятность 1 и 0 равна. Следовательно, каждый дополнительный бит вдвое снижает вероятность последовательности битов. Это приводит к выводу, что

$P\; (x)\; =\; 2\; -\; L\; (x)\; \{\backslash \; displaystyle\; P\; (x)\; =\; 2\; ^\; \{-\; L\; (x)\}\}$

Где $P\; (x)\; \{\backslash \; displaystyle\; P\; (x)\}$- это вероятность строки битов $x\; \{\backslash \; displaystyle\; x\}$и $L\; (x)\; \{\backslash \; displaystyle\; L\; (\; x)\}$- его длина.

Априорная вероятность любого утверждения вычисляется из количества битов, необходимых для его утверждения. См. Также теория информации.

Объединение информации

Два оператора $A\; \{\backslash \; displaystyle\; A\}$и $B\; \{\backslash \; displaystyle\; B\}$может быть представлен двумя отдельными кодировками. Тогда длина кодировки равна

$L\; (A\; \wedge \; B)\; =\; L\; (A)\; +\; L\; (B)\; \{\backslash \; displaystyle\; L\; (A\; \backslash \; land\; B)\; =\; L\; (A)\; +\; L\; (B)\}$

или с точки зрения вероятности

$P\; (A\; \wedge \; B)\; =\; P\; (A)\; P\; (B)\; \{\backslash \; displaystyle\; P\; (A\; \backslash \; land\; B)\; =\; P\; (A)\; P\; (B)\}$

Но это закон не всегда верен, потому что может быть более короткий метод кодирования $B\; \{\backslash \; displaystyle\; B\}$, если мы предположим $A\; \{\backslash \; displaystyle\; A\}$. Таким образом, приведенный выше вероятностный закон применяется, только если $A\; \{\backslash \; displaystyle\; A\}$и $B\; \{\backslash \; displaystyle\; B\}$являются «независимыми».

Внутренний язык информации

Основное использование информационного подхода к вероятности заключается в предоставлении оценок сложности утверждений. Напомним, что бритва Оккама гласит: «При прочих равных, простейшая теория, скорее всего, будет правильной». Чтобы применить это правило, сначала нужно дать определение того, что означает «простейший». Теория информации определяет простейшее как кратчайшее кодирование.

Знания представлены в виде утверждений. Каждый оператор представляет собой булево выражение. Выражения кодируются функцией, которая принимает описание (в отличие от значения) выражения и кодирует его как строку битов.

Длина кодировки утверждения дает оценку вероятности утверждения. Эта оценка вероятности часто используется в качестве априорной вероятности утверждения.

Технически эта оценка не является вероятностью, потому что она не построена на основе частотного распределения. Приведенные им оценки вероятностей не всегда подчиняются закону суммы вероятностей. Применение закона полной вероятности к различным сценариям обычно дает более точную оценку вероятности априорной вероятности, чем оценка,основанная на длине утверждения.

Выражения кодирования

Выражение конструируется из подвыражений,

• констант (включая функции функции).
• Применение функций.
• квантификаторы.

A Хаффмана код должен различать 3 случая. Длина каждого кода зависит от частоты типа подвыражений.

Первоначально все константы имеют одинаковую длину / вероятность. Последующим константам может быть присвоена вероятность с помощью кода Хаффмана на основе количества используемых функций во всех выражениях, записанных на данный момент. При использовании кода Хаффмана цель состоит в оценке вероятностей, а не в введении данных.

Длина константы приложения функции плюс сумма размеров для каждого варианта выполнения.

Длина квантификатора - это длина выражения, по которой проводится количественная оценка.

Распределение чисел

Явное представление натуральных чисел не дается. Однако натуральные числа можно построить, применив функцию-последователь к 0, а применив другие арифметические функции. Под этим подразумевается распределение натуральных чисел в зависимости от сложности построения каждого числа.

Рациональные числа строятся путем деления натуральных чисел. В простейшем представлении нет общих множителей между числителем и знаменателем. Это позволяет вероятностное распределение натуральных чисел до рациональных чисел.

Вероятность события можно интерпретировать как частоту результатов, где утверждение истинно, деленное на общее число результатов. Если результаты образуют континуум, может потребоваться заменить частоту показателем ..

События - это наборы результатов. Заявления могут быть связаны с событиями. Логическое выражение B о результатах получить набор результатов b,

$b\; =\; \{x:\; B\; (x)\}\; \{\backslash \; displaystyle\; b\; =\; \backslash \; \{x:\; B\; (x)\; \backslash \}\}$

Условная вероятность

Каждая вероятность всегда соединяется с состоянием в определенной точке аргумента. Вероятности до известны как априорные вероятности, а вероятности после - как апостериорные вероятности.

Вероятность зависит от известных фактов. Истинность факта ограничивает область результатов, полученный факту. Априорные вероятности - это вероятности до того, как факт станет известен. Апостериорные вероятности известны после того, как факт известен. Говорят, что апостериорные вероятности зависят от факта. вероятность того, что $B\; \{\backslash \; displaystyle\; B\}$верно при условии, что $A\; \{\backslash \; displaystyle\; A\}$верно, записывается как: $P\; (B\; |\; А).\; \{\backslash \; displaystyle\; P\; (B\; |\; A).\}$

Все вероятности в некотором смысле условны. Априорная вероятность $B\; \{\backslash \; displaystyle\; B\}$равна,

$P\; (B)\; =\; P\; (B\; |\; \top )\; \{\backslash \; displaystyle\; P\; (B)\; =\; P\; (B\; |\; \backslash \; top)\}$

Частотный подход, применяемый к возможному мирум

В частотном подходе вероятности определения как отношение количества результатов в событии к общему количеству исходов. В модели возможного мира каждый возможный мир является результатом, а утверждением о применении мирах определяют события. Вероятность того, что истинное истинное, - это количество миров, в котором утверждение истинно, деленное на общее количество миров. Тогда вероятность того, что утверждение $A\; \{\backslash \; displaystyle\; A\}$будет истинным о виновном мирах, составляет

$P\; (A)\; =\; |\; \{x:\; A\; (x)\}\; |\; |\; x:\; \top \; |\; \{\backslash \; Displaystyle\; P\; (A)\; =\; \{\backslash \; frac\; \{|\; \backslash \; \{x:\; A\; (x)\; \backslash \}\; |\}\; \{|\; x:\; \backslash \; top\; |\}\}\}$

Для условной вероятности.

$P\; (B\; |\; A)\; =\; |\; \{x:\; A\; (x)\; \wedge \; B\; (x)\}\; |\; |\; х:\; А\; (х)\; |\; \{\backslash \; Displaystyle\; P\; (B\; |\; A)\; =\; \{\backslash \; frac\; \{|\; \backslash \; \{x:\; A\; (x)\; \backslash \; land\; B\; (x)\; \backslash \}\; |\}\; \{|\; x:\; A\; (x)\; |\}\}\}$

затем

$P\; (A\; \wedge \; B)\; =\; |\; \{x:\; A\; (x)\; \wedge \; B\; (x)\}\; |\; |\; x:\; \top \; |\; =\; |\; \{x:\; A\; (x)\; \wedge \; B\; (x)\}\; |\; |\; \{x:\; A\; (x)\}\; |\; |\; \{x:\; A\; (x)\}\; |\; |\; x:\; \top \; |\; Знак\; равно\; п\; (А)\; п\; (В\; |\; А)\; \{\backslash \; Displaystyle\; \{\backslash \; begin\; \{выровнено\}\; P\; (A\; \backslash \; земля\; В)\; =\; \{\backslash \; гидроразрыва\; \{|\; \backslash \; \{х:\; А\; (х)\; \backslash \; земля\; В\; (х)\; \backslash \}\; |\}\; \{|\; x:\; \backslash \; top\; |\}\}\; \backslash \backslash \; [8pt]\; =\; \{\backslash \; frac\; \{|\; \backslash \; \{x:\; A\; (x)\; \backslash \; land\; B\; (x)\; \backslash \}\; |\}\; \{|\; \backslash \; \{x:\; A\; (x)\; \backslash \}\; |\}\}\; \{\backslash \; frac\; \{|\; \backslash \; \{x:\; A\; (x)\; \backslash \}\; |\}\; \{|\; x:\; \backslash \; top\; |\}\}\; \backslash \backslash \; [8pt]\; =\; P\; (A)\; P\; (B\; |\; A)\; \backslash \; end\; \{align\}\}\}$

Используя симметрию, это уравнение можно записать как закон Байеса.

$P\; (A\; \wedge \; B)\; знак\; равно\; P\; (A)\; P\; (B\; |\; A)\; =\; P\; (B)\; P\; (A\; |\; B)\; \{\backslash \; displaystyle\; P\; (A\; \backslash \; land\; B)\; =\; P\; (A)\; P\; (B\; |\; A)\; =\; P\; (B)\; P\; (A\; |\; B)\}$

Этот закон распределения между априорной и апостериорной вероятностями при изучении новых фактов.

Записанный в виде количества информации Теорема Байеса принимает вид

$L\; (A\; \wedge \; B)\; =\; L\; (A)\; +\; L\; (B\; |\; A)\; =\; L\; (B)\; +\; L\; (\; A\; |\; B)\; \{\backslash \; displaystyle\; L\; (A\; \backslash \; land\; B)\; =\; L\; (A)\; +\; L\; (B\; |\; A)\; =\; L\; (B)\; +\; L\; (A\; |\; B)\}$

Сказаны два утверждения A и B быть независимым, если знание истинности А не изменяет вероятность Б. Математически это:

$P\; (B)\; =\; P\; (B\; |\; A)\; \{\backslash \; displaystyle\; P\; (B)\; =\; P\; (B\; |\; A)\}$

тогда теорема Байеса сводится к

$P\; (A\; \wedge \; B)\; =\; P\; (A)\; P\; (B)\; \{\backslash \; displaystyle\; P\; (A\; \backslash \; land\; B)\; =\; P\; (A)\; P\; (B)\}$

Закон общей вероятности

Для набора взаимоисключающих возможностей $A\; i\; \{\backslash \; displaystyle\; A\_\; \{i\}\}$, сумма апостериорных вероятностей должны быть 1.

$\sum \; i\; P\; (A\; i\; |\; B)\; =\; 1\; \{\backslash \; displaystyle\; \backslash \; sum\; \_\; \{i\}\; \{P\; (A\_\; \{i\}\; |\; B)\}\; =\; 1\}$

Подстановка с использованием байесовской Теорема дает закон полной вероятности

$\sum \; i\; P\; (B\; |\; A\; i)\; P\; (A\; i)\; =\; \sum \; i\; P\; (A\; я\; |\; В)\; п\; (В)\; \{\backslash \; displaystyle\; \backslash \; sum\; \_\; \{i\}\; \{P\; (B\; |\; A\_\; \{i\})\; P\; (A\_\; \{i\})\}\; =\; \backslash \; sum\; \_\; \{i\}\; \{P\; (A\_\; \{i\; \}\; |\; B)\; P\; (B)\}\}$

$P\; (B)\; =\; \sum \; я\; P\; (B\; |\; A\; i)\; P\; (A\; i)\; \{\backslash \; displaystyle\; P\; (B)\; =\; \backslash \; sum\; \_\; \{i\}\; \{P\; (B\; |\; A\_\; \{i\})\; P\; (A\_\; \{i\})\}\}$

Этот результат используется для получения расширенная форма теоремы Байеса,

$P\; (A\; i\; |\; B)\; =\; P\; (B\; |\; A\; i)\; P\; (\; A\; i)\; \sum \; J\; P\; (B\; |\; A\; j)\; P\; (A\; j)\; \{\backslash \; Displaystyle\; P\; (A\_\; \{i\}\; |\; B)\; =\; \{\backslash \; frac\; \{P\; (B\; |\; A\_\; \{i\})\; P\; (A\_\; \{i\}))\}\; \{\backslash \; sum\; \_\; \{j\}\; \{P\; (B\; |\; A\_\; \{j\})\; P\; (A\_\; \{j\})\}\}\}\}$

Это обычная форма теоремы Байеса, используемая на практике, поскольку она гарантирует все апостериорные вероятности для $A\; i\; \{\backslash \; displaystyle\; A\_\; \{i\}\}$равно 1.

Альтернативные возможности

Для взаимоисключающих возможностей вероятности складываются.

$P\; (A\; \vee \; B)\; знак\; равно\; P\; (A)\; +\; P\; (B),\; если\; P\; (A\; \wedge \; B)\; =\; 0\; \{\backslash \; displaystyle\; P\; (A\; \backslash \; lor\; B)\; =\; P\; (A)\; +\; P\; (B),\; \backslash \; qquad\; \{\backslash \; text\; \{if\}\}\; P\; (A\; \backslash \; land\; B)\; =\; 0\}$

Использование

$A\; \vee \; B\; =\; (A\; \wedge \; \neg \; (A\; \wedge \; B))\; \vee \; (B\; \wedge \; \neg \; (A\; \wedge \; B))\; \vee \; (A\; \wedge \; B)\; \{\backslash \; Displaystyle\; A\; \backslash \; лор\; B\; =\; (A\; \backslash \; земля\; \backslash \; neg\; (A\; \backslash \; земля\; B))\; \backslash \; лор\; (B\; \backslash \; земля\; \backslash \; neg\; (A\; \backslash \; земля\; B))\; \backslash \; лор\; (A\; \backslash \; земля\; B)\}$

Тогда альтернативы

$A\; \wedge \; \neg \; (A\; \wedge \; B),\; B\; \wedge \; \neg \; (A\; \wedge \; B),\; A\; \wedge \; B\; \{\backslash \; displaystyle\; A\; \backslash \; land\; \backslash \; neg\; (A\; \backslash \; land\; B),\; \backslash \; quad\; B\; \backslash \; land\; \backslash \; neg\; (A\; \backslash \; land\; B),\; \backslash \; quad\; A\; \backslash \; land\; B\}$

являются взаимоисключающими. Кроме того,

$(A\; \wedge \; \neg \; (A\; \wedge \; B))\; \vee \; (A\; \wedge \; B)\; =\; A\; \{\backslash \; displaystyle\; (A\; \backslash \; land\; \backslash \; neg\; (A\; \backslash \; land\; B))\; \backslash \; lor\; (A\; \backslash \; land\; B)\; =\; A\; \}$

$P\; (A\; \wedge \; \neg \; (A\; \wedge \; B))\; +\; P\; (A\; \wedge \; B)\; =\; P\; (A)\; \{\backslash \; displaystyle\; P\; (A\; \backslash \; land\; \backslash \; neg\; (A\; \backslash \; land\; B))\; +\; P\; (A\; \backslash \; land\; B)\; Знак\; равно\; п\; (A)\}$

$п\; (A\; \wedge \; \neg \; (A\; \wedge \; B))\; =\; P\; (A)\; -\; P\; (A\; \wedge \; B)\; \{\backslash \; displaystyle\; P\; (A\; \backslash \; land\; \backslash \; neg\; (A\; \backslash \; land\; B)))\; =\; P\; (A)\; -P\; (A\; \backslash \; land\; B)\}$

, поэтому сложив все вместе,

$P\; (A\; \vee \; B)\; =\; P\; ((A\; \wedge \; \neg \; (A\; \wedge \; B))\; \vee \; (\; B\; \wedge \; \neg \; (A\; \wedge \; B))\; \vee \; (A\; \wedge \; B))\; =\; P\; (A\; \wedge \; \neg \; (A\; \wedge \; B)\; +\; P\; (B\; \wedge \; \neg \; (A\; \wedge \; B))\; +\; P\; (A\; \wedge \; B)\; =\; P\; (A)\; -\; P\; (A\; \wedge \; B)\; +\; P\; (B)\; -\; P\; (A\; \wedge \; B)\; +\; P\; (A\; \wedge \; B)\; =\; P\; (A)\; +\; P\; (B)\; -\; P\; (A\; \wedge \; B)\; \{\backslash \; Displaystyle\; \{\backslash \; begin\; \{выровнено\}\; P\; (A\; \backslash \; lor\; B)\; =\; P\; ((A\; \backslash \; land\; \backslash \; neg\; (A\; \backslash \; land\; B))\; \backslash \; lor\; (B\; \backslash \; land\; \backslash \; neg\; (A\; \backslash \; land\; B))\; \backslash \; lor\; (A\; \backslash \; land\; B))\; \backslash \; \backslash \; =\; P\; (A\; \backslash \; land\; \backslash \; neg\; (A\; \backslash \; land\; B)\; +\; P\; (B\; \backslash \; land\; \backslash \; neg\; (A\; \backslash \; land\; B))\; +\; P\; (A\; \backslash \; land\; B)\; \backslash \backslash \; =\; P\; (A)\; -\; P\; (A\; \backslash \; земля\; B)\; +\; P\; (B)\; -P\; (A\; \backslash \; земля\; B)\; +\; P\; (A\; \backslash \; земля\; B)\; \backslash \backslash \; =\; P\; (A)\; +\; P\; (B)\; -P\; (A\; \backslash \; земля\; B)\; \backslash \; конец\; \{выровнено\}\}\}$

Отрицание

As,

$A\; \vee \; \neg \; A\; Знак\; равно\; \top \; \{\backslash \; displaystyle\; A\; \backslash \; lor\; \backslash \; neg\; A\; =\; \backslash \; top\}$

, затем

$P\; (A)\; +\; П\; (\neg \; A)\; знак\; равно\; 1\; \{\backslash \; Displaystyle\; P\; (A)\; +\; P\; (\backslash \; neg\; A)\; =\; 1\}$

Вероятность следствия и условий

Следствие связано с условной вероятностью следующим уравнением:

$A\; \to \; B\; ⟺\; P\; (B\; |\; A)\; =\; 1\; \{\backslash \; displaystyle\; A\; \backslash \; к\; B\; \backslash \; iff\; P\; (B\; |\; A)\; =\; 1\}$

Вывод,

$A\; \to \; B\; ⟺\; P\; (A\; \to \; B)\; =\; 1\; ⟺\; P\; (A\; \wedge \; B\; \vee \; \neg \; A)\; =\; 1\; ⟺\; P\; (A\; \wedge \; B)\; +\; P\; (\neg \; A)\; =\; 1\; ⟺\; P\; (A\; \wedge \; B)\; =\; P\; (A)\; ⟺\; P\; (A)\; \cdot \; P\; (B\; |\; A)\; =\; P\; (A)\; ⟺\; P\; (В\; |\; A)\; знак\; равно\; 1\; \{\backslash \; Displaystyle\; \{\backslash \; begin\; \{выровнено\}\; от\; A\; \backslash \; до\; B\; \backslash \; iff\; P\; (A\; \backslash \; to\; B)\; =\; 1\; \backslash \backslash \; \backslash \; iff\; P\; (A\; \backslash \; land\; B\; \backslash \; lor\; \backslash \; neg\; A)\; =\; 1\; \backslash \backslash \; \backslash \; тогда\; и\; только\; тогда,\; когда\; P\; (A\; \backslash \; land\; B)\; +\; P\; (\backslash \; neg\; A)\; =\; 1\; \backslash \backslash \; \backslash \; iff\; P\; (A\; \backslash \; land\; B)\; =\; P\; (A)\; \backslash \backslash \; \backslash \; iff\; P\; (A)\; \backslash \; cdot\; P\; (B\; |\; A)\; =\; P\; (A)\; \backslash \backslash \; \backslash \; iff\; P\; (B\; |\; A)\; =\; 1\; \backslash \; end\; \{align\}\}\}$

Теорема Байеса может установить вероятность гипотезы или теории H, учитывая некоторые факты F. Тогда апостериорная вероятность H равна

$P\; (H\; |\; F)\; =\; P\; (H)\; P\; (F\; |\; H)\; P\; (F)\; \{\backslash \; displaystyle\; P\; (H\; |\; F)\; =\; \{\backslash \; frac\; \{P\; (H)\; P\; (F\; |\; H)\}\; \{P\; (F)\}\}\}$

или с точки зрения информации,

$P\; (H\; |\; F)\; =\; 2\; -\; (L\; (ЧАС)\; +\; L\; (F\; |\; ЧАС)\; -\; L\; (F))\; \{\backslash \; Displaystyle\; P\; (H\; |\; F)\; =\; 2\; ^\; \{-\; (L\; (H)\; +\; L\; (F\; |\; H)\; -L\; (F))\; \}\}$

Предположение, что гипотеза верна, можно дать более простое представление F. Длина кодирования этого более простого представления составляет $L\; (F\; |\; ЧАС).\; \{\backslash \; displaystyle\; L\; (F\; |\; H).\}$

$L\; (H)\; +\; L\; (F\; |\; H)\; \{\backslash \; displaystyle\; L\; (H)\; +\; L\; (F\; |\; H)\}$представляет количество информации, необходима для представления фактов F, если истинно. $L\; (F)\; \{\backslash \; displaystyle\; L\; (F)\}$- это объем информации, необходимый для представления F без гипотезы H. Разница в насколько сжато представление фактов при допущении H верно. Это свидетельство того, что гипотеза H верна.

$L\; (F)\; \{\backslash \; displaystyle\; L\; (F)\}$оценивается из длины кодирования, то полученная вероятность не будет 0 и 1 Полученное значение вероято вероятности, но не является хорошей оценкой вероятности. Полученное число иногда называют относительной вероятностью: вероятнее теория, чем несоответствие теории.

Если известен полный набор взаимоисключающих гипотез, может быть дана надлежащая оценка априорной вероятности $P\; (F)\; \{\backslash \; displaystyle\; P\; (F)\}$.

Набор гипотеза

Вероятности могут быть вычислены на основе расширенной формы теоремы Байеса. Учитывая все взаимоисключающие гипотезы $H\; i\; \{\backslash \; displaystyle\; H\_\; \{i\}\}$, которые дают такие доказательства, что

а также гипотеза R о том, что ни одна из гипотез не верна, тогда

$P\; (H\; i\; |\; F)\; =\; P\; (H\; i)\; P\; (F\; |\; H\; i)\; P\; (F\; |\; R)\; +\; \sum \; j\; P\; (\; ЧАС\; J)\; п\; (F\; |\; ЧАС\; J)\; п\; (р\; |\; F)\; знак\; равно\; п\; (F\; |\; R)\; п\; (F\; |\; R)\; +\; \sum \; j\; п\; (H\; j)\; п\; (F\; |\; H\; j)\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{выровнено\}\; P\; (H\_\; \{i\}\; |\; F)\; =\; \{\backslash \; frac\; \{P\; (H\_\; \{i\})\; P\; (F\; |\; H\_\; \{i\})\}\; \{P\; (F\; |\; R)\; +\; \backslash \; sum\; \_\; \{j\}\; \{P\; (H\_\; \{j\})\; P\; (F\; |\; H\_\; \{j\})\}\}\}\; \backslash \backslash \; [8pt]\; P\; (R\; |\; F)\; =\; \{\backslash \; frac\; \{P\; (F\; |\; R)\}\; \{P\; (F\; |\; R))\; +\; \backslash \; sum\; \_\; \{j\}\; \{P\; (H\_\; \{j\})\; P\; (F\; |\; H\_\; \{j\})\}\}\}\; \backslash \; end\; \{align\}\}\}$

С точки зрения информации,

$P\; (H\; i\; |\; F)\; =\; 2\; -\; (L\; (H\; i)\; +\; L\; (F\; |\; H\; i))\; 2\; -\; L\; (F\; |\; R)\; +\; \sum \; j\; 2\; -\; (L\; (H\; j)\; +\; L\; (F\; |\; H\; j))\; P\; (Р\; |\; F)\; знак\; равно\; 2\; -\; L\; (F\; |\; R)\; 2\; -\; L\; (F\; |\; R)\; +\; \sum \; j\; 2\; -\; (L\; (H\; j)\; +\; L\; (F\; |\; H\; j))\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{\; align\}\; P\; (H\_\; \{i\}\; |\; F)\; =\; \{\backslash \; frac\; \{2\; ^\; \{-\; (L\; (H\_\; \{i\})\; +\; L\; (F\; |\; H\_\; \{i\}))\}\}\; \{2\; ^\; \{-\; L\; (F\; |\; R)\}\; +\; \backslash \; sum\; \_\; \{j\}\; 2\; ^\; \{-\; (L\; (H\_\; \{j\})\; +\; L\; (\; F\; |\; H\_\; \{j\}))\}\}\}\; \backslash \backslash \; [8pt]\; P\; (R\; |\; F)\; =\; \{\backslash \; гидроразрыв\; \{2\; ^\; \{-\; L\; (F\; |\; R)\}\}\; \{2\; ^\; \{-\; L\; (F\; |\; R)\}\; +\; \backslash \; sum\; \_\; \{j\}\; \{2\; ^\; \{-\; (L\; (H\_\; \{j\})\; +\; L\; (F\; |\; H\; \_\; \{j\}))\}\}\}\}\; \backslash \; end\; \{align\}\}\}$

В ситуации хорошим приближением будет предположение, что $F\; \{\backslash \; displaystyle\; F\}$не зависит от $R\; \{\backslash \; displaystyle\; R\}$, что означает $P\; (F\; |\; R)\; Знак\; равно\; P\; (F)\; \{\backslash \; Displaystyle\; P\; (F\; |\; R)\; =\; P\; (F)\}$давая,

$P\; (H\; i\; |\; F)\; \approx \; 2\; -\; (L\; (H\; i)\; +\; L\; (\; F\; |\; H\; i))\; 2\; -\; L\; (F)\; +\; \sum \; j\; 2\; -\; (L\; (H\; j)\; +\; L\; (F\; |\; H\; j))\; P\; (R\; |\; F)\; \approx \; 2\; -\; L\; (F)\; 2\; -\; L\; (F)\; +\; \sum \; J\; 2\; -\; (L\; (ЧАС\; J)\; +\; L\; (F\; |\; ЧАС\; J))\; \{\backslash \; Displaystyle\; \{\backslash \; begin\; \{выровнено\}\; P\; (H\_\; \{i\}\; |\; F)\; \backslash \; приблизительно\; \{\backslash \; гидроразрыва\; \{2\; ^\; \{-\; (L\; (H\_\; \{i\})\; +\; L\; (F\; |\; H\_\; \{i\}))\}\}\; \{2\; ^\; \{-\; L\; (F)\}\; +\; \backslash \; sum\; \_\; \{j\}\; \{2\; ^\; \{-\; (L\; (H\_\; \{j\}))\; +\; L\; (F\; |\; H\_\; \{j\}))\}\}\}\}\; \backslash \backslash \; [8pt]\; P\; (R\; |\; F)\; \backslash \; приблизительно\; \{\backslash \; frac\; \{2\; ^\; \{-\; L\; (F)\}\}\; \{2\; ^\; \{-\; L\; (F)\}\; +\; \backslash \; sum\; \_\; \{j\}\; \{2\; ^\; \{-\; (L\; (H\_\; \{j\})\; +\; L\; (F\; |\; H\_\; \{j\}))\}\}\}\}\; \backslash \; end\; \{align\}\}\}$

Абдуктивный вывод начинается с набора фактов F, который является утверждением (логическим выражением). Абдуктивное мышление имеет форму:

Теория T подразумевает утверждение F. Поскольку теория T проще, чем F, абдукция говорит, что существует вероятность того, что теория T подразумевается F.

Теория T, также называемая объяснением условия F, является ответом на широко распространенный фактологический вопрос «почему». Например, условие F - «Почему падают яблоки?». Ответ - теория T, которая подразумевает, что яблоки падают;

$F\; =\; G\; m\; 1\; m\; 2\; r\; 2\; \{\backslash \; displaystyle\; F\; =\; G\; \{\backslash \; frac\; \{m\_\; \{1\}\; m\_\; \{2\}\}\; \{r\; ^\; \{2\}\}\}\}$

Индуктивный вывод имеет форму,

Все наблюдаемые объекты в классе C имеют свойство P. Следовательно, существует вероятность того, что все объекты в классе C обладают свойством P.

С точки зрения абдуктивного вывода, все объекты в классе C или множестве имеют свойство P - это теория, которая подразумевает наблюдаемое состояние. Все наблюдаемые объекты в классе C обладают свойством P.

Итак, индуктивный вывод - это частный случай абдуктивного вывода. В обычном использовании термин индуктивный вывод часто используется для обозначения как абдуктивного, так и индуктивного вывода.

Обобщение и специализация

Индуктивный вывод связан с обобщением. Обобщения можно формировать из утверждений, заменяя конкретное значение членством в категории или заменяя членство в категории членством в более широкой категории. В дедуктивной логике обобщение - мощный метод создания новых теорий, которые могут быть верными. При индуктивном умозаключении обобщение порождает теории, которые имеют вероятность быть верными.

Противоположностью обобщения является специализация. Специализация используется для применения общего правила к конкретному случаю. Специализации создаются из обобщений путем замены членства в категории определенным значением или путем замены категории подкатегорией.

Линнаен классификация живых существ и предметов составляет основу для обобщения и уточнения. Умение идентифицировать, распознавать и классифицировать - основа для обобщения. Восприятие мира как совокупности объектов, по-видимому, является ключевым аспектом человеческого интеллекта. Это объектно-ориентированная модель в смысле, отличном от информатики.

Объектно-ориентированная модель построена на основе нашего восприятия. В частности, зрение основано на способности сравнивать два изображения и вычислять, сколько информации необходимо для преобразования или отображения одного изображения в другое. Компьютерное зрение использует это отображение для построения трехмерных изображений из пар стереоизображений..

Индуктивное логическое программирование - это средство построения теории, которая подразумевает условие. Подход Плоткина «относительное наименьшее общее обобщение (rlgg)» строит простейшее обобщение, совместимое с условием.

Использование Ньютоном индукции

Исаак Ньютон использовал индуктивные аргументы при построении своего закона всемирного тяготения. Начиная с утверждения,

• Центр яблока падает к центру Земли.

Обобщение путем замены яблока на объект и земли на объект дает в системе двух тел

• Центр объект падает в сторону центра другого объекта.

Теория объясняет все падения объектов, поэтому есть веские доказательства этому. Второе наблюдение,

• Кажется, что планеты движутся по эллиптическому пути.

После некоторых сложных математических вычислений можно увидеть, что если ускорение следует закону обратных квадратов, то объекты будут следовать эллипсу.. Итак, индукция свидетельствует о законе обратных квадратов.

Используя наблюдение Галилео, все объекты падают с одинаковой скоростью,

$F\; 1\; =\; m\; 1\; a\; 1\; =\; m\; 1\; k\; 1\; r\; 2\; i\; 1\; \{\backslash \; displaystyle\; F\_\; \{1\}\; =\; m\_\; \{1\}\; a\_\; \{1\}\; =\; \{\backslash \; frac\; \{m\_\; \{1\}\; k\_\; \{1\}\}\; \{r\; ^\; \{2\}\}\}\; i\_\; \{1\}\}$

$F\; 2\; =\; m\; 2\; a\; 2\; =\; m\; 2\; k\; 2\; р\; 2\; я\; 2\; \{\backslash \; displaystyle\; F\_\; \{2\}\; =\; m\_\; \{2\}\; a\_\; \{2\}\; =\; \{\backslash \; frac\; \{m\_\; \{2\}\; k\_\; \{2\}\}\; \{r\; ^\; \{2\}\}\}\; i\_\; \{2\}\}$

где $i\; 1\; \{\backslash \; displaystyle\; i\_\; \{1\}\}$и $i\; 2\; \{\backslash \; displaystyle\; i\_\; \{2\}\}$векторов по направлению к центру другого объекта. Затем используя третий закон Ньютона $F\; 1\; =\; -\; F\; 2\; \{\backslash \; displaystyle\; F\_\; \{1\}\; =\; -\; F\_\; \{2\}\}$

$F\; =\; G\; m\; 1\; m\; 2\; r\; 2\; \{\backslash \; displaystyle\; F\; =\; G\; \{\backslash \; frac\; \{m\_\; \{1\}\; m\_\; \{2\}\}\; \{r\; ^\; \{2\}\}\}\}$

Вероятность индуктивного вывода

Импликация определяет условия вероятности как,

$T\; \to \; F\; ⟺\; P\; (F\; |\; T)\; =\; 1\; \{\backslash \; Displaystyle\; T\; \backslash \; к\; F\; \backslash \; iff\; P\; (F\; |\; T)\; =\; 1\}$

Итак,

$P\; (F\; |\; T)\; =\; 1\; \{\backslash \; displaystyle\; P\; (F\; |\; T)\; =\; 1\}$

$L\; (F\; |\; T)\; =\; 0\; \{\backslash \; displaystyle\; L\; (F\; |\; T)\; =\; 0\}$

Этот результат может быть в вероятностях, данных для байесовской гипотезы. Для одной теории H = T и

$P\; (T\; |\; F)\; =\; P\; (T)\; P\; (F)\; \{\backslash \; displaystyle\; P\; (T\; |\; F)\; =\; \{\backslash \; frac\; \{P\; (T)\}\; \{P\; (F)\}\; \}\}$

или, с точки зрения информации, относительная вероятность равна

$P\; (T\; |\; F)\; =\; 2\; -\; (L\; (T)\; -\; L\; (F))\; \{\backslash \; displaystyle\; P\; (T\; |\; F))\; =\; 2\; ^\; \{-\; (L\; (T)\; -L\; (F))\}\}$

Обратите внимание, что эта оценка для P (T | F) не является истинной вероятностью. Если , то у теории есть доказательства, подтверждающие это. Тогда для набора теорий $T\; i\; =\; H\; i\; \{\backslash \; displaystyle\; T\_\; \{i\}\; =\; H\_\; \{i\}\}$, таких что ,

$P\; (T\; я\; |\; F)\; знак\; равно\; п\; (T\; я)\; п\; (F\; |\; R)\; +\; \sum \; JP\; (T\; j)\; \{\backslash \; displaystyle\; P\; (T\_\; \{i\}\; |\; F)\; =\; \{\backslash \; frac\; \{P\; (T\_\; \{i\})\}\; \{P\; (\; F\; |\; R)\; +\; \backslash \; sum\; \_\; \{j\}\; \{P\; (T\_\; \{j\})\}\}\}\}$

$P\; (R\; |\; F)\; =\; P\; (F\; |\; R)\; P\; (F\; |\; R)\; +\; \sum \; j\; П\; (\; TJ)\; \{\backslash \; Displaystyle\; P\; (R\; |\; F)\; =\; \{\backslash \; гидроразрыва\; \{P\; (F\; |\; R)\}\; \{P\; (F\; |\; R)\; +\; \backslash \; sum\; \_\; \{j\}\; \{P\; (T\_\; \{j\})\}\}\}\}$

давая,

$P\; (T\; i\; |\; F)\; \approx \; 2\; -\; L\; (T\; i)\; 2\; -\; L\; (F)\; +\; \sum \; j\; 2\; -\; L\; (T\; j)\; \{\backslash \; displaystyle\; P\; (T\_\; \{i\}\; |\; F)\; \backslash \; приблизительно\; \{\backslash \; frac\; \{2\; ^\; \{-\; L\; (T\_\; \{i\})\}\}\; \{2\; ^\; \{-\; L\; (F)\}\; +\; \backslash \; sum\; \_\; \{j\}\; \{2\; ^\; \{-\; L\; (T\_\; \{j\})\}\}\; \}\}\}$

$P\; (R\; |\; F)\; \approx \; 2\; -\; L\; (F)\; 2\; -\; L\; (F)\; +\; \sum \; j\; 2\; -\; L\; (T\; j)\; \{\backslash \; displaystyle\; P\; (R\; |\; F)\; \backslash \; приблизительно\; \{\backslash \; frac\; \{\; 2\; ^\; \{-\; L\; (F)\}\}\; \{2\; ^\; \{-\; L\; (F)\}\; +\; \backslash \; sum\; \_\; \{j\}\; \{2\; ^\; \{-\; L\; (T\_\; \{j\})\}\}\}\}\}$

Выведение индуктивной вероятности

Составьте список всех кратчайших программ $K\; i\; \{\backslash \; displaystyle\; K\_\; \{i\}\}$, каждая из которых производит отдельную бесконечную стр. ока битов и удовлетворяет заражению

$T\; n\; (R\; (K\; i))\; =\; x\; \{\backslash \; displaystyle\; T\_\; \{n\}\; (R\; (K\_\; \{i\}))\; =\; x\}$

где $R\; (K\; i)\; \{\backslash \; displaystyle\; R\; (K\_\; \{i\})\}$- результат выполнения программы $K\; i\; \{\backslash \; displaystyle\; K\_\; \{i\}\}$и $T\; n\; \{\backslash \; displaystyle\; T\_\; \{n\}\}$уследование после n битов.

Проблема состоит в том, чтобы вычислить вероятность того, что источник создан программой $K\; i,\; \{\backslash \; displaystyle\; K\_\; \{i\},\}$, учитывая, что усеченный источник после n битов Икс. Это представлено условной вероятностью,

$P\; (s\; =\; R\; (K\; i)\; |\; T\; n\; (s)\; =\; x)\; \{\backslash \; displaystyle\; P\; (s\; =\; R\; (K\_\; \{i\}))\; |\; T\_\; \{n\}\; (s)\; =\; x)\}$

Использование расширенной формы теоремы Байеса

$P\; (s\; =\; R\; (K\; i)\; |\; T\; n\; (s)\; =\; x)\; =\; P\; (T\; n\; (s)\; =\; x\; |\; s\; =\; R\; (K\; i))\; P\; (s\; =\; R\; (K\; i))\; \sum \; j\; P\; (T\; n\; (s)\; =\; x\; |\; s\; =\; R\; (K\; j))\; P\; (s\; =\; R\; (K\; j))).\; \{\backslash \; Displaystyle\; P\; (s\; =\; R\; (K\_\; \{i\})\; |\; T\_\; \{n\}\; (s)\; =\; x)\; =\; \{\backslash \; frac\; \{P\; (T\_\; \{n\}\; (s)\; =\; x\; |\; s\; =\; R\; (K\_\; \{i\}))))\; P\; (s\; =\; R\; (K\_\; \{i\}))\}\; \{\backslash \; sum\; \_\; \{j\}\; P\; (T\_\; \{n\}\; (s)\; =\; x\; |\; s\; =\; R\; (K\_\; \{j\}))\; P\; (s\; =\; R\; (K\_\; \{j\}))\}\}.\}$

Расширенная форма полагается на закон полной вероятности. Это означает, что $s\; =\; R\; (K\; i)\; \{\backslash \; displaystyle\; s\; =\; R\; (K\_\; \{i\})\}$должны быть различными возможностями, что задается условием, что каждый $K\; i\; \{\; \backslash \; displaystyle\; K\_\; \{i\}\}$Создать. Также должно быть одно из условий $s\; =\; R\; (K\; i)\; \{\backslash \; displaystyle\; s\; =\; R\; (K\_\; \{i\})\}$. Это должно быть правдой, так как в пределах $n\; \to \; \infty ,\; \{\backslash \; displaystyle\; n\; \backslash \; to\; \backslash \; infty,\}$всегда есть хотя бы одна программа, которая производит $T\; n\; (s)\; \{\; \backslash \; displaystyle\; T\_\; \{n\}\; (s)\}$.

As $K\; i\; \{\backslash \; displaystyle\; K\_\; \{i\}\}$выбираются так, чтобы $T\; n\; (R\; (K\; i))\; =\; x,\; \{\backslash \; displaystyle\; T\_\; \{n\}\; (R\; (K\_\; \{i\}))\; =\; x,\}$, тогда

$P\; (T\; n\; (s)\; =\; x\; |\; s\; =\; R\; (K\; i))\; =\; 1\; \{\backslash \; displaystyle\; P\; (T\_\; \{n\}\; (s)\; =\; x\; |\; s\; =\; R\; (K\_\; \{i\}))\; =\; 1\}$

Априорная вероятность того, что строка будет получена программой при отсутствии информации о строке зависит от размера программы,

$P\; (s\; =\; R\; (K\; i))\; =\; 2\; -\; I\; (K\; i)\; \{\backslash \; displaystyle\; P\; (s\; =\; R\; (K\_\; \{i\}))\; =\; 2\; ^\; \{-\; I\; (K\_\; \{i\})\}\}$

дает,

$P\; (s\; =\; R\; (K\; i)\; |\; T\; n\; (s)\; =\; x)\; =\; 2\; -\; I\; (K\; i)\; \sum \; j\; 2\; -\; Я\; (K\; j).\; \{\backslash \; Displaystyle\; P\; (s\; =\; R\; (K\_\; \{i\})\; |\; T\_\; \{n\}\; (s)\; =\; x)\; =\; \{\backslash \; frac\; \{2\; ^\; \{-\; I\; (K\_\; \{i\})\}\}\; \{\backslash \; sum\; \_\; \{j\}\; 2\; ^\; \{-\; I\; (K\_\; \{j\})\}\}\}.\}$

Программы, длина которых равна или превышает длину x, не обеспечивают предсказательной силы. Разделите их, получив:

Затем определите две вероятности как,

$P\; (x\; является\; случайным)\; =\; \sum \; j:\; I\; (K\; j)\; ⩾\; n\; 2\; -\; I\; (K\; j)\; \{\backslash \; displaystyle\; P\; (x\; \{\backslash \; text\; \{is\; random\}\})\; =\; \backslash \; sum\; \_\; \{j:\; I\; (K\_\; \{j\})\; \backslash \; geqslant\; n\}\; 2\; ^\; \{-\; I\; (K\_\; \{j\})\}\}$

Но априорная вероятность что x представляет собой случайный набор битов: $2\; -\; n\; \{\backslash \; displaystyle\; 2\; ^\; \{-\; n\}\}$. Итак,

Вероятность того, что источник случайен, или непредсказуем,

Модель для индуктивного вывод

Модель построения миров используется при определении вероятностей теорий,

• Выбирается случайная битовая строка.
• Условие конструируется из битовой строки.
• Создается мир, соответствующий условию.

Если w - это битовая строка, тогда мир создается так, что $R\; (w)\; \{\backslash \; displaystyle\; R\; (w)\}$верно. У интеллектуального агента есть некоторые факты о слове, представленные битовой строкой c, которая дает условие,

$C\; =\; R\; (c)\; \{\backslash \; displaystyle\; C\; =\; R\; (c)\}$

Набор битовых строк, идентичных любому условию x, равен $E\; (x)\; \{\backslash \; displaystyle\; E\; (x)\}$.

$\forall \; x,\; E\; (x)\; =\; \{w:\; R\; (w)\; \equiv \; x\}\; \{\backslash \; displaystyle\; \backslash \; forall\; x,\; E\; (x)\; =\; \backslash \; \{w:\; R\; (w)\; \backslash \; Equiv\; x\; \backslash \}\}$

Теория - это более простое условие, которое объясняет (или подразумевает) C. Множество всех таких теорий называется T,

$T\; (C)\; =\; \{t:\; t\; \to \; C\}\; \{\backslash \; displaystyle\; T\; (C)\; =\; \backslash \; \{t:\; t\; \backslash \; to\; C\; \backslash \}\}$

Применение теоремы Байеса

расширенная форма теоремы Байеса может применяться

$P\; (A\; i\; |\; B)\; =\; P\; (B\; |\; A\; i)\; P\; (A\; i)\; \sum \; j\; P\; (B\; |\; A\; j)\; P\; (A\; j),\; \{\backslash \; displaystyle\; P\; (A\_\; \{i\}\; |\; B)\; =\; \{\backslash \; frac\; \{P\; (B\; |\; A\_\; \{i\})\; \backslash ,\; P\; (A\_\; \{i\})\}\; \{\backslash \; sum\; \_\; \{j\}\; P\; (B\; |\; A\_\; \{j\})\; \backslash ,\; P\; (\; A\_\; \{j\})\}\},\}$

где,

$B\; =\; E\; (C)\; \{\backslash \; displaystyle\; B\; =\; E\; (C)\}$

$A\; i\; =\; E\; (t)\; \{\backslash \; displaystyle\; A\_\; \{i\}\; =\; E\; (t)\}$

Чтобы применить теорему Байеса, должно выполняться следующее: $A\; i\; \{\backslash \; displaystyle\; A\_\; \{i\}\}$- раздел события.Космос.

Для $T\; (C)\; \{\backslash \; displaystyle\; T\; (C)\}$как раздела, ни одна битовая строка n не может принадлежать двум теориям. Чтобы доказать это, предположим, что они могут, и получим противоречие:

$(N\; \in \; T)\; \wedge \; (N\; \in \; M)\; \wedge \; (N\; \ne \; M)\; \wedge \; (n\; \in \; E\; (N)\; \wedge \; n\; \in \; E\; (M))\; \{\backslash \; displaystyle\; (N\; \backslash \; in\; T)\; \backslash \; land\; (N\; \backslash \; in\; M)\; \backslash \; land\; (N\; \backslash \; neq\; M)\; \backslash \; land\; (n\; \backslash \; in\; E\; (N)\; \backslash \; land\; n\; \backslash \; in\; E\; (M))\}$

$⟹\; (N\; \ne \; M)\; \wedge \; р\; (N)\; \equiv \; N\; \wedge \; р\; (N)\; \equiv \; M\; \{\backslash \; displaystyle\; \backslash \; подразумевает\; (N\; \backslash \; neq\; M)\; \backslash \; земля\; R\; (n)\; \backslash \; эквив\; N\; \backslash \; земля\; R\; (n)\; \backslash \; эквив\; M\}$

$⟹\; \perp \; \{\backslash \; displaystyle\; \backslash \; implies\; \backslash \; bot\}$

Во-вторых, докажите, что T включает в себя все результаты, соответствующие условию. Поскольку все теории, согласующиеся с C, включены, то $R\; (w)\; \{\backslash \; displaystyle\; R\; (w)\}$должен быть в этом наборе.

Таким образом, теорема Байеса может применяться, как указано, давая,

$\forall \; t\; \in \; T\; (C),\; P\; (E\; (t)\; |\; E\; (C))\; =\; P\; (E\; (t))\; \cdot \; P\; (\; E\; (C)\; |\; E\; (T))\; \sum \; J\; \in \; T\; (C)\; P\; (E\; (J))\; \cdot \; P\; (E\; (C)\; |\; E\; (j))\; \{\backslash \; Displaystyle\; \backslash \; forall\; т\; \backslash \; в\; T\; (C),\; P\; (E\; (t)\; |\; E\; (C))\; =\; \{\backslash \; frac\; \{P\; (E\; (t))\; \backslash \; cdot\; P\; (E\; (C)\; |\; E\; (t))\}\; \{\backslash \; sum\; \_\; \{j\; \backslash \; in\; T\; (C)\}\; P\; (E\; (j))\; \backslash \; cdot\; P\; (E\; (C)\; |\; E\; (j))\}\}\}$

Используя импликацию и закон вероятности условия, определение $T\; (C)\; \{\backslash \; Displaystyle\; T\; (C)\}$подразумевает,

$\forall \; t\; \in \; T\; (C),\; P\; (E\; (C)\; |\; E\; (t))\; =\; 1\; \{\backslash \; displaystyle\; \backslash \; forall\; t\; \backslash \; in\; T\; (C),\; P\; (E\; (C)\; |\; E\; (t))\; =\; 1\}$

Вероятность каждой теории в T определяется выражением,

$\forall \; t\; \in \; T\; (C),\; P\; (E\; (T))\; знак\; равно\; \sum \; N:\; р\; (N)\; \equiv \; T\; 2\; -\; L\; (N)\; \{\backslash \; displaystyle\; \backslash \; forall\; t\; \backslash \; in\; T\; (C),\; P\; (E\; (t))\; =\; \backslash \; sum\; \_\; \{n:\; R\; (n)\; \backslash \; Equiv\; t\}\; 2\; ^\; \{-\; L\; (n)\}\}$

так,

$\forall \; t\; \in \; T\; (C),\; P\; (E\; (t)\; |\; E\; (C))\; =\; \sum \; n:\; R\; (n)\; \equiv \; T\; 2\; -\; L\; (N)\; \sum \; J\; \in \; T\; (C)\; \sum \; m:\; R\; (m)\; \equiv \; J\; 2\; -\; L\; (m)\; \{\backslash \; Displaystyle\; \backslash \; forall\; t\; \backslash \; in\; T\; (C),\; P\; (E\; (t)\; |\; E\; (C))\; =\; \{\backslash \; frac\; \{\backslash \; sum\; \_\; \{n:\; R\; (n)\; \backslash \; Equiv\; t\}\; 2\; ^\; \{-\; L\; (n)\}\}\; \{\backslash \; sum\; \_\; \{j\; \backslash \; in\; T\; (C)\}\; \backslash \; su\; m\; \_\; \{m:\; R\; (m)\; \backslash \; Equiv\; j\}\; 2\; ^\; \{-\; L\; (m)\}\}\}\}$

Наконец, вероятности событий могут быть отождествлены с вероятностями условия, которому удовлетворяют исходы события.,

$\forall \; t\; \in \; T\; (C),\; P\; (E\; (t)\; |\; E\; (C))\; знак\; равно\; P\; (t\; |\; C)\; \{\backslash \; displaystyle\; \backslash \; forall\; t\; \backslash \; in\; T\; (C),\; P\; (E\; (t)\; |\; E\; (C))\; =\; P\; (t\; |\; C)\}$

давая

$\forall \; t\; \in \; T\; (C),\; P\; (t\; |\; C)\; =\; \sum \; n:\; R\; (n)\; \equiv \; t\; 2\; -\; L\; (n)\; \sum \; j\; \in \; T\; (C)\; \sum \; m:\; R\; (m)\; \equiv \; j\; 2\; -\; L\; (т)\; \{\backslash \; Displaystyle\; \backslash \; forall\; т\; \backslash \; в\; Т\; (С),\; п\; (т\; |\; С)\; =\; \{\backslash \; гидроразрыва\; \{\backslash \; сумма\; \_\; \{п:\; R\; (п)\; \backslash \; эквив\; т\}\; 2\; ^\; \{-\; L\; (п)\; \}\}\; \{\backslash \; sum\; \_\; \{j\; \backslash \; in\; T\; (C)\}\; \backslash \; sum\; \_\; \{m:\; R\; (m)\; \backslash \; Equiv\; j\}\; 2\; ^\; \{-\; L\; (m)\}\}\}\}$

Это вероятность теории t после наблюдения за выполнением условия C.

Удаление теорий без предсказательной силы

Теории, которые менее вероятны, чем условие C, не имеют предсказательной силы. Разделяем их, получая,

$\forall \; t\; \in \; T\; (C),\; P\; (t\; |\; C)\; =\; P\; (E\; (t))\; (\sum \; j:\; j\; \in \; T\; (C)\; \wedge \; P\; (E\; (j))>P\; (E\; (C))\; P\; (E\; (J)))\; +\; (\sum \; J:\; j\; \in \; T\; (C)\; \wedge \; P\; (E\; (J))\; \le \; P\; (E\; (C))\; P\; (J))\; \{\backslash \; Displaystyle\; \backslash \; для\; всех\; t\; \backslash \; в\; T\; (C),\; P\; (t\; |\; C)\; =\; \{\backslash \; frac\; \{P\; (E\; (t))\}\; \{(\backslash \; sum\; \_\; \{j:\; j\; \backslash \; in\; T\; (C)\; \backslash \; land\; P\; (E\; (j))>P\; (E\; (C))\}\; P\; (E\; (j)))\; +\; (\backslash \; sum\; \_\; \{j:\; j\; \backslash \; in\; T\; (C)\; \backslash \; land\; P\; (E\; (j))\; \backslash \; leq\; P\; (E\; (C))\}\; P\; (j))\}\}\}$

Вероятность теорий без предсказательной силы на C такая же, как вероятность C. Итак,

$P\; (E\; (C))\; Знак\; равно\; \sum \; J:\; J\; \in \; T\; (C)\; \wedge \; P\; (E\; (J))\; \le \; P\; (E\; (C))\; P\; (J)\; \{\backslash \; Displaystyle\; P\; (E\; (C))\; =\; \backslash \; sum\; \_\; \{j:\; j\; \backslash \; in\; T\; (C)\; \backslash \; land\; P\; (E\; (j))\; \backslash \; leq\; P\; (E\; (C))\}\; P\; (j)\}$

Таким образом, вероятность

$\forall \; t\; \in \; T\; (C),\; P\; (t\; |\; C)\; =\; P\; (E\; (t))\; P\; (E\; (C))\; +\; \sum \; j:\; j\; \in \; T\; (C)\; \wedge \; P\; (E\; (j))>P\; (E\; (C))\; P\; (E\; (j))\; \{\backslash \; displaystyle\; \backslash \; forall\; t\; \backslash \; in\; T\; (C),\; P\; (t\; |\; C)\; =\; \{\backslash \; frac\; \{P\; (E\; (t))\}\; \{P\; (E\; (C))\; +\; \backslash \; sum\; \_\; \{j:\; j\; \backslash \; in\; T\; (C)\; \backslash \; land\; P\; (E\; (j))>P\; (E\; (C))\}\; P\; (E\; (j))\}\}\}$

и вероятность отсутствия прогноза для C, записанная как $random\; \; (C)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{random\}\; (C)\}$,

$P\; (random\; (C)\; |\; C)\; =\; P\; (E\; (C))\; P\; (E\; (C))\; +\; \sum \; j:\; j\; \in \; T\; (C)\; \wedge \; P\; (E\; (j))>P\; (E\; (C))\; P\; (E\; (j))\; \{\backslash \; Displaystyle\; P\; (\{\backslash \; text\; \{random\}\}\; (C)\; |\; C)\; =\; \{\backslash \; гидроразрыва\; \{P\; (E\; (C))\}\; \{P\; (E\; (C))\; +\; \backslash \; sum\; \_\; \{j:\; j\; \backslash \; in\; T\; (C)\; \backslash \; land\; P\; (E\; (j))>P\; (E\; (C))\}\; P\; (E\; (j))\}\}\}$

вероятность состояния была задана как,

$\forall \; t,\; P\; (E\; (t))\; =\; \sum \; n:\; R\; (n)\; \equiv \; t\; 2\; -\; L\; (n)\; \{\backslash \; displaystyle\; \backslash \; forall\; t,\; P\; (E\; (t))\; =\; \backslash \; sum\; \_\; \{n:\; R\; (n)\; \backslash \; Equiv\; t\}\; 2\; ^\; \{-\; L\; (n)\}\}$

Битовые строки для теорий, которые более сложны, чем битовая строка, переданная агенту в качестве входных данных, не имеют предсказательного мощность. Вероятности лучше включать в случайный случай. Для реализации этого нового определения дается как F in,

Используя F, улучшенная версия абдуктивных вероятностей:

$\forall \; t\; \in \; T\; (C),\; P\; (t\; |\; C)\; =\; P\; (F\; (t,\; c))\; P\; (F\; (\; С,\; в))\; +\; \sum \; J:\; J\; \in \; T\; (C)\; \wedge \; P\; (F\; (J,\; C))>P\; (F\; (C,\; C))\; P\; (E\; (J,\; C))\; \{\backslash \; Displaystyle\; \backslash \; forall\; т\; \backslash \; в\; T\; (C),\; P\; (t\; |\; C)\; =\; \{\backslash \; frac\; \{P\; (F\; (t,\; c))\}\; \{P\; (F\; (C,\; c))\; +\; \backslash \; sum\; \_\; \{j:\; j\; \backslash \; in\; T\; (C)\; \backslash \; land\; P\; (\; F\; (j,\; c))>P\; (F\; (C,\; c))\}\; P\; (E\; (j,\; c))\}\}\}$

$P\; (случайный\; \; (C)\; |\; C)\; =\; P\; (F\; (C,\; c))\; P\; (F\; (C,\; c))\; +\; \sum \; j:\; j\; \in \; T\; (C)\; \wedge \; P\; (F\; (j,\; c))>P\; (F\; (C,\; c))\; P\; (F\; (J,\; C))\; \{\backslash \; Displaystyle\; P\; (\backslash \; Operatorname\; \{random\}\; (C)\; |\; C)\; =\; \{\backslash \; frac\; \{P\; (F\; (C,\; c))\}\; \{P\; (F\; (C,\; c))\; +\; \backslash \; sum\; \_\; \{j:\; j\; \backslash \; in\; T\; (C)\; \backslash \; land\; P\; (F\; (j,\; c))>P\; (F\; (C,\; c))\}\; P\; (F\; (j,\; c))\}\}\}$

• Уильям Окхэм
• Томас Байес
• Рэй Соломонов
• Андрей Колмогоров <650714>DM Boulton
• Йорма Риссанен
• Маркус Хаттер

• Абдуктивное мышление
• Алгоритмическая вероятность
• Алгоритмическая теория информации
• Байесовский вывод
• Теория информации
• Индуктивный вывод
• Индуктивное логическое программирование
• Индуктивное рассуждение
• Обучение
• Минимальная длина сообщения
• Минимальная длина описания
• Бритва Оккама
• Теория индуктивного вывода Соломонова
• Универсальный искусственный интеллект

• Ратманнер, С. и Хаттер, М., «Философский трактат универсальной индукции» в Entropy 2011, 13, 1076–1136: очень четкий философский и математический анализ теории Соломонова. Теория индуктивного вывода.
• CS Уоллес, Статистический и индуктивный вывод по минимальной длине сообщения, Springer-Verlag (информатика и статистика), ISBN 0-387-23795-X, май 2005 г. - заголовки глав, содержание и примеры страниц.