ВЕРОЯТНОСТНАЯ МОДЕЛЬ ФОРЕКС

Лучшие Форекс брокеры 2021:
Читайте в этой статье:

Василий Якимкин — Вероятностные модели для рынка Форекс

Случайное блуждание цены на рынке FOREX во многом ограничивает прогнозы финансовых аналитиков. Поэтому теория детерминированного хаоса заняла прочное положение в финансовой науке и практике трейдинга. В настоящей статье продемонстрированы возможности использования вероятностных моделей рынка FOREX для минимизации риска в ожидаемой доходности портфеля валют, а также показан один из возможных способов численной оценки ожидаемой доходности и риска.

Хаотичность движения курса исследуемой валюты на рынке FOREX на неглубоких инвестиционных горизонтах (с временной разверткой до daily включительно) во многом ограничивает прогностические возможности финансовых аналитиков. Наблюдается эффект бабочки – существенная зависимость эволюции цены от начальных условий [1]. Динамическая неустойчивость на валютном рынке (а, как следствие, и невозможность использования детерминированных прогнозов) является важным фактором, существенно увеличивающим риск операций на этом рынке. Но мы можем превратить этот недостаток в достоинство.

Современную теорию портфельных инвестиций обычно начинают с обзора важнейших идей Нобелевского лауреата Гарри Марковица [2]. Марковиц впервые разработал математическую модель оптимального портфеля ценных бумаг и проанализировал способы подбора такого портфеля при различных начальных условиях. Им была предложена вероятностная модель фондового рынка, включающая в себя такие базисные понятия, как доходность и риск. Тем самым удалось перевести проблему выбора оптимального подбора акций различных компаний на язык теории вероятности и по возможности точно решить эту, теперь уже математическую, задачу.

Чуть позднее идеи Марковица были несколько упрощены для практики Уильямом Шарпом, который предложил однофакторную модель рынка капиталов и впервые ввел всемирно известные альфа и бета характеристики акций. Это позволило в дальнейшем создать довольно многочисленные пакеты оптимизационных компьютерных задач по управлению портфелем акций.

Основной недостаток портфельной теории Марковица заключался в том, что эта теория была разработана только для акций, которые, как известно, являются довольно рисковым активом. Этот недоста-ток исправил Джеймс Тобин [3], который включил в анализ относи-тельно безрисковые активы – такие, как долгосрочные Т-бонды (государственные облигации) и депозитные вклады. По существу Тобин предложил проводить макроэкономические исследования оптимизации подбора портфеля ценных бумаг, причем, при размещении в относительно безрисковые активы не менее 40% от капитализации портфеля.

Логическим следствием наработок Марковица, Шарпа и Тобина было появление более современной теории CAPM (CapitalAssetPriceModel) – модели оценки активов капитала. Этой моделью широко пользуются инвесторы и по сей день.

Рейтинг Форекс брокеров:

Главным результатом CAPM является установление соотношения между доходностью и риском актива для равновесного рынка. Теория САРМ настоятельно рекомендует работать с диверсифицированным портфелем. При этом набор активов подбирается таким образом, что, хотя максимальная доходность и уменьшается, скажем, в n раз, но при этом степень риска может понизиться в n2 раз. В этом случае при оптимизации портфеля активов трейдер должен учитывать не весь риск, связанный с активом, а только часть его, так называемый систематический (или недиверсифицируемый) риск, выраженный коэффициентом бета и связанный с общим риском рынка в целом.

Остальная часть (так называемый несистематический, или диверсифицируемый риск) устраняется выбором соответствующих активов (как правило, на различных сегментах валютного рынка, скажем, спот-рынок FOREX и срочный рынок валютных фьючерсов и опционов). Характер связи между доходностью и риском имеет вид линейной зависимости.

Теория САРМ ответила на такой важнейший вопрос: «Допустим, что все участники рынка одинаково оценивают доходность и риск отдельных активов, обладают одной и той же информацией и руководствуются в своих решениях портфельной теорией Марковица. Как в этом случае сложатся рыночные цены на выбранные активы?». Очевидно, что в этом случае цены точно «лягут» на прямую зависимости доходности актива от его уровня риска.

Противовесом теории САРМ в моделировании взаимодействия риск/доходность явилась широко обсуждаемая в 80-е годы ХХ века теория АРМ (ArbitragePricingModel) – арбитражная модель рынка [4]. Эта модель базируется на постулате: в каждый момент времени на рынке соотношение риск/доходность должно быть таким, чтобы ни один трейдер не смог получать неограниченный доход от чисто арбитражной сделки. И, перефразируя известный принцип сохранения энергии, можно вывести своеобразный «закон рынка»: невозможно создать «финансовый вечный двигатель», то есть машину без всякого риска, неограниченно долго «выкачивающую» деньги с рынка [5].

Для более полного понимания функционирования рынка капитала около тридцати лет назад была предложена теория эффективного рынка (EfficientMarketHypothesis – EMH) [6]. В ней сравнивается «истинная» (оценочная) цена актива с рыночной ценой. Проблема в том, насколько и как часто рынок может недооценивать или переоценивать тот или иной актив. Трейдер, обнаруживший недооценки или переоценки рыночного актива, имел бы возможность безрискового получения прибыли. Гипотеза эффективности рынка говорит нам, что это невозможно. Ведь в курсе исследуемого актива заложена практически вся доступная участникам рынка информация. Отсюда следует, что наблюдаемые курсовые колебания должны происходить хаотично, и никто не может прогнозировать рыночные цены.

Теория ЕМН пытается объяснить статистическую структуру рынка, постулируя, что рынок имеет очень короткую память. То есть текущее изменение рыночной цены не подвержено влиянию тех изменений, которые происходили с ценой в предыдущие моменты времени, изменения цены стохастичны, и лучший прогноз на будущую цену должен делаться только по текущей цене. предложена теория эффективного рынка (EfficientMarketHypothesis – EMH) [6]. В ней сравнивается «истинная» (оценочная) цена актива с рыночной ценой. Проблема в том, насколько и как часто рынок может недооценивать или переоценивать тот или иной актив. Трейдер, обнаруживший недооценки или переоценки рыночного актива, имел бы возможность безрискового получения прибыли. Гипотеза эффективности рынка говорит нам, что это невозможно. Ведь в курсе исследуемого актива заложена практически вся доступная участникам рынка информация. Отсюда следует, что наблюдаемые курсовые колебания должны происходить хаотично, и никто не может прогнозировать рыночные цены.

Рейтинг Форекс платформ:

Теория ЕМН пытается объяснить статистическую структуру рынка, постулируя, что рынок имеет очень короткую память. То есть текущее изменение рыночной цены не подвержено влиянию тех изменений, которые происходили с ценой в предыдущие моменты времени, изменения цены стохастичны, и лучший прогноз на будущую цену должен делаться только по текущей цене.

Эта теория является по существу атакой на технический анализ. Хотя некоторые ее выводы заметно коррелируют с техническим анализом. Например, она утверждает, что в текущей цене отражена вся доступная инвесторам информация (сравните с первым постулатом технического анализа) из-за перманентного проведения ими технического и фундаментального анализа.

Основным недостатком теории ЕМН является ее явное (по некоторым вопросам) расхождение с практикой. Так, в книгах Эдгара Петерса [6, 7] показано, что, согласно теории эффективного рынка, зависимость «частоты» изменения цены от ее волатильности на выбранном интервале времени должна совпадать с нормальным распределением. Однако на практике мы получаем частотные распределения, заметно отличные от нормального.

Оптимизация соотношения риск/доходность

В своей первой книге [8] я уже приводил примеры оценки вероятности движения валют – это довольно просто: из ста вхождений в рынок на основе моего набора технических индикаторов определял, сколько раз я правильно вошел, а сколько раз ошибся. Число правильных вхождений и будет показывать вероятность, с которой я могу прогнозировать этот рынок.

Современная портфельная теория позволяет формировать набор финансовых инструментов с любым заданным соотношением риск/доходность. Рассмотрим на конкретных примерах, как это реализуется.

1. Для определенности рассмотрим спот-рынок FOREX 1999 г. и выберем два актива: USD/JPY и EUR/JPY.

Рис. 1. Отношение доллара США к иене.

2. Предположим, что рынок в целом медвежий по обеим валютам (см. рис. 1). Данные по доходностям этих валют и по вероятностям состояний рынка приведены ниже в таблице. (Самое общепринятое определение годовой доходности: если в начале года на счете было 100, а в конце года – 130, то годовая доходность = (130-100)/100 = 30%):?Состояние s Вероятность p(s) Доходность USD/JPYR(1)% Доходность EUR/JPYR(2)%

Long (l) – подъем рынка (доминирует бычий тренд);

Flat (f) – неопределенность на рынке;

Short (s) – падение рынка (на рынке доминируют медведи).

Допустим, ваш анализ рынка выбранных валют говорит (с вероятностью 0.7) в пользу медвежьего тренда. Тогда вы открываете короткую позицию по USD/JPY и хеджируетесь, открывая лонговую позицию по EUR/JPY. (В обоих случаях ордера стоп-лосса ставятся на уровне 5% от величины открытой позиции.)

Из таблицы видно, что, если рынок «сходит» вверх (с вероятностью 20% такого события), то вы потеряете 5% от суммы открытой позиции по USD/JPY (сработает ваш стоплосс-ордер), но вы заработаете 20%от суммы открытой позиции по EUR/JPY. Если же рынок останется во флэте, то с доходностью 0% по обеим валютам вы ничего не заработаете, но и не проиграете. При падении рынка (вероятность такого события равна 70%) вы заработаете 30% по первому активу и проиграете 5% по второму активу.

Вычислим ожидаемую доходность по USD/JPY:

Е(1) = -5 х 0.2 +0 х 0.1 + 30 х 0.7 = 20%; a2 = (-5 -20)2 х 0.2 + (-20)2 х 0.1 + (30 — 20)2 х 0.7 = 235; a =15.33%. То есть только при продаже валюты USD/JPY наша ожидаемая доходность будет оцениваться в 20% при риске 15.33%.

Вычислим теперь ожидаемую доходность по EUR/JPY: Е(2) = 20 х 0.2 + 0 х 0.1 — 5 х 0.7 = 0.5%; a2 = (20 — 0.5)2 х 0.2 + 0.52 х 0.1 + (-5 — 0.5)2 х 0.7 = 97.71; a = 9.88%. То есть только при одной покупке валюты EUR/JPY наша ожидаемая доходность будет оцениваться в 0.5% при риске 9.88%.

Посмотрим теперь ожидаемую доходность при продаже доллара США против иены с одновременной покупкой евро против иены. Так как вероятность падения рынка в 3.5 раза выше вероятности его подъема, то ставить будем на продажу USD/JPY, а покупка EUR/JPY рассматривается как подстраховочный вариант (хеджирование).

Допустим, наш депозит составляет $30,000. Разделим его в соотношении 2:1, т.е. продаем $20,000 USD/JPY и тут же покупаем $10,000 EUR/JPY.

Вычислим ожидаемую доходность для трех различных вариантов развития событий на рынке:

Long: (20000 х (-0.05) + 10000 х 0.2)/30000 = 3.3%;

Short: (20000 х 0.3 — 10000 х 0.05)/30000 = 18.33%.

Полученное распределение доходности в случае хеджирования второй валютой в соотношении 2:1 можно свести в таблицу:?R 3.3 0 18.33

Откуда можно вычислить ожидаемую доходность и риск для портфеля из этих двух валют при вхождении в рынок в заданном соотношении 2:1:

Е = 3.3 х 0.2 + 18.33 х 0.7 = 13.5%;

a2 = (3.3 -13.5)2 х 0.2 + 13.52 х 0.1 + (18.33 — 13.5)2 х 0.7 = 54.5; a = 7.4%. Мы видим, что при таком «парном» вхождении в рынок наша ожидаемая доходность смешанного портфеля активов равна 13.5%, что больше ожидаемой доходности по валюте EUR/JPY на 10.2% и меньше ожидаемой доходности по USD/JPY всего на 1.67%, тогда как риск портфеля понизился более чем в 2 раза по первому активу (USD/JPY) и чуть меньше чем в 1.4 раза – по второму.

Таким образом, на приведенном выше примере продемонстрирована возможность использования вероятностной модели рынка FOREX для существенной минимизации риска при небольших потерях в ожидаемой доходности портфеля активов, а также показан один из возможных способов численной оценки ожидаемой доходности и риска.

Финансовый дилинг. Книга 1. / Якимкин В. Н. // М.: ИКФ Омега-Л, 2001.

Portfolio Selection: Efficient Diversification of Investiment / Markowitz H. M. // N.Y.: Wiley, 1959.

The Theory of Portfolio Selection in F. H. Hahn and F.R.P. Brechling (eds), The Theory of Interest Rate. / Tobin J. // London, Macmillan, 1965, pp.3-51.

The Arbitrage Theory of Capital Asset Pricing / Ross S. A. // Journal of Economic Theory, Dec., 1976.

Основы теории оптимального портфеля ценных бумаг / Касимов Ю. Ф. // М.: Филинъ, 1998.

ВЕРОЯТНОСТНАЯ МОДЕЛЬ ФОРЕКС

В результате анализа, проведенного методом Монте-Карло, эксперт получает значение ожидаемой чистой приведенной стоимости проекта и плотность распределения этой случайной величины. Однако этих данных недостаточно для того, чтобы аналитик установил, действительно ли прибыльность проекта настолько велика, что компенсирует риск по проекту, оцененный стандартным отклонением и коэффициентом вариации. Ряд исследователей избегает использования данного метода ввиду сложности построения вероятностной модели и множества вычислений, однако при корректности модели метод дает весьма надежные результаты, позволяющие судить как о доходности проекта, так и о его устойчивости (чувствительности).  [c.252]

Первый касается широты термина. До недавнего времени собственно вся финансовая математика сводилась к тому, что мы обозначили термином классическая финансовая математика , т.е. к изучению детерминированных моделей. В последнее время в связи с серьезными достижениями современной финансовой теории существенно расширились как круг проблем, рассматриваемых в финансовой математике, так и методы их решения. Современная финансовая математика в значительной мере посвящена изучению вероятностных моделей, возникающих при анализе финансовых проблем в условиях неопределенности и риска. Именно в этом смысле употребляется термин финансовая математика , например в [25]. Решение таких проблем нуждается в более сложном математическом аппарате теории вероятностей, математической статистики и случайных процессов, в то время как классическая финансовая математика основана на использовании в основном элементарной алгебры и начал анализа.  [c.6]

В книге дается анализ основной производственной деятельности системы нефтеснабжения, формализуются понятия ее состояния, надежности функционирования объектов и системы нефтеснабжения, строятся модели оперативного управления. Излагаются вероятностные экономико-математические методы оперативного управления нефтеснабжением на больших транспортных сетях с использованием автоматизированных систем сбора и переработки информации.  [c.2]

В СИЛУ сложности прогнозирования рынка возникает ощущение, что рынок и изменения цен можно рассматривать как вероятностный процесс и применять для исследования цен методы статистического анализа. Мы с таким подходом не согласны, считая, что рынок содержит в себе объективные движущие причины, которые определяют изменения цен. Но сложность и неоднозначность анализа этого рынка создают иллюзию хаотичности и случайности. Однако предложенная нами модель борьбы спроса и предложения (СМ. 2.6) приводит к выводу о том, что применение методов статистического анализа к изучению рынка вполне обосновано.  [c.164]

Применительно к экономическим задачам методы математической статистики сводятся к систематизации, обработке и использованию статистических данных для научных и практических выводов. Метод исследования, опирающийся на рассмотрение статистических данных о тех или иных совокупностях объектов, называется статистическим. Основным элементом экономического исследования является анализ и построение взаимосвязей экономических переменных. Изучение таких взаимосвязей осложнено тем, что они не являются строгими, функциональными зависимостями. Бывает достаточно трудно выявить все основные факторы, влияющие на данную переменную (например, прибыль, риск), многие такие взаимодействия являются случайными, носят неопределенный характер, и число статистических наблюдений является ограниченным. В этих условиях математическая статистика (то есть теория обработки и анализа данных) позволяет строить экономические модели и оценивать их параметры, проверять гипотезы о свойствах экономических показателей и формах их связи, что в конечном счете служит основой для экономического анализа и прогнозирования, создавая возможность для принятия обоснованных экономических решений. Теория вероятностей играет важную роль при статистических исследованиях вероятностно-случайных явлений. Здесь в полной мере находят применение такие, основанные на теории вероятностей разделы математической статистики, как статистическая проверка гипотез, статистическое оценивание распределений вероятностей и входящих в ни параметров и др.  [c.22]

Капиталовложения в промышленность, например, дают отдачу не сразу, а через несколько лет, когда будут построены и освоены новые производства. Поэтому, изучая влияние капиталовложений на развитие хозяйства, приходится относить это влияние не на ближайший год. а на третий, четвертый и т. д. Требуются большие статистические исследования, чтобы получить соответствующие данные для экономико-математических моделей. Эти данные будут неизбежно носить вероятностный характер, и потому лаги в народном хозяйстве изучаются методами математической статистики, в частности корреляционного анализа.  [c.98]

При каждом таком проигрывании графика машина находит критический путь и вычисляет все необходимые параметры графика. Но теперь уже математическое ожидание любого параметра и его дисперсия определяются не через входящие в него слагаемые, а непосредственно как среднее значение и среднеквадратическое отклонение из всех значений конкретного параметра, полученных во всех проигранных машиной вариантах графика. Это наиболее точный метод анализа надежности реализации сетевого графика, рассматриваемого как вероятностная модель.  [c.558]

Метод ситуационного анализа и прогнозирования является достаточно сложным, поскольку в его основе лежат модели, формализующие вероятностные и детерминированные связи, позволяющие прогнозировать развитие системы с учетом различных вариантов развития ситуации. Очевидно, что сфера приложения этого метода анализа — прогнозный анализ.  [c.37]

Среди методов на основе анализа D F с углубленным подходом к неопределенности следует упомянуть имитационные методы, прежде всего анализ чувствительности и методы Монте-Карло. Самый простой из таких методов предполагает анализ чувствительности, когда все переменные корректируются по очереди, чтобы видеть их влияние на конечные стоимости D F. В методах Монте-Карло используется вероятностный подход. Так как вся информация, вовлеченная в принятие решения относительно ИС, высоко сомнительна, самое лучшее, что может быть сделано, это рассматривать вероятностные затраты и доходы, получая конечный результат в виде гистограммы значений NPV. В известных примерах Монте-Карло имитаций сразу все переменные в модели откорректированы согласно индивидуальным распределениям вероят-  [c.195]

IV. Принятие решений в условиях неопределенности. Постановка задачи стохастического программирования. Прикладные методы учета неопределенности. Критерии и методы принятия решений при вероятностной реализации условий, определяющих функционирование производственной системы. Понятие адаптивной модели. «Зона неопределенности» прогноза развития производственной системы и методические приемы ее анализа. Надежность и маневренность производственной системы.  [c.146]

Вероятностно-статистические методы воспроизводят как устойчивые, так и временные зависимости между экономическими явлениями и факторами. С помощью этих моделей можно обрабатывать данные статистического анализа, исследования закона распределения некоторой случайной величины, корреляционного (регрессионного) анализа получения количественной характеристики связей и зависимостей между различными технико-экономическими показателями. Кроме того, можно определять степень влияния каждого производственного фактора на изучаемый показатель или одновременно действующих факторов (для дисперсионного анализа) на технико-экономические показатели и выбирать из ряда факторов наиболее важные.  [c.346]

Определенное внимание уделено вопросам учета факторов неопределенности и риска при анализе проектов. Рассмотрены методы оценки чувствительности проекта и анализа сценариев, а также вероятностных расчетов, в том числе с использованием энтропийных моделей риска и экспертных оценок.  [c.6]

Книга посвящена разработке и исследованию методов и моделей оптимизации нефтеперерабатывающих производств. Обобщен опыт применения вероятностных, в том числе и энтропийных моделей для решения задач текущего и оперативно-календарного планирования. Рассмотрены основные предпосылки и особенности применения диалогового и лингвистического подходов для анализа производственных ситуаций и принятия плановых решений.  [c.2]

Исторический метод — это разновидность ситуационного подхода в маркетинге, анализ и сопоставление данных по аналогии к ситуациям, имевшим место в прошлом. Сравнение данных и фактов, характерных для текущей ситуации, с историческими аналогами в прошлом позволяет построить модель вероятностных изменений в системе потребительских предпочтений. Если во внимание приняты все действительно значимые факторы, то такой метод может оказаться весьма эффективным с точки зрения составления прогнозов на ближайшее будущее, прошлые результаты с его помощью можно в этом случае проецировать на будущее. Этот метод применим прежде всего к анализу рынков для массового и крупносерийного производства, отличающихся относительной стабильностью, когда прошлые связи и тенденции сохраняются достаточно продолжительное время.  [c.204]

Другие параметры обычно сравнивают при помощи регрессионного анализа и имитационного моделирования. Предлагаемые методы обеспечивают финансовых менеджеров сведениями, значение которых трудно переоценить. При этом нельзя забывать о границах применимости моделей. Вероятностная информация основывается, как правило, на эмпирической проверке моделей, ввиду чего определенная степень неточности или несоответствия неизбежна. Такой же трудной оказывается проблема выявления взаимозависимости переменных.  [c.303]

При вероятностном подходе к учету неопределенности оба метода (сценарный и имитационный) могут использоваться совместно. В результате может быть построена сценарно-имитационная модель анализа качества инвестиционного проекта.  [c.306]

Вероятностный анализ рисков Предполагают, что построение и расчеты по модели осуществляются в соответствии с принципами теории вероятностей, тогда как в случае выборочных методов это делается путем расчетов по выборкам. Вероятность возникновения потерь определяется на основе статистических данных предшествовавшего периода с установлением области (зоны) рисков, достаточности инвестиций, коэффициента рисков (отношение ожидаемой прибыли к объему всех инвестиций по проекту)  [c.243]

Статистические модели. Среди широкого круга организационных проблем строительного производства особый интерес вызывают проблемы моделирования массовых процессов или явлений, на которые воздействует не поддающееся строгому учету и контролю множество факторов. Возможны также случаи, когда организатору производства неизвестны программа, структура или поведение системы (подсистемы) либо они настолько сложны, что описать их аналитическими методами не удается. Тогда при моделировании систем используют методы вероятностно-статистического анализа результатов исследуемого явления и говорят о случайных (стохастических или вероятностных) событиях, процессах и моделях.  [c.249]

При построении модели ДС в качестве формального аппарата описания организации и функционирования ДС применяют, например, теорию графов, теорию конечных автоматов, специальные языки формально-логического типа. Если же решают проблему выполнения анализа, оценок и оптимизации разработанной системы, то модели строятся с использованием вероятностно-статистических методов.  [c.206]

Развитие кредитного риск-менеджмента в последние годы было обусловлено применением современных математических методов, таких как анализ выживаемости, вероятностное и статистическое моделирование, математическое программирование, теория игр, нейронные сети и др. По применяемому математическому аппарату модели оценки кредитного риска можно классифицировать следующим образом [17]  [c.339]

Риск может выявляться различными способами от сложного вероятностного анализа в моделях исследования операций до чисто интуитивных догадок. В настоящее время российские предприниматели в управлении рисками обычно опираются на интуицию, чей-то авторитет и на предыдущий опыт. Лишь незначительный процент руководителей способен оценивать риск с применением математических методов.  [c.78]

Развитие аппарата современной математики вызывается практическими соображениями, связанными с распространением математических моделей и методов в самых различных сферах науки. Объекты, к которым сейчас применяются математические идеи, намного сложнее привычных объектов, традиционно изучавшихся математическими методами. Большая сложность новых объектов делает невозможным и нереальным решение задачи полной формализации протекающих в них процессов. Даже вероятностные модели оказываются слишком точными для подобных объектов и не могут быть построены из-за отсутствия нео бходимой статистической информации. Центральным звеном управления в этих новых объектах, как правило, является человек, характеризующийся всей гаммой потребностей, мотивов и целей, недоступных для полного анализа даже ему самому. Принятие решений в этих условиях происходит в многообъектной, многофункциональной системе, содержащей неопределенности, неизбежно связанные с человеком, его психикой, поведением. Они по необходимости должны носить многопараметрический, многокритериальный характер, основываться на анализе информации, который позволял вы находить достаточно рациональные решения, касающиеся (Производственных процессов, научных экспериментов, исследовательских разработок -и т. п. Но опыт кибернетики свидетельствует о том, что достигнуть этого довольно трудно. Отсюда оживленные поиски новых подходов и новых математических средств. Одним из направлений, в которых ныне активно ведется поиск, является теория нежестких объектов — размытых множеств, нечетких алгоритмов, расплывчатых понятий и т. п.  [c.166]

При современном состоянии методов математического программирования и вычислительных возможностях ЭЦВМ модели для оптимизации топливно-энергетического хозяйства ценой ряда упрощений вынужденно сводятся к общей задаче линейного программирования. Для учета в линейных моделях динамики развития топливно-энергетического хозяйства нелинейности ряда энергоэкономических объектов используется ряд приближенных приемов. Для учета же вероятностного характера исходных данных применяются специальные методы анализа оптимального решения.  [c.172]

Основные Средние и относитель- Вся совокупность приемов и методов приемы и способы ные величины труп- анализа, включая нормативные методы, анализа пировки простейшие вероятностные и имитационные модели  [c.87]

Экономич. процессы описываются как с помощью тех-нологич. и технико-экономич. моделей экономики (методы межотраслевого баланса, модели экономич. равновесия), так и с помощью оптимизационных и вероятностных моделей поведения социально-экономич. систем. Наиболее разработанными являются первые модели ( стадиальные модели), построенные на базе эмпирич. межотраслевых таблиц. Они позволяют выявить ряд важных экономич. категорий, таких, как коэффициенты прямых и полных затрат. С помощью межотраслевых таблиц с возможно большей расшифровкой показываются затраты на произ-во продуктов и распределение этих продуктов в нар. х-ве. Коэффициенты прямых затрат (нормативы затрат продукции одной отрасли на единицу продукции др. отрасли) позволяют с учётом конечного спроса каждой отрасли рассчитать объёмы произ-ва продукции. При помощи этих коэффициентов можно рассчитать и коэффициенты полных затрат, к-рые помогают получить более полную информацию о характере связей между отраслями. Объёмы произ-в определяются умножением этих коэффициентов на величину конечного спроса. Структурный анализ с помощью таблиц межотраслевого баланса применяется для анализа структуры всего нар. х-ва и отд. экономпч. р-нов (см. в ст. Баланс межотраслевой). Осн. недостаток метода межотраслевого баланса — отсутствие в нём оптимизирующего подхода, критерия для выбора нан-  [c.82]

ПРИКЛАДНАЯ СТАТИСТИКА [applied statisti s] — научная дисциплина, разрабатывающая и систематизирующая понятия, приемы, математические методы и модели, предназначенные для организации сбора, стандартной записи, систематизации и обработки (в том числе с помощью ЭВМ) статистических данных с целью их удобного представления, интерпретации и получения научных и практических выводов65. Если рассматривать математическую статистику как науку, изучающую лишь данные вероятностной природы (таково распространенное толкование), то П.с. надо считать дисциплиной, использующей ее методы и приемы в качестве рабочего инструментария по отношению к данным не обязательно вероятностной природы, а при более широком понимании предмета математической статистики — одним из разделов последней (см. Многомерный статистический анализ). Определение «прикладная» здесь не вполне точно прикладными являются, безусловно, и такие дисциплины, как экономическая  [c.281]

Фундаментальный анализ возможности (вероятности) возникновения кризиса Комплексный экономический анализ эффективности хозяйственной деятельности. Альтернативный анализ перспектив кризиса в отрасли с использованием элементов р-анализа (с использованием исторической р , технического анализа фондового рынка и т.д. Использование глобальных показателей вероятности банкротства (метод Бивера, метод Альтмана, модель Аа-рони-Джоиса-Свори и т.д.). Использование вероятностных методов оценки риска (метод экспертных оценок, метод дерева решений, метод аналогий, анализ чувствительности и связанный с ним метод критических значений, анализ сценариев, метод Монте-Карло). Анализ эффективности диверсификации портфеля активов. Оценка влияния несистематических рисков. Оценка бизнеса (операционный аспект). Оценка бизнеса (ликвидационный аспект).  [c.74]

Несмотря на тот факт, что мы ставим под вопрос логику Осборна, не следует умалять его достижения. Осборн собрал коллекцию разных концепций, относящихся к теории случайных блужданий, которые в конечном счете оправдывают применение вероятностных расчетов. В сущности, эта группа исследователей знала, что статистический анализ предлагает огромное количество исследовательских методов и моделей. Эти инструменты, однако, ограничены лежащими в их основе предположениями. Главным было следующее изучаемый объект должен быть независимой идентично распределенной случайной переменной. Таким образом, постулировалось, что поскольку фондовый рынок и другие рынки капитала представ П КУТ гобой болтлппе системы с большим числом степеней свободы (или — инвесторов), текущие цены должны отражать информацию, уже имеющуюся в распоряжении каждого. Изменения в цене должны происходить только по возникновении новой неожиданной информации.  [c.33]

Введение в эмпирический анализ основные характеристики случайных величин, средние, распределение частот (вероятностей), группировки статистических данных, центр распределения, разброс, ассиметрия, эксцесс закон больших чисел качественная однородность совокупности основные типы распределения вероятности в эконометрии показатели измерения связи регрессионный анализ модель регрессии в эконометрии и математической статистике метод наименьших квадратов вероятностные гипотезы несмещенность, состоятельность и эффективность оценок следствия нормальности распределения ошибок критерий Стьюдента критерий Фишера мультиколлинеарность шаговая  [c.130]

Вероятностная и статистическая модели рынка

Простейшая вероятностная модель рынка. Будем считать, что рынок ценных бумаг в конце некоторого периода может находиться в одном из трех состояний: s1 ,s2 ,s3, где — «хорошее» состояние, s2 — «среднее» состояние, s3 — «плохое» состояние рынка. При этом заданы вероятности этих состояний:

p(Sj) — вероятность того, что рынок находится в состоянии sx;

p(s2) — вероятность того, что рынок находится в состоянии s2;

p(s3) — вероятность того, что рынок находится в состоянии s3.

Активы, обращающиеся на рынке, будем обозначать А123.

Пусть задана таблица, например, годовых доходностей для некоторых трех активов А123 в каждом из состояний рынка. Годовые доходности активов, заданные в таблице, измеряются в процентах.

Доходность актива Ах (%)

Доходность актива А2 (%)

Доходность актива А3 (%)

Доходность актива Л; (i = 1,2, 3) можно рассматривать как дискретную случайную величину, которая принимает значение rlt с вероятностью p(sj), значениег2; с вероятностью p(s2), значение r3l— с вероятностью p(s3). Обозначим эту случайную величину .

Тогда ожидаемую доходность актива А, можно определить как математическое ожидание т,- = E(Ri) случайной величины /?;. Математическое ожидание случайной величины /?; — доходности актива — вычисляется по формуле

Математическое ожидание часто называют средним значением случайной величины.

Пример 14.1. Пусть задана таблица годовых доходностей для трех активов AvA2 ,A3 в каждом из трех состояний рынка. Годовые доходности активов, заданные в таблице, измеряются в процентах.

Доходность актива Аг (%)

Доходность актива А2 (%)

Доходность актива А3 (%)

Найти ожидаемую доходность для каждого актива.

Решение. Согласно формуле (14.1) для первого актива имеем (i = 1)

для второго актива (i = 2) для третьего актива (1 = 3)

Итак, ожидаемые доходности активов А123 равны соответственно 18,5,10,7,5%.

Однако математическое ожидание не единственная характеристика случайной величины. Второй числовой характеристикой случайной величины является дисперсия. Дисперсия характеризует «степень отклонения» случайной величины от ее среднего значения. Ее также называют вариацией случайной величины. Вариация V(Rt) случайной величины Rt вычисляется по формуле

В теории инвестиций Марковица математическое ожидание есть формальный аналог понятия доходности актива, а вариация служит мерой его риска. Другими словами, полагают, что вариация V(R <)случайной величины (доходности) /?; задает риск при вложении средств в актив Л;.

Из определения вариации видно, что она имеет размерность квадрата размерности величины Rt. Для того чтобы использовать в качестве меры разброса характеристику той же размерности, вместо вариации часто используют среднеквадратическое отклонение

Пример 14.2. Пусть задана таблица годовых доходностей для некоторых трех активов в каждом из состояний рынка (пример 14.1). Годовые доходности активов, заданные в таблице, измеряются в процентах. Найти риск при вложении средств в покупку каждого актива.

Решение. Согласно формуле (14.2) для первого актива имеем (i = 1)

для второго актива (i = 2) для третьего актива (1 = 3)

Среднеквадратические отклонения, вычисляемые по формуле (14.3),

Риски активов А123 равны соответственно 4,5, 15, 11,46%.

Оценки активов. Оценкой актива Л; будем называть пару значений доходность-риск (rrii.Vi) или (nil, о]). Сведем полученные результаты в следующую таблицу (доходности заданы в процентах)

Стандартное отклонение 10 > 7,5, а риск 20,25 0 его реализации. Ниже, для краткости, вероятность состояния sk будем обозначать рк. При этом естественно выполняется соотношение

Рассмотрим актив А, обращающийся на таком рынке. Тогда доходность актива А является случайной величиной R = RA, принимающей значения гг2, . гт в состояниях s1 ,s2. ,sm соответственно. Набор возможных доходностей с указанием соответствующих им вероятностей называется распределением доходности актива. Оно обычно задается таблицей вида

С точки зрения теории вероятностей в распределении содержится «вся» необходимая информация о случайной величине. Неудобство состоит в том, что распределение является функцией, в дискретном случае задаваемой таблично. Непосредственное использование распределений (таблиц) при сравнении активов затруднительно, поскольку в реальности число «различимых» значений доходности может быть достаточно большим.

На практике вместо распределений используются важнейшие числовые характеристики случайной величины — ее математическое ожидание, дисперсия и стандартное отклонение.

Ожидаемая доходность актива равна

Риск (вариация или дисперсия) актива задается в общем случае выражением

Иными словами, вариация есть математическое ожидание квадрата отклонения случайной величины от ее среднего значения. Дисперсию можно вычислять исходя из основного определения случайной величины, в этом случае вместо случайной величины R рассматривается случайная величина

(/? — E(R)) , являющаяся функцией от исходной величины R. Дисперсию доходности можно вычислить по ее распределению:

Здесь тА — E(RA) — ожидаемая доходность актива.

Наконец, среднеквадратичное (стандартное) отклонение доходности актива равно сгА = y/V(RA).

Ожидаемая доходность и риск (вариация и стандартное отклонение) доходности актива являются его важнейшими инвестиционными характеристиками, на основании которых инвестор принимает решение о размещении средств в этот актив.

Оценка инвестиционных портфелей. Пусть имеется некоторый начальный капитал. И пусть в процессе вложения (инвестирования) начального капитала покупаются некоторые активы. Наша задача научиться находить доходность вложения капитала при различных состояниях рынка. При этом все оценки делаются для фиксированного периода [t0, t:]. Иными словами, мы снова рассматриваем однопериодную модель, но уже в условиях неопределенности и риска.

Рассмотрим снова общую конечную модель рынка, описанную выше. Пусть рынок в конце инвестиционного периода может находиться в одном из т состояний s1( s2. sm с вероятностями р1( р2— —, рт > 0. Пусть также на рынке обращаются п активов А12. ,Ап. Рассмотрим портфель

Обозначим начальные цены активов Аг, Аг, ? ? ?, Ап через

соответственно. Конечные цены зависят, естественно, от состояния рынка. Пусть Pf(sk) = Р[-к — конечная цена актива At в состоянии sk. Начальная стоимость портфеля к равна, очевидно

а конечная стоимость портфеля в состоянии sk

Тогда доходность портфеля n в состоянии sk равна, очевидно

Ясно, что доходность портфеля п есть случайная величина Р(д) с распределением

Вероятность р

Пример 14.5. Рассмотрим рынок из трех активов из примера 14.1. Предположим что начальные цены активов А123 равны Р° = 50 долл., Р2° = 20 долл., Р3° = 100 долл, соответственно. Найти начальную и конечную стоимость, а также доходность портфеля тт — 4А1 + 542 + 2Л3 в каждом из трех возможных состояний рынка. Найти ожидаемую доходность и риск (вариацию и стандартное отклонение) портфеля.

Решение. Начальная цена портфеля равна

Конечная цена РД актива Aj в состоянии sk очевидно равна

где Р/ — начальная цена актива. Используя данные о доходностях активов из примера 14.1, получим конечные цены для первого актива в различных состояниях:

Для второго Для третьего

Сведем полученные данные в таблицу

Конечная цена портфеля п в состоянии sk равна где Pjk l конечная цена актива Aj в состоянии sk Тогда получаем

Теперь можно найти доходность портфеля в каждом состоянии. Согласно формуле (14.7):

Последние две строки таблицы задают распределение доходности R(n) портфеля. Положим/?^ = R(n).

Ожидаемая доходность портфеля равна, очевидно,

Вариация доходности V портфеля R (п) равна

Стандартное отклонение доходности портфеля Rn равно

Выше мы находили доходность портфеля по основной формуле (см. формулу (14.4)) исходя из начальной и конечной стоимости портфеля. В главе 10 была приведена формула (10.9), связывающая доходность портфеля с доходностями входящих в него активов. В этой формуле используется не позиционное, а весовое представление портфеля. Если известны веса активов в портфеле, то реализованная доходность портфеля будет равна

портфельный вес актива Aj, a rjk его доходность в состоянииsk.

Пример 14.6. Найти доходности портфеля из примера 14.5, используя формулу (14.8).

Решение. Найдем сначала веса активов в портфеле:

Тогда доходность портфеля в трех состояниях будет:

Мы получили те же результаты, что и при прямом вычислении.

Формула (14.8) верна для любого состояния рынка, тем самым она остается верной для доходностей портфеля как случайной величины. Иными словами, мы можем записать

где Я,- — случайная величина — доходность актива At. Это важнейшее соотношение будет основой для финансового анализа портфельных инвестиций.

Коэффициенты ковариации и корреляции. Для инвестирования капитала лишь в актив одного вида необходимо, чтобы из всех имеющихся на рынке активов он был наилучший, т.е. его риск (дисперсия) был наименьшим, а ожидаемая доходность наибольшей. Что же должен делать инвестор, если такого актива на финансовом рынке не существует? В этом случае выгоднее купить не один актив, а несколько, стремясь перераспределить (диверсифицировать) риск в целях уменьшения его количественной оценки. Степень возможности такой диверсификации зависит от характеристики, служащей мерой связи между случайными величинами, представляющими доходности активов. Речь идет о ковариации и корреляции. На важность учета связи в поведении доходности различных активов при формировании оптимальных портфелей впервые обратил внимание создатель современной теории портфеля американский экономист лауреат Нобелевской премии по экономике (1990) Гарри Марковиц.

Пусть снова имеются активы А123 и задана таблица их годовых (или периодических) доходностей в каждом из состояний рынка. Годовые доходности активов, заданные в таблице (для удобства повторяем), измеряются в процентах.

Бинарная регрессия — Binary regression

В статистике , особенно в регрессионном анализе , двоичная регрессия оценивает взаимосвязь между одной или несколькими независимыми переменными и одной выходной двоичной переменной . Обычно моделируется вероятность двух альтернатив вместо простого вывода одного значения, как при линейной регрессии .

Бинарная регрессия обычно анализируется как частный случай биномиальной регрессии с одним исходом ( ) и одной из двух альтернатив, рассматриваемых как «успех» и кодируемых как 1: значение представляет собой количество успехов в 1 испытании, либо 0, либо 1. Наиболее распространенными моделями бинарной регрессии являются логит-модель ( логистическая регрессия ) и пробит-модель ( пробит-регрессия ). п знак равно 1

СОДЕРЖАНИЕ

Приложения

Двоичная регрессия в основном применяется либо для прогнозирования ( двоичная классификация ), либо для оценки связи между независимыми переменными и выходными данными. В экономике бинарные регрессии используются для моделирования бинарного выбора .

Интерпретации

Модели двоичной регрессии можно интерпретировать как модели со скрытыми переменными вместе с моделью измерения; или как вероятностные модели, непосредственно моделирующие вероятность.

Скрытая переменная модель

Интерпретация скрытых переменных традиционно использовалась в биотестах , что привело к пробит-модели , в которой предполагаются нормальная дисперсия и пороговое значение. Интерпретация скрытых переменных также используется в теории ответа на вопросы (IRT).

Формально интерпретация скрытой переменной утверждает, что результат y связан с вектором независимых переменных x соотношением

Эта модель может применяться во многих экономических контекстах. Например, результатом может быть решение менеджера, инвестировать ли в программу, — это ожидаемый чистый дисконтированный денежный поток, а x — вектор переменных, которые могут повлиять на денежный поток этой программы. Тогда менеджер будет инвестировать только тогда, когда ожидает, что чистый дисконтированный денежный поток будет положительным. y * <\ displaystyle y ^ <*>>

Часто предполагается , что член ошибки следует нормальному распределению, обусловленному независимыми переменными x . Это генерирует стандартную пробит-модель . ε

Вероятностная модель

Простейшей прямой вероятностной моделью является логит-модель , которая моделирует логарифмические шансы как линейную функцию объясняющей переменной или переменных. Логит-модель является «самой простой» в смысле обобщенных линейных моделей (GLIM): логарифмические шансы являются естественным параметром для экспоненциального семейства распределения Бернулли, и, следовательно, ее проще всего использовать для вычислений.

Другая прямая вероятностная модель — это линейная вероятностная модель , которая моделирует саму вероятность как линейную функцию объясняющих переменных. Недостатком линейной вероятностной модели является то, что для некоторых значений независимых переменных модель будет предсказывать вероятности меньше нуля или больше единицы.

Смотрите также

Рекомендации

  • Лонг, Дж. Скотт; Фриз, Джереми (2006). «4. Модели для бинарных исходов: 4.1 Статистическая модель» . Модели регрессии для категориальных зависимых переменных с использованием Stata, второе издание . Stata Press. С. 131–136. ISBN978-1-59718011-5 .
  • Агрести, Алан (2007). «3.2 Обобщенные линейные модели для двоичных данных». Категориальный анализ данных (2-е изд.). стр. 68 -73.

Эта статья о статистике незавершена . Вы можете помочь Википедии, расширив ее .

Вероятностная интерпретация классических моделей машинного обучения

Этой статьей я начинаю серию, посвященную генеративным моделям в машинном обучении. Мы посмотрим на классические задачи машинного обучения, определим, что такое генеративное моделирование, посмотрим на его отличия от классических задач машинного обучения, взглянем на существующие подходы к решению этой задачи и погрузимся в детали тех из них, что основаны на обучении глубоких нейронных сетей. Но прежде, в качестве введения, мы посмотрим на классические задачи машинного обучения в их вероятностной постановке.

Классические задачи машинного обучения

Две классические задачи машинного обучения — это классификация и регрессия. Давайте посмотрим ближе на каждую из них. Рассмотрим постановку обеих задач и простейшие примеры их решения.

Классификация

Задача классификации — это задача присвоения меток объектам. Например, если объекты — это фотографии, то метками может быть содержание фотографий: содержит ли изображение пешехода или нет, изображен ли мужчина или женщина, какой породы собака изображена на фотографии. Обычно есть набор взаимоисключающих меток и сборник объектов, для которых эти метки известны. Имея такую коллекцию данных необходимо автоматически расставлять метки на произвольных объектах того же типа, что были в изначальной коллекции. Давайте формализуем это определение.
Допустим, есть множество объектов . Это могут быть точки на плоскости, рукописные цифры, фотографии или музыкальные произведения. Допустим также, что есть конечное множество меток . Эти метки могут быть пронумерованы. Мы будем отождествлять метки и их номера. Таким образом в нашей нотации будет обозначаться как . Если , то задача называется задачей бинарной классификации, если меток больше двух, то обычно говорят, что это просто задача классификации. Дополнительно, у нас есть входная выборка . Это те самые размеченные примеры, на которых мы и будем обучаться проставлять метки автоматически. Так как мы не знаем классов всех объектов точно, мы считаем, что класс объекта — это случайная величина, которую мы для простоты тоже будем обозначать . Например, фотография собаки может классифицироваться как собака с вероятностью 0.99 и как кошка с вероятностью 0.01. Таким образом, чтобы классифицировать объект, нам нужно знать условное распределение этой случайной величины на этом объекте .

Задача нахождения при данном множестве меток и данном наборе размеченных примеров называется задачей классификации.

Вероятностная постановка задачи классификации

Чтобы решить эту задачу, удобно переформулировать ее на вероятностном языке. Итак, есть множество объектов и множество меток . — случайная величина, представляющая собой случайный объект из . — случайная величина, представляющая собой случайную метку из . Рассмотрим случайную величину с распределением , которое является совместным распределением объектов и их классов. Тогда, размеченная выборка — это сэмплы из этого распределения . Мы будем предполагать, что все сэмплы независимо и одинаково распределены (i.i.d в англоязычной литературе).

Задача классификации теперь может быть переформулирована как задача нахождения при данном сэмпле .

Классификация двух нормальных распределений

Давайте посмотрим, как это работает на простом примере. Положим , , , , . То есть, у нас есть две гауссианы, из которых мы равновероятно сэмплируем данные и нам нужно, имея точку из , предсказать, из какой гауссианы она была получена.

Рис. 1. Плотности распределения и .

Так как область определения гауссианы — вся числовая прямая, очевидно, что эти графики пересекаются, а значит, есть такие точки, в которых плотности вероятности и равны.

Найдем условную вероятность классов:

Вот так будут выглядеть график плотности вероятностей :

Рис. 2. Плотности распределения , и . там, где две гауссианы пересекаются.

Видно, что близко к модам гауссиан уверенность модели в принадлежности точки конкретному классу очень высока (вероятность близка к нулю или единице), а там, где графики пересекаются модель может только случайно угадывать и выдает .

Метод максимизации правдоподобия

Большая часть практических задач не может быть решена вышеописанным способом, так как обычно не задано явно. Вместо этого обычно имеется набор данных с некоторой неизвестной совместной плотностью распределения . В таком случае для решения задачи используется метод максимального правдоподобия. Формальное определение и обоснование метода можно найти в вашей любимой книге по статистике или по ссылке выше, а в данной статье я опишу его интуитивный смысл.

Принцип максимизации правдоподобия говорит, что если есть некоторое неизвестное распределение , из которого есть набор сэмплов , и некоторое известное параметрическое семейство распределений , то для того, чтобы максимально приблизило , нужно найти такой вектор параметров , который максимизирует совместную вероятность данных (правдоподобие) , которое еще называют правдоподобием данных. Доказано, что при разумных условиях эта оценка является состоятельной и несмещенной оценкой истинного вектора параметров. Если сэмплы выбраны из , то есть данные i.i.d., то совместное распределение распадается на произведение распределений:

Логарифм и умножение на константу — монотонно возрастающие функции и не меняют положений максимумов, потому совместную плотность можно внести под логарифм и умножить на :

Последнее выражение, в свою очередь, является несмещенной и состоятельной оценкой ожидаемого логарифма правдоподобия:

Задачу максимизации можно переписать как задачу минимизации:

Последняя величина называется кросс-энтропией распределений и . Именно ее и принято оптимизировать для решения задач обучения с подкреплением (supervised learning).

Минимизацию на протяжении этого цикла статей мы будем проводить с помощью Stochastic Gradient Descent (SGD), а точнее, его расширения на основе адаптивных моментов, пользуясь тем, что сумма градиентов по подвыборке (так называемому “минибатчу”) является несмещенной оценкой градиента минимизируемой функции.

Классификация двух нормальных распределений логистической регрессией

Давайте попробуем решить ту же задачу, что была описана выше, методом максимального правдоподобия, взяв в качестве параметрического семейства простейшую нейронную сеть. Получившаяся модель называется логистической регрессией. Полный код модели можно найти тут, в статье же освещены только ключевые моменты.

Для начала нужно сгенерировать данные для обучения. Нужно сгенерировать минибатч меток классов и для каждой метки сгенерировать точку из соответствующей гауссианы:

Определим наш классификатор. Он будет простейшей нейронной сетью без скрытых слоев:

И запишем функцию потерь — кросс-энтропию между распределениями реальных и предсказанных меток:

Ниже приведены графики обучения двух моделей: базовой и с L2-регуляризацией:

Рис. 3. Кривая обучения логистической регрессии.

Видно, что обе модели быстро сходятся к хорошему результату. Модель без регуляризации показывает себя лучше потому, что в этой задаче не нужна регуляризация, а она слегка замедляет скорость обучения. Давайте взглянем поближе на процесс обучения:

Рис. 4. Процесс обучения логистический регрессии.

Видно, что обучаемая разделяющая поверхность постепенно сходится к аналитически вычисленной, при чем, чем она ближе, тем медленнее сходится из-за все более слабого градиента функции потерь.

Регрессия

Задача регрессии — это задача предсказания одной непрерывной случайной величины на основе значений других случайных величин . Например, предсказание роста человека по его полу (дискретная случайная величина) и возрасту (непрерывная случайная величина). Точно так же, как и в задаче классификации, нам дана размеченная выборка . Предсказать значение случайной величины напрямую невозможно, ведь она случайная и, по сути, является функцией, поэтому формально задача записывается как предсказание ее условного ожидаемого значения:

Регрессия линейно зависимых величин с нормальным шумом

Давайте посмотрим, как решается задача регрессии на простом примере. Пусть есть две независимые случайные величины . Например, это высота дерева и нормальный случайный шум. Тогда мы можем предположить, что возраст дерева является случайной величиной . В таком случае по линейности математического ожидания и независимости и :

Рис. 5. Линия регрессии задачи про линейно зависимые величины с шумом.

Решение задачи регрессии методом максимального правдоподобия

Давайте сформулируем задачу регрессии через метод максимального правдоподобия. Положим ). Где — новый вектор параметров. Видно, что мы ищем — математическое ожидание , т.е. это корректно поставленная задача регрессии. Тогда

Состоятельной и несмещенной оценкой этого матожидания будет среднее по выборке

Таким образом, для решения задачи регрессии удобно минимизировать среднеквадратичную ошибку на обучающей выборке.

Регрессия величины линейной регрессией

Давайте попробуем решить ту же задачу, что была выше, методом из предыдущего раздела, взяв в качестве параметрического семейства простейшую возможную нейронную сеть. Получившаяся модель называется линейной регрессией. Полный код модели можно найти тут, в статье же освещены только ключевые моменты.

Для начала нужно сгенерировать данные для обучения. Сначала мы генерируем минибатч входных переменных , после чего получаем сэмпл исходной переменной :

Определим нашу модель. Она будет простейшей нейронной сетью без скрытых слоев:

И запишем функцию потерь — L2-расстояние между распределениями реальных и предсказанных значений:

Ниже приведены графики обучения двух моделей: базовой и с L2-регуляризацией:

Рис. 6. Кривая обучения линейной регрессии.

Рис. 7. График изменения первого параметра с шагом обучения.

Рис. 8. График изменения второго параметра с шагом обучения.

Видно, что обе модели быстро сходятся к хорошему результату. Модель без регуляризации показывает себя лучше потому, что в этой задаче не нужна регуляризация, а она слегка замедляет скорость обучения. Давайте взглянем поближе на процесс обучения:

Рис. 9. Процесс обучения линейной регрессии.

Видно, что обучаемое математическое ожидание постепенно сходится к аналитически вычисленному, при чем, чем оно ближе, тем медленнее сходится из-за все более слабого градиента функции потерь.

Другие задачи

В дополнение к изученным выше задачам классификации и регрессии есть и другие задачи так называемого обучения с учителем, в основном сводящиеся к отображению между точками и последовательностями: Object-to-Sequence, Sequence-to-Sequence, Sequence-to-Object. Так же есть и большой спектр классических задач обучения без учителя: кластеризация, заполнение пробелов в данных, и, наконец, явная или неявная аппроксимация распределений, которая и используется для генеративного моделирования. Именно о последнем классе задач будет идти речь в этом цикле статей.

Генеративные модели

В следующей главе мы посмотрим, что такое генеративные модели и чем они принципиально отличаются от рассмотренных в этой главе дискриминативных. Мы посмотрим на простейшие примеры генеративных моделей и попробуем обучить модель, генерирующую сэмплы из простого распределения данных.

Благодарности

Спасибо Olga Talanova за ревью этой статьи. Спасибо Sofya Vorotnikova за комментарии, редактирование и проверку английской версии. Спасибо Andrei Tarashkevich за помощь в верстке.

Честные Форекс брокеры этого года:
Оцените статью
Сайт любителей Форекса