• Моя библиотека

Мониторинг прогресса обучения GAN и выявление распространенных режимов отказа — MATLAB & Simulink

Мониторинг прогресса обучения GAN и выявление общих режимов отказа

Обучение GAN может быть сложной задачей. Это связано с тем, что генератор и дискриминаторные сети конкурируют друг с другом во время обучения. На самом деле, если один сеть обучается слишком быстро, тогда другая сеть может не обучиться. Это часто может привести в сети невозможно сойтись. Для диагностики проблем и мониторинга по шкале от 0 до 1, насколько хорошо генератор и дискриминатор достигают своих целей, которые вы можете построить их баллы. Для примера, показывающего, как обучить GAN и построить генератор и баллы дискриминатора, см. Обучение генеративно-состязательной сети (GAN).Real содержит выходные вероятности дискриминатора для реальных изображений и числа реальных и сгенерированных изображений, переданных дискриминатору, равны.

В идеальном случае обе оценки должны быть равны 0,5. Это потому, что дискриминатор не может сказать разница между реальными и поддельными изображениями. Однако на практике этот сценарий не единственный случай, когда вы можете добиться успешной ГАН.

Для наблюдения за ходом обучения вы можете визуально просматривать изображения с течением времени и проверять если они улучшаются.Если изображения не улучшаются, вы можете использовать график оценки для помочь вам диагностировать некоторые проблемы. В некоторых случаях график счета может сказать вам, что нет продолжать тренировку, и вы должны остановиться, потому что возник режим отказа, который тренировка не может оправиться от. В следующих разделах рассказывается, что искать в партитуре. на графике и в сгенерированных изображениях для диагностики некоторых распространенных режимов отказа (сбой конвергенции и свертывание режима) и предлагает возможные действия, которые можно предпринять для улучшения обучение.

Ошибка сходимости

Ошибка сходимости происходит, когда генератор и дискриминатор не достигают баланс во время тренировки.

Дискриминатор доминирует

Этот сценарий происходит, когда оценка генератора достигает нуля или почти нуля, а оценка дискриминатора достигает единицы или близка к единице.

На этом графике показан пример дискриминатора, подавляющего генератор. Уведомление что оценка генератора приближается к нулю и не восстанавливается.В этом случае дискриминатор правильно классифицирует большинство изображений. В свою очередь, генератор не может производить любые изображения, которые обманывают дискриминатор и, таким образом, не в состоянии учиться.

Если оценка не восстанавливается после этих значений в течение многих итераций, то лучше прекратить обучение. Если это произойдет, попробуйте сбалансировать производительность генератор и дискриминатор по:

• Нарушение работы дискриминатора путем случайного присвоения ложных меток реальным изображений (одностороннее переворачивание меток)

• Ухудшение работы дискриминатора путем добавления выпадающих слоев

• Улучшение способности генератора создавать увеличение количества фильтров в его сверточных слоях

• Ухудшение работы дискриминатора за счет уменьшения количества фильтров

Пример, показывающий, как переворачивать метки реальных изображений, см. в разделе Обучение генеративно-состязательной сети (GAN).

Генератор доминирует

Этот сценарий происходит, когда счет генератора достигает единицы или почти единицы.

На этом графике показан пример того, как генератор подавляет дискриминатор. Уведомление что оценка генератора идет к единице для многих итераций. В этом случае генератор учится обманывать дискриминатор почти всегда. Когда это происходит очень в начале процесса обучения генератор, скорее всего, выучит очень простой представление признаков, которое легко обманывает дискриминатор.Это означает, что сгенерированные изображения могут быть очень плохими, несмотря на высокие баллы. Обратите внимание, что в этом Например, оценка дискриминатора не очень близка к нулю, потому что она все еще в состоянии правильно классифицировать некоторые реальные изображения.

Если оценка не восстанавливается после этих значений в течение многих итераций, то лучше прекратить обучение. Если это произойдет, попробуйте сбалансировать производительность генератор и дискриминатор по:

• Улучшение способности дискриминатора изучать больше функций путем Увеличение количества фильтров

• Ухудшение работы генератора путем добавления выпадающих слоев

• Ухудшение работы генератора за счет уменьшения количества фильтров

Свертывание режима

Свертывание режима — это когда GAN создает небольшое разнообразие изображений с много дубликатов (режимы).Это происходит, когда генератор не может изучить расширенную функцию. представление, потому что оно учится связывать похожие результаты с несколькими разными входы. Чтобы проверить свертывание режима, проверьте сгенерированные изображения. если мало разнообразие в выводе и некоторые из них практически идентичны, то скорее всего режим крах.

На этом графике показан пример коллапса моды. Обратите внимание, что сгенерированные изображения строятся содержит множество практически идентичных изображений, несмотря на то, что входные данные генератора были разные и случайные.

Если вы наблюдаете подобное, то попробуйте увеличить способность генератора создавать более разнообразные результаты:

• Увеличение размерности входных данных в генератор

• Увеличение количества фильтров генератора, чтобы он мог генерировать более широкий спектр функций

• Нарушение работы дискриминатора путем случайного присвоения ложных меток реальным изображениям (одностороннее переключение меток)

Пример, показывающий, как переворачивать метки реальных изображений, см. в разделе Обучение генеративно-состязательной сети (GAN).

См. также

dlnetwork | вперед | предсказать | Дларрей | dlградиент | dlfeval | Адамобновление

Похожие темы

Девочка среди 10 погибших в результате проливных дождей в Бразилии в результате обрушения скалы со смертельным исходом ливни в регионе.

Пострадавшие от шторма, среди которых 11-летняя девочка, погибли в воскресенье и понедельник из-за дождей, наводнений и оползней, сообщил государственный координатор гражданской обороны.

С тех пор, как в начале октября начались дожди, на юго-востоке бразильского штата погибло 19 человек, не считая 10 погибших в результате обвала скалы.

Тем не менее, «безусловно есть связь» между проливными дождями и обрушением скалы, сказал AFP метеоролог Эстаэль Сиас.

«Это факт, что длительный и интенсивный период дождей привел к просачиванию воды в скалы, что вызвало движение камней и обрушение скалы», — сказал он.«Несколько видео показывают, что несколькими минутами ранее с водопадов в этом регионе шел сильный дождь, оказывая сильное давление на скалы».

Президент Жаир Болсонару ретвитнул некоторые из этих видео в своем аккаунте и сказал, что «как только произошла досадная катастрофа, бразильский флот выдвинулся на место, чтобы спасти жертв и транспортировать раненых». В своем заявлении Болсонару сказал, что официальные лица «расследуют причины и обстоятельства» смертельного инцидента.

— Momentos antes da tragédia.pic.twitter.com/OcoGaVj63Q

— Жаир М. Болсонару (@jairbolsonaro) 8 января 2022 г.

Согласно текущим подсчетам, 17 237 человек были вынуждены покинуть свои дома или искать убежища из-за урагана.

«Январь был очень тяжелым для Минас-Жерайса из-за количества и, тем более, концентрации дождя за короткий промежуток времени», — сказал вице-губернатор штата Пауло Брант в видео, опубликованном в Instagram.

«Мы не должны проклинать дождь или обвинять природу.В значительной степени последствия связаны с прошлыми ошибками, такими как беспорядочное расширение городов, заиление и загрязнение рек, — сказал он. Французская группа Vallourec была оштрафована примерно на 60 миллионов долларов за «причинение вреда окружающей среде» через три дня, сообщили местные власти во вторник.

В Хуатубе, городе с населением 26 000 человек, примерно в 30 милях от столицы штата Белу-Оризонти, рано утром в воскресенье затопило дом Даниэля Валериано де Оливейры.

«Мы потеряли все. Моя жена и дети покинули дом на лодке», — сообщил агентству AFP логистический оператор.

Гражданская оборона предупредила, что условия во вторник в Минас-Жерайсе будут включать «умеренный или сильный дождь, который может сопровождаться поражением электрическим током».

Эксперты связывают чрезвычайную ситуацию с Южно-Атлантической зоной конвергенции (SACZ), типичным летним явлением, которое каждый год вызывает сильные дожди в этом районе, в дополнение к Ла-Нинья — климатической модели в Тихом океане, которая может повлиять на погоду во всем мире — и климатический кризис.

В течение двух месяцев Бразилия сильно пострадала от наводнений, в результате которых десятки людей погибли и тысячи людей были вынуждены покинуть свои дома, особенно в северо-восточном штате Баия.

В ближайшие 10 дней прогнозируется сильный дождь, и «к сожалению, это может означать новые стихийные бедствия», сказал Сиас.

Во второй половине января ожидается меньше осадков, но «февраль и март остаются периодами обильных осадков».

«Экстремальные явления, которые мы регистрировали во всем мире за последние два года, были еще более частыми с историческими явлениями жары, все более повторяющимися дождями, и учитывая, что последние два года были двумя самыми жаркими в истории планету, трудно отделить такое явление, как ZCAS…. с глобальным потеплением, которое является топливом, усиливающим крайности по всей планете.»

Загрузите наше бесплатное приложение

Для последних новостей и анализа Загрузите бесплатное приложение CBS News

Конвергентная торговля с эффектом богатства: механизм усиления на финансовых рынках

Стратегии конвергентной торговли стали популярными благодаря хедж-фонду Long-Term Capital Management (LTCM). Типичная торговая стратегия конвергенции состоит в том, чтобы сделать ставку на то, что разница в цене между двумя активами с похожими, но не идентичными характеристиками в будущем сократится. Почти крах LTCM в 1998 году иллюстрирует влияние динамики капитала трейдеров на конвергенцию на динамику финансового рынка и мотивирует мое исследование модели равновесия в непрерывном времени для конвергентной торговли с эффектами богатства. ¹ Эффект богатства возникает, когда трейдеры конвергенции испытывают неблагоприятные потрясения по своим позициям, их способность нести риск уменьшается вместе с их богатством, и они вынуждены раскручивать некоторые из своих позиций.Моя модель показывает, что эффект богатства может действовать как механизм усиления потрясений на финансовых рынках. ²

Я моделирую равновесие рынка активов с участием трех типов трейдеров: шумовые трейдеры, долгосрочные инвесторы и трейдеры конвергенции. Без ограничения общности рискованный «актив» можно рассматривать как синтетическую спредовую позицию, включающую длинную позицию по одному базовому активу и короткую позицию по другому базовому активу. Примерами рискованного актива являются позиция по спреду между двумя акциями, позиция по спреду между ипотечной облигацией и U.S. Казначейские облигации с аналогичным сроком погашения или спред между казначейскими облигациями США. В соответствии с этой интерпретацией предполагается, что рискованный актив имеет постоянную фундаментальную волатильность (денежный поток). Шумовые трейдеры создают экзогенные, стохастические шоки предложения на рынке, и предполагается, что их торговля является возвратом к среднему, как в Кэмпбелле и Кайле (1993) и Ванге (1993). Возврат к среднему в шумовой торговле создает возможность для конвергентной торговли.Долгосрочные инвесторы моделируются как группа благоразумных инвесторов, придерживающихся надежной, долгосрочной, основанной на стоимости инвестиционной стратегии. Эта стратегия требует, чтобы долгосрочные инвесторы предъявляли спрос на рискованный актив пропорционально разнице между его фундаментальной стоимостью и его ценой. Эта разница представляет собой чистую приведенную стоимость прибыли для долгосрочных инвесторов в наихудшем сценарии, когда им придется удерживать актив вечно и получать все будущие денежные потоки, а не досрочно продавать позицию. Торговля долгосрочными инвесторами предоставляет конвергентным трейдерам стратегию выхода, когда им необходимо ликвидировать свои позиции в результате потерь капитала.

В этой статье основное внимание уделяется поведению группы полностью рациональных и совершенно конкурентных трейдеров конвергенции, которые агрессивно используют краткосрочные возможности, создаваемые шумовыми трейдерами. Чтобы уловить два основных элемента торговли по конвергенции, т. е. коэффициенты Шарпа и капитал, я предполагаю логарифмическую полезность для трейдеров по конвергенции.Коэффициенты Шарпа представляют торговые возможности, в то время как капитал представляет собой способность нести риск конвергентных трейдеров. При торговле в непрерывном времени логарифмическая полезность подразумевает торговую стратегию, которая динамически использует коэффициент Шарпа на рынке и в то же время предотвращает падение богатства до нуля. С этой стратегией трейдеры конвергенции всегда занимают рискованные позиции, пропорциональные их богатству. Их ожидаемая торговая прибыль (в процентном выражении) и процентная дисперсия портфеля определяются квадратом коэффициента Шарпа.

В равновесии есть две переменные состояния. Одним из них является уровень шумовой торговли, представляющий собой общее предложение риска на рынке. Другой — совокупное богатство трейдеров, использующих конвергенцию, отражающее их общую способность нести риск. Равновесие выводится как задача с фиксированной точкой в ​​торговой стратегии трейдера репрезентативной конвергенции. Эта задача с фиксированной точкой эквивалентна нелинейному уравнению в частных производных второго порядка. Численное решение равновесия (с использованием проекционного метода) позволяет обсудить механизм усиления, вызванный эффектом богатства трейдеров конвергенции.Имитационные упражнения позволяют изучить стационарное распределение равновесия.

Ребалансировка портфеля трейдеров, работающих на конвергенции, связанная с изменением их благосостояния, имеет интересные последствия для последствий фундаментальных потрясений и шоков, связанных с шумовой торговлей. Анализ фундаментальных потрясений прост: неблагоприятный фундаментальный шок всегда приводит к тому, что трейдеры, торгующие на конвергенции, теряют деньги, а результирующий эффект богатства всегда приводит к тому, что трейдеры, занимающиеся конвергенцией, усиливают шок.Анализ шумовых торговых шоков более сложен. Шок, который отталкивает шумовую торговлю дальше от ее среднего значения, делает конвергентную торговлю более прибыльной (более высокие коэффициенты Шарпа), и это побуждает трейдеров, использующих конвергенцию, открывать более крупные позиции по отношению к их богатству. Это эффект замещения, и его изучали Кэмпбелл и Кайл (1993). Такой шумовой торговый шок также приводит к тому, что конвергентные трейдеры теряют деньги на своих текущих позициях и, следовательно, побуждают их сокращать свои позиции.Это эффект богатства, и он действует в направлении, противоположном эффекту замещения. Большую часть времени эффект замещения доминирует над эффектом богатства, и трейдеры, занимающиеся конвергенцией, открывают более крупные позиции в ответ на усиление шумовой торговли, и в этом случае торговля конвергенцией снижает влияние шоков шумовой торговли на цены и улучшает ликвидность рынка. Однако иногда, когда эффект богатства преобладает над эффектом замещения, трейдеры, занимающиеся конвергенцией, ликвидируют свои позиции в ответ на усиление шумовой торговли.В этом случае трейдеры конвергенции становятся дестабилизирующими в том смысле, что они торгуют точно в том же направлении, что и шумовые трейдеры, что усиливает ценовой эффект шоков шумовой торговли и снижает ликвидность рынка. Эту ситуацию точно иллюстрирует кризис LTCM в 1998 году. Когда LTCM понес большие потери капитала, им пришлось ликвидировать некоторые из своих позиций, что привело к истощению ликвидности и росту волатильности.

Взаимодействие между эффектом богатства и эффектом замещения позволяет нам обсудить старый экономический вопрос: стабилизируют ли цены спекулянты? Аргумент, основанный на здравом смысле, был сильно выражен Фридманом (1953) о том, что спекулянты всегда покупают дешево и продают дорого и, таким образом, всегда стабилизируют цены.Моя модель предполагает обратное. ³ Эффект богатства может заставить спекулянтов раскручивать свои позиции, покупая, когда цены высоки, и продавая, когда цены низки, после больших потерь капитала.

Механизм усиления, созданный эффектом богатства трейдеров конвергенции, может привести к чрезмерной волатильности цен на активы в том смысле, что она слишком велика, чтобы ее можно было объяснить волатильностью фундаментальных показателей активов в простой модели приведенной стоимости с постоянной ставкой дисконтирования.Механизм усиления также может привести к тому, что волатильность цен на активы будет меняться во времени. Чрезвычайные риски ликвидности, вызванные эффектом богатства трейдеров конвергенции, представляют серьезную проблему для управления рисками финансовых учреждений с высокой долей заемных средств. Моя модель дает риск-менеджерам возможность изучать динамику рыночного равновесия и прогнозировать экстремальные риски, вызванные механизмом усиления. Процесс накопления богатства конвергентными трейдерами эндогенно определяется в стационарном равновесии, когда торговая прибыль конвергентных трейдеров может в долгосрочной перспективе безубыточна с их потреблением.Это позволяет обсудить детерминанты конвергентной торговой деятельности на разных рынках.

Эффект богатства, изучаемый в этой статье, возникает из-за природы конвергентной торговли. Конвергентные трейдеры обычно специализируются на ограниченном количестве активов или стратегий из-за информационных издержек участия на многих рынках, как указывали Мертон (1987) и Шлейфер и Вишны (1997). Более того, они часто используют высокий левередж, чтобы использовать имеющиеся у них краткосрочные возможности.В результате их портфели могут быть как недиверсифицированными, так и с высокой долей заемных средств, поэтому шоки на этих рынках могут вызвать большие колебания благосостояния трейдеров, работающих на конвергенции.

Еще одна важная особенность рыночной практики заключается в том, что капитал не может идеально перемещаться по разным рынкам или стратегиям. Когда трейдеры конвергенции несут потери капитала, им особенно трудно привлечь новый капитал для поддержания своих позиций, и им не менее трудно найти существующих трейдеров конвергенции, чтобы выкупить их позиции без больших скидок. Как предположили Шлейфер и Вишны (1997) и Шлейфер (2000), агентские проблемы могут вызвать несовершенный приток капитала к профессиональным трейдерам (таким как хедж-фонды). Поскольку эти профессиональные трейдеры теряют деньги, они также теряют доверие своих инвесторов и, таким образом, могут столкнуться с трудностями при привлечении нового капитала или даже с выводом средств со своих инвесторов, как это произошло с LTCM во время финансового кризиса 1998 года. Согласно статье в New York Times. Майкл Льюис (24 января 1999 г., раздел журнала), LTCM было очень трудно привлечь новый капитал, чтобы сохранить свои позиции после того, как они понесли большие капитальные убытки.

Моя модель улавливает эту идею несовершенного потока капитала, предполагая, что нет потока капитала на рынок активов за счет входа новых трейдеров конвергенции или дополнительного сбора средств существующими трейдерами конвергенции. Таким образом, модель расширяет пределы арбитражного аргумента в Shleifer and Vishny (1997) для изучения динамики рынка.

Кайл и Сюн (2001) изучают заражение финансового рынка, используя структуру, аналогичную этой статье, с двумя рисковыми активами. Они показывают, что эффект богатства от конвергентных трейдеров может также действовать как механизм передачи волатильности с одного рынка на другой.Когда трейдеры, использующие конвергенцию, несут большие потери капитала, им необходимо раскручивать свои позиции по всему портфелю, что приводит к тому, что цены на фундаментально несвязанные активы движутся вместе. Айягари и Гертлер (1998) и Громб и Ваянос (2000) изучают модели равновесия с трейдерами с ограниченной маржой. Их результаты схожи по духу в том смысле, что ограничения капитала могут вызывать чрезмерную волатильность на рынках активов. Эффект богатства также изучается в контексте портфельного страхования Басаком (1995) и Гроссманом и Чжоу (1996).Омберг (1997) обсуждает потенциальное взаимодействие между эффектом богатства и эффектом замещения со скачками цен в модели частичного равновесия. В других связанных исследованиях Басак и Кроитору (2000) изучают безрисковую арбитражную торговлю с ограничениями по позициям, Левенштейн и Уиллард (2000) изучают торговлю хедж-фондов с кредитными ограничениями, а Лю и Лонгстафф (2000) изучают проблему выбора портфеля арбитражерами, когда возможности арбитража следуют экзогенному процессу броуновского моста.

Эта статья выглядит следующим образом.В разделе 2 представлена ​​структура модели. В разделе 3 выводится процесс возврата активов и оптимальная политика трейдеров на основе конвергенции, а затем устанавливается равновесие в виде задачи с фиксированной точкой. Раздел 4 иллюстрирует равновесие на числовом примере. В разделе 5 обсуждаются некоторые следствия модели. Раздел 6 завершает статью.

Распространенные проблемы  | Генеративно-состязательные сети  | Разработчики Google

GAN имеют ряд распространенных режимов отказа.Все эти распространенные проблемы области активных исследований. Хотя ни одна из этих проблем не была полностью решена, мы упомянем некоторые вещи, которые люди пробовали.

Исчезающие градиенты

Исследования показали, что если ваш дискриминатор слишком хорош, то обучение генератора может завершиться неудачей из-за исчезновения градиенты. В результате, оптимальный дискриминатор не предоставляет генератору достаточно информации для прогрессировать.

Попытки исправить

Свернуть режим

Обычно вы хотите, чтобы ваша GAN выдавала широкий спектр выходных данных.Вы хотите, для например, разные лица для каждого случайного ввода в ваш генератор лиц.

Однако, если генератор выдает особенно правдоподобный выходной сигнал, генератор может научиться производить только что на выходе. На самом деле генератор всегда пытается найти тот выход, который кажется дискриминатору наиболее правдоподобным.

Если генератор начинает выдавать ту же мощность (или маленькую набор выходов) снова и снова, лучший дискриминатор стратегия состоит в том, чтобы научиться всегда отвергать этот вывод.Но если на следующий Генерация дискриминатора застревает в локальном минимуме и не находит наилучшая стратегия, то следующей итерации генератора будет слишком легко найти наиболее правдоподобный результат для текущего дискриминатора.

Каждая итерация генератора чрезмерно оптимизируется для определенного дискриминатора, и дискриминатору никогда не удается выбраться из ловушки. Как результат генераторы вращаются через небольшой набор выходных типов. Эта форма ГАН сбой называется режим коллапс .

Попытки исправить

Следующие подходы пытаются заставить генератор расширить область его действия путем предотвращение его оптимизации для одного фиксированного дискриминатора:

• Потеря Вассерштейна : Потеря Вассерштейна уменьшает коллапс моды на позволяя вам тренировать дискриминатор до оптимальности, не беспокоясь про исчезающие градиенты. Если дискриминатор не застревает в локальном минимума, он учится отбрасывать выходы, на которых стабилизируется генератор.Так генератор должен попробовать что-то новое.
• Развернутые сети GAN : Использование развернутых сетей GAN функция потерь генератора, которая включает не только текущий классификаций дискриминатора, но и результаты будущих версии дискриминатора. Таким образом, генератор не может переоптимизировать для одного дискриминатор.