С этой целью мы предлагаем две стратегии неконтролируемого декодирования для повышения специфичности LM, которые могут работать с любым LM, который выводит распределение вероятностей по своему словарю во время генерации. Первый основан на частоте слов, а второй — на положительной точечной взаимной информации (PPMI). Мы показываем в задаче быстрого завершения, что неконтролируемые стратегии повторного взвешивания, основанные на этих количествах улучшает специфичность генерируемых выходных данных, лишь незначительно влияя на чувствительность, по мнению комментаторов-людей.

Этот документ состоит из четырех основных дополнений: ^{1 1} 1 Реализации и оценки будут опубликованы после анонимного просмотра.

1. Мы предлагаем схемы повторного взвешивания на основе частоты слов и PPMI распределения вероятностей вывода LM для повышения специфичности.

2. Мы проверяем с помощью человеческих оценок задачи быстрого завершения, что эти схемы улучшают специфичность лишь с небольшим снижением до чувствительность. Мы находим, что это справедливо как в детерминированном и стохастические настройки генерации.

3. Мы проверяем с помощью автоматических мер, что эти схемы улучшают разнообразие выходов в детерминированных настройках генерации.

4. Мы показываем, как эти схемы можно использовать для управления генерируемыми сводками новостных статей.

2 Связанная работа

Частота слов и PPMI использовались в предыдущей работе для контроля специфичность получаемых результатов. Яо и др. (2016)

обучить модель генерации диалогов с помощью контролируемая цель обучения и обучение с подкреплением, чтобы максимизировать обратный документ частота (IDF) генерируемых ответов, что повышает качество как генерации, так и поиска. Соответственно,

Ко и др. (2019) обусловливают декодер различными показателями (включая частоту слов), чтобы повысить специфичность при создании диалогов, и обнаружить, что лингвистически обусловленные показатели генерируют наиболее информативные и актуальные ответы. Чжан и др. (2018) обучают модель генерации нейронных диалогов, которая принимает в качестве входных данных текст предыдущего высказывания, а также нормализованную максимальную обратную частоту слов желаемого ответа, что значительно превосходит современные модели.

Хотя все четыре работы пытаются повысить специфичность генерируемых выходных данных, они делают это посредством обучения генератор языков с нуля. Кроме того, в то время как Yao et al. (2016)

добавляет только функцию потерь,

Ko et al. (2019) , Zhang et al. (2018) и Такаяма и Арасе (2020) добавить в декодер специально созданные нейронные компоненты включить средства контроля специфичности, что было бы трудно делать с большим, предварительно обученным LM, таким как GPT-3. По сравнению, предлагаемые нами неконтролируемые повторные взвешивания не требуют переобучения, тонкой настройки или дополнительных модификаций декодера и может работать с любым LM, производящим распределение вероятностей над следующими токенами.

3 Управление специфичностью поколения

Мы представляем два способа изменить распределение вероятностей LM. Первый опирается на нормализованные обратные частоты слов (NIWF), которые могут быть легко рассчитаны с использованием любого желаемого корпуса и не зависят от подсказки. Второй основан на вычислении положительной точечной взаимной информации (PPMI), которая может быть рассчитана с использованием любого желаемого корпуса, но зависит от определения некоторого контекста (вероятно, слова или слов из подсказки) для вычисления.

В любом случае корпус (который не обязательно должен быть исходным обучающим корпусом) используется для изменения распределения вероятности, выходящего из LM. Обе схемы модифицируют исходный дистрибутив, добавляя специфический для токена термин bt∈R. к ненормированной логарифмической вероятности ati∈R:

где pθ(ti) — вероятность LM создания токена т на шаге I. ²

3.1 Нормализованная обратная частота слов (NIWF)

NIWF часто используется для измерения специфичности (Ли и Ненкова, 2015; Ко и др., 2019) ; здесь мы используем его для расчета модифицированной вероятности для каждого токена ti в модели (во время генерации).

Пусть nt будет количеством токенов t в корпусе и пусть n∗=maxt∈Vnt — максимальное количество происходит в корпусе. Затем повторное взвешивание NIWF токена t рассчитывается как:

, где k∈R — скаляр для настройки диапазона, а w0,w1∈R — нижняя и верхняя границы соответственно. Мы устанавливаем k=100. На практике n∗knt может варьироваться в широких пределах. Чтобы гарантировать, что распределение вероятностей модели не будет нарушено до неузнаваемости, мы устанавливаем w0=exp(−5) и w1=1, чтобы ограничить bt примерно между 0 и 1. Эффект состоит в том, что самые редкие слова получают увеличение не более чем на 1 к оригиналу ати срок при этом общеупотребительные слова почти не получат прибавки.

3.2 Положительная точечная взаимная информация (PPMI)

PPMI — еще одна мера, часто связанная со специфичностью термина Takayama and Arase (2020) и измеряющая положительную связь между двумя событиями. Это повторное взвешивание требует события контекста, между которым вычисляется PPMI токены из модельного словаря. В нашем случае пусть контекст c⊂V будет набором тематически связанных слов из текста подсказки, мы хотели бы, чтобы LM для завершения (конкретный пример см. в разделе 4.1).

Затем мы определяем термин модификации bt как

, где p(c), p(t) и p(c,t) предельная вероятность появления контекстных слов c, предельная вероятность появления токена t, а совместная вероятность контекстных слов c и токен t совпадают соответственно.

Эти вероятности оцениваются из корпуса предложений с

p(c,t)=nc,tns, p(c)=ncns и р (т) = нтнс где nt — количество предложений, в которых встречается токен t, nc — количество предложений, в которых встречаются контекстные слова c, nc,t — количество предложений, в которых и контекстное слово, и t происходят одновременно, и ns — размер корпуса в предложениях.

Приложение А показывает как эти повторные взвешивания влияют на вероятности журнала для конкретной подсказки.

4 Эксперимент

Чтобы проверить эти методы, мы используем задание на научное письмо, в котором модель должна создать именное словосочетание по технической теме. Например, одна подсказка — «Кто использует криптографию». Это задание требует, чтобы LM сказал что-то разумное, имеющее смысл в данной теме, и конкретное, что не относится к любой теме. Это сложная задача для большинства предварительно обученных LM, которые, как правило, выдают очень расплывчатые результаты (например, заполнение подсказки криптографии с помощью «людей» или «многих»).

Мы используем пять тем, выбранных случайным образом из списка тем Википедии по компьютерным наукам: ^{3 3} 3 взаимодействие человека с компьютером, машины опорных векторов, базы данных, а также структуры данных.

Для каждой темы мы используем четыре подсказки для создания словосочетаний с существительными: «используется», «используется в», «изучается» и «изучается в». о теме. Для каждой подсказки мы генерируем пять выходных словосочетаний с существительными. Эта настройка приводит к 100 утверждениям для каждого условия (5 тем × 4 подсказки × 5 выводов), которые можно оценить по тому, насколько разумным и конкретным является утверждение.

Мы рассматриваем две парадигмы генерации: детерминированную (поиск луча) и стохастическую (выборка по k). Для каждой парадигмы у нас есть три условия: исходная модель (без повторного взвешивания), повторное взвешивание NIWF и повторное взвешивание PPMI. Кроме того, для выборки top-k мы также запускаем исходную модель с параметром температуры, установленным на τ = 1,7 (выбранным таким образом, чтобы среднее недоумение выходных данных на слово соответствовало значениям из схемы повторного взвешивания NIWF). В таблице 1 показаны примеры выходных данных для каждого условия.

4.1 Детали реализации

Мы используем реализацию GPT-2 Hugging Face (gpt2-large) ^{4 4} 4https://huggingface. co/gpt2-large в качестве нашего предварительно обученного LM. Для расчета повторного взвешивания мы используем свод новостных статей Vox, ^{5 5} 5https://data.world/elenadata/vox-articles, который содержит более 30 миллионов токенов.

Для повторного взвешивания PPMI мы рассматриваем контекст c как маркеры, составляющие название темы информатики. ^{6 6} 6 Чтобы уменьшить разреженность подсчетов совпадений на уровне предложений, для каждой темы контекст c мы также вручную добавляем морфологически родственные слова (например, c={cryptography,cryptographic,cryptographer,…}). Для топ-k выборки (Fan et al., 2018) мы установили k=50. Чтобы выходные данные для каждого приглашения были уникальными, мы задаем уникальность первому токену. Для каждой подсказки мы генерируем следующие 10 токенов и используем синтаксический анализатор для выбора первой именной фразы. Подробную информацию о выборе словосочетаний см. в Приложении B.

Базовая генерация: Colonial Pipeline перезапущен после шестидневного простоя. Операторы газопровода предупредили, что для восстановления нормального режима работы потребуется несколько дней. Закрытие вызвало панические покупки и накопления, которые захлестнули заправочные станции на юго-востоке.

NIWF + рынок (экономика): Colonial Pipeline перезапущен после шестидневного простоя. Трубопровод был закрыт после атаки программы-вымогателя. Он обеспечивает почти половину бензина и дизельного топлива, потребляемых Восточным побережьем. Руководители нефтяной отрасли предупредили в среду, что накопление газа усугубляет кризис поставок.

Атака PPMI + программы-вымогателя: Colonial Pipeline возобновил свою работу в среду вечером. Конвейер отключился в пятницу после атаки программы-вымогателя. Закрытие вызвало панические покупки и накопления, которые захлестнули заправочные станции на юго-востоке.

4.2 Методология оценки

У нас есть два комментатора-человека, которые оценивают каждое утверждение на предмет того, насколько оно осмысленно и конкретно. Мы продолжаем предыдущую работу по получению суждений о чувствительности из LM-завершений Li et al. (2016) используя шкалу чувствительности от 0 до 4, где 0 — «не имеет смысла», а 4 — «в целом верно». Мы используем аналогичную шкалу от 0 до 4 для специфичности, где 0 — «Не уверен, применимо ли это», а 4 — «Относится к этой теме в частности». Мы рассчитываем взвешенный коэффициент Коэна, чтобы обеспечить адекватную надежность интераннотаций, и усредняем оценки аннотаторов, если они различаются. Каждый комментатор является аспирантом в области компьютерных наук, обладающим экспертными знаниями по темам. Для чувствительности у нас было κ = 0,35 (удовлетворительное согласие), а для специфичности у нас было κ = 0,53 (хорошее согласие).

Мы также рассчитываем три меры разнообразия после Такаяма и Арасэ (2020) . Мы сообщаем dist-1 и dist-2 (уникальность униграмм и биграмм) и ent-2 (энтропия на основе биграмм). Подробнее о мерах разнообразия см. в Приложении C.

4.3 Результаты

Результаты для всех показателей можно увидеть в таблице 3. Мы проводим тесты значимости (ранговый критерий Манна-Уитни для непараметрических данных) для всех условий по сравнению с исходной моделью и сообщаем о значимых результатах при p<0,001. Мы обнаружили, что повторное взвешивание значительно увеличивает показатели специфичности: в детерминированном случае NIWF увеличил абсолютную специфичность на 0,9.8 и ППМИ на 1,12; в стохастическом случае NIWF увеличил абсолютную специфичность на 0,77, а PPMI на 0,77. Повышение температуры распределения практически не увеличивало специфичность — всего на 0,01 (незначительно).

Кроме того, в стохастической настройке мы находим что это увеличение специфичности фактически немного увеличивает чувствительность. Небольшое снижение энтропии биграмм (ent2) для стохастических NIWF и PPMI также предполагает, что распределение выборки больше ориентировано на тематические слова, чем стандартные модели или модели с повышенной температурой.

В детерминистских условиях мы наблюдали умеренное, но значительное снижение чувствительности в детерминистической парадигме — NIWF снизил чувствительность на 0,54, а PPMI на 0,27, компромисс, обнаруженный в предыдущей работе (Ko et al., 2019) . В то же время автоматические метрики предполагают, что повторные взвешивания, особенно PPMI, улучшают разнесение при поиске луча, что желательно во многих задачах (Li et al., 2016) .

5 Вариант использования: обобщение

Чтобы оценить обобщаемость наших переоценок специфичности, мы применяем их к суммированию. В таблице 2 мы сравниваем обобщение исходного уровня с созданием сводок с повторным взвешиванием специфичности. Чтобы вычислить сводки, мы используем реализацию Hugging Face (пегаса), точно настроенную на наборе данных CNN Dailymail. ^{7 7} 7https://huggingface.co/google/pegasus-cnn_dailymail Каждое резюме создается из одной и той же статьи о кибератаке Colonial Pipeline. ^{8 8} 8https://www.cnn.com/2021/05/12/business/colonial-pipeline-restart/index.html Чтобы рассчитать повторное взвешивание NIWF, мы вычисляем количество слов на странице Википедии «Рынок (экономика)». Чтобы рассчитать повторное взвешивание PPMI, мы используем «атаку программ-вымогателей» в качестве нашего контекста и используем новостную статью, чтобы получить количество совпадений слов и контекста. И корпус NIWF, и контекст PPMI выбираются пользователем вручную.

Благодаря повторному взвешиванию специфики сводка больше фокусируется на выбранной теме. По сравнению со стандартным резюме, резюме NIWF включает больше предложений, относящихся к «рынку», включая такие фразы, как «кризис предложения», «накопление газа» и «руководители нефтяной отрасли». Точно так же сводка PPMI включает конкретное предложение об атаке программы-вымогателя. Благодаря повторному взвешиванию пользователи могут определить контекст для создания сводок по интересующей их теме.

6 Заключение

Мы обнаружили, что частотность слов и схемы повторного взвешивания на основе PPMI повышают специфичность языковой модели с незначительным снижением чувствительности или его отсутствием. Мы демонстрируем, как эти схемы можно использовать для управления выходными данными языковой модели в других задачах, таких как суммирование.

7 Заявление о более широком воздействии

В этой работе мы стремимся улучшить специфичность выходных данных языковой модели, вводя облегченные стратегии декодирования. Эта работа имеет как положительные, так и отрицательные последствия. Положительные результаты включают в себя повышение доступности управления большими предварительно обученными языковыми моделями для исследователей и практиков, а также снижение вычислительных затрат (и, следовательно, экологических и финансовых затрат) на управление большими предварительно обученными языковыми моделями.

Тем не менее, использование больших, предварительно обученных языковых моделей было поставлено под сомнение, учитывая гигантские объемы данных, на которых они обучаются, что усиливает гегемонистскую социальную перспективу и может нанести вред последующим задачам Bender et al. (2021) . Упрощение управления и использования этих моделей может побудить людей пренебрегать опасностями, связанными с этими моделями.

Ссылки

Приложение A Пример модифицированных вероятностей

Ниже приведен рисунок, показывающий, как наши схемы повторного взвешивания корректируют логарифмическую вероятность для конкретной подсказки.

Приложение B Выбор первой фразы существительного

Для эксперимента, который представляет собой задачу завершения подсказки, мы создаем 10 токенов, а затем анализируем весь вывод (т. е. подсказку и сгенерированный текст) с помощью Spacy. ^{9 9} 9https://spacy.io/ Чтобы выбрать первое именное словосочетание, мы выбираем либо первый кусок существительного, помеченный Spacy, либо поддерево первого существительного после третьего сгенерированного слова, в зависимости от того, что длиннее.