[논문 리뷰] Re3: Generating Longer Stories With Recursive Reprompting and Revision

Title: Re3: Generating Longer Stories With Recursive Reprompting and Revision

링크: https://arxiv.org/abs/2210.06774

 

0 Abstract

 

 

2,000 단어가 넘는 긴 이야기를 자동으로 생성하는 문제를 고려한다. 짧은 이야기에 비해 긴 길이의 줄거리의 일관성과 관련성은 도전과제다. 이를 해결하기 위해 Recursive Reprompting and Revision (Re3) 프레임워크를 제안한다.

 

1. 일반 목적의 언어 모델에게 구조적인 전반적 계획을 구성하도록 요청
2. 계획과 현재 스토리 상태에서 얻은 맥락 정보를 언어 모델 프롬프트에 반복적으로 주입하여 스토리 구절 생성
3. 줄거리의 일관성과 전제의 관롼셩을 위해 다른 시퀀스를 재순위화하여 수정
4. 최선의 시퀀스를 사실적 일관성을 위해 수정

 

비슷한 길이의 이야기를 동일한 기본 모델로 직접 생성한 경우와 비교하여 인간 평가자들은 Re3의 이야기들이 훨씬 더 일관된 줄거리를 갖고 있다고 판단하고, 주어진 초기 전제와 관련이 있다고 평가한다.

 

1 Introduction

2,000-2,500 단어로 생성된 최종 스토리를 위해 첫 번째로 plot-coherent 이야기를 자동으로 생성한다. 하지만 긴 이야기는 짧은 이야기에 비해 질적으로 새로운 문제에 직면한다. 1,000 단어에 걸쳐 일관된 전체 줄거리를 유지해야 한다. 초기 전제가 주어진 경우, 수천 단어에 걸쳐 이 전제와 관련성을 유지해야한다. 추가적인 도전 과제로는 서술 스타일의 유지와 매우 긴 길이의 이야기에서 사실적인 모순을 피하는 것이 포함된다. 

 

LLM이 무수한 발전을 이뤘지만, 여전히 소설 생성과 같은 복잡한 긴 형식의 글엔 어려움을 겪는다. 사람(작가)은 장편 글을 쓰는데 성공적으로 이뤄왔지만, 긴 글을 한 번에 작성하지 않는다는 것을 관찰하였다. 오히려 사람도 (a) 디테일 한 계획을 세우고, (b) 해당 계획에 따라 문서의 다음 각 부분의 초안을 작성하고, (c) 구절 전체를 다시 작성하거나, (d) 더 자세한 내용을 게시하여 수정할 수 있다. 

 

이 관찰에서 동기를 얻어, Re3를 제안하였고, 이를 사용하여 사용하여 더 긴 이야기를 생성한다. 이전 접근법과 달리 인간 개입 없이 완전 자동으로 작동하는 시스템을 구축하려 한다. 그게 Plan module, Draft module, Rewrite module, Edit module이다.

 

(a) Re3의 계획 모듈은 주어진 전제를 배경, 등장인물, 개요로 확장하도록 GPT3에게 요청하여 계획을 생성한다.

(b) Re3의 초안 모듈은 전략적으로 제작된 프롬프트를 사용하여 GPT3에게 재귀적으로 재요청함으로써 다음 이야기 연속을 생성한다. 이 절차는 CoT의 일반화로 볼 수 있다. 구체적으로, 우리의 프롬프트는 처음 계획에서—자체적으로 프롬프팅을 통해 생성된—그리고 지금까지 이야기에서 맥락적으로 관련 있는 정보를 선택적으로 나타내면서 각 단계에서 동적으로 재구성된다.

(c) 그 다음 개선 과정을 갖는다. 다양한 선택지를 재순위하여 전체 재작성을 모방하는 재작성 모듈을 구성한다.

(d) 이전 구절과의 사실적 일관성을 향상시키기 위해 더 작은 지역적 편집을 하는 편집 모듈로 나눈다.

 

추가적인 기여로, 우리의 계획 및 초안 모듈은 기존 이야기 데이터셋에 훈련된 것이 아닌 제로샷이다. 따라서 Re3은 이전 작업보다 한 차원 더 긴 이야기를 생성할 뿐만 아니라 특정 훈련 도메인에 제한되지 않는다.

 

 

2 Related Works

• Automatic Story Geneartion
• Human-In-The-Loop Story Generation
• Prompting

 

Prompting 방식에 대해 출력을 한 번에 생성하는 대신 재귀적 재요청 절차를 ㄱ지는데 최종 출력을 생성하기 위해 프롬프팅을 하위 루틴으로 취급한다. 

CoT 같은 접근 방식에 비해, Re3는 모듈 방식으로 프롬프트를 반복적으로 재구성하면서, 고차원 계획과 지금까지의 이야기 중 가장 맥락적으로 관련 있는 부분들을 동적으로 재결합하며 한 걸음 더 나아간다.

 

 

3.1 PLAN module

 

PLAN그림 2: 설정, 등장인물, 그리고 개요를 생성하도록 언어 모델을 프롬프팅하는 Re3의 계획 모듈에 대한 설명

전제	새로운 법대 졸업생이 집으로 돌아와 경력을 시작하지만 무너진 사법 제도로 인해 어려움을 겪습니다.
설정	설정: 이야기의 배경은 미국의 작은 마을입니다.
캐릭터	1. 캐릭터 초상화: Liza Turner는 22세 여성입니다. 2. 캐릭터 초상화: 페이튼 터너(Peyton Turner)는 라이자의 누나입니다.
개요	이야기의 주요 줄거리를 설명합니다. 1. 리자 터너(Liza Turner)는 로스쿨을 졸업했습니다. 2. 그녀는 경력을 시작하기 위해 고향으로 돌아갑니다. 3. 그녀는 무너진 사법 제도의 현실과 씨름하고 있습니다.

 

 

3.2 Draft module

 

DRAFT그림 3: 각 다음 이야기 연속을 생성하기 위해 Re3의 초안 모듈에서 구성된 프롬프트의 설명.재귀적인 재프롬프팅 접근 방식은 계획의 일부(파란색)와 이전에 생성된 이야기(회색)를 순서대로 나열하여 하나의 프롬프트로 결합함

관랜 맥락	관련 맥락: Liza Turner는 22세 여성입니다. 페이튼 터너(Peyton Turner)는 라이자의 누나이다.
이전 섹션의 개요	이전 이야기 요약: 라이자 터너는 로스쿨을 졸업합니다.
최신 이야기 요약	현재 본문 바로 이전: 리자 터너는 친숙함과 동시에 안전하지 않다는 느낌을 가지고 자신의 작은 고향으로 돌아옵니다. 그녀는 거기에 살고 싶은지 확신할 수 없지만, 떠나는 것을 주저합니다.
다음 섹션 개요	다음 구절에서 그녀는 경력을 시작하기 위해 고향으로 돌아갑니다.
자동 회귀 맥락	아래 전문: 그녀는 차를 잠그고 페이튼이 아직 집에 있을 경우를 대비해 뒷문으로 집 안으로 짐을 들고 들어갔습니다.

 

 

3.3 Rewrite Module

 

RewriteDraft ContiniationCoherence(일관성) + Relevance (관련성)

모든 불이 꺼져 있었고 페이튼의 흔적은 없었다. 그녀는 어깨를 으쓱하고 나가서 나머지 저녁을 New에서 보내기로 결정했다.	-1.7 X
그녀는 페이튼이 아마도 자신의 식당에서 늦게까지 일하고 있어서 일찍 집에 와서 그녀를 보지 못할 것이라는 것을 알고 있었지만, 그가 어쨌든 그렇게 할 것이라고는 생각지 않았다.	2.0 √

 

 

 

 

3.4 Edit module

 

Edit그림 5: Re3의 편집 모듈에 대한 설명. 재작성 모듈의 최적 연속부터 시작하여, 각 캐릭터에 대한 자연어 사실을 추론하고, 이를 속성-값 쌍으로 변환함.새로운 값(파란색)은 속성 사전에 추가되며, 모순되는 값(빨간색)은 수정됩니다.

Selected Continuation*	그녀는 페이튼이 아마도 자신의 식당에서 늦게까지 일하고 있어서 일찍 집에 와서 그녀를 보지 못할 것이라는 것을 알고 있었지만, 그가 어쨌든 그렇게 할 것이라고는 생각지 않았다.
Inferred Facts	페이튼 터너 페이튼 터너는 남자입니다. 페이튼은 레스토랑에서 일합니다.
Attribute Dictionary	Peyton Turner Younger sister | Liza Turner Gender | female male Workplace restaurant
Editing Instruction	페이튼 터너가 여성이 되도록 편집하세요.
Final Edited Continuation	그녀는 Peyton이 아마도 그녀의 레스토랑에서 늦게까지 일하고 있어서 그녀를 만나러 일찍 집에 오지 않을 것이라는 것을 알고 있었지만, 어쨌든 그녀를 지나쳐서는 안 될 것이었습니다.

 

*"Selected Continuation"은 "선택된 연속" 또는 "선택된 계속"이라고 번역할 수 있습니다. 이 표현은 특정 문맥이나 프로세스에서 다음 단계나 부분으로 이어지는 특정 내용이나 요소를 선택하는 것을 의미합니다. 예를 들어, 이야기를 쓰거나, 데이터 분석을 진행할 때, 여러 가능성 중에서 가장 적합하거나 관련성이 높은 부분을 선택하는 것을 말할 수 있습니다.