Project: Sangho

[chointer]

목표

효과적인 프롬프트 스타일 찾기

내용

프로젝트에서 강화학습 탐색 방법 중 하나인 Diversity is all you need(DIAYN)를 활용해보고 싶어서, 프레임 보간 모델에 적용할 방법을 고안했습니다. 다양한 모델 입력 스타일을 탐색하여 좋은 결과를 도출하고자 합니다.

방법 1. 직접 프롬프트 생성

실제 DIAYN을 활용하지는 않고, 컨셉만 손으로 구현해보는 방법입니다.
(0) 실험할 프롬프트 스타일 정하기
(1) 주어진 프롬프트를 다양한 스타일(길이, 동적 묘사 수준?)로 변형 (생성할 프롬프트가 많으면 ChatGPT 활용)
(2) 각 프롬프트를 사용해 비디오 생성
(3) 결과 평가

방법 2. DIAYN로 latent vector 변형

프롬프트를 인코딩한 latent vector를 변형하는 모델을 DIAYN 방법으로 학습합니다.
아마 시간과 비용을 고려해서 방법 1로 진행할 것 같습니다.

[chointer]

10.15. - 10.21.

• ToonCrafter에 text prompt가 들어가는 것을 (대략) 확인했습니다.
  cf. main/scripts/run.sh , main/scripts/evaluation/inference.py
• ToonCrafter에서 사용한 데이터셋을 사용하고 싶었는데, 못 찾았습니다.
• Prompt 생성에 ChatGPT를 사용하려했는데, API는 비용이 드는 것을 알게 되었습니다.
  추천해주신 microsoft/BitNet을 고려해보려 합니다.

[chointer]

10.22. - 11.02.

• ollama를 활용해 python에서 llama-based LLM을 사용해보고 싶었지만, 에러가 발생했고 해결하지 못했습니다. CLI로는 잘 작동하는 것을 확인했습니다.
• 실험할 프롬프트 스타일을 정하고 각 스타일로 변형을 명령하기 위한 LLM 프롬프트(영어)를 작성했습니다.
  • 프롬프트 스타일
    • 길이: 0.5배, None, 1.5배
    • 스타일: 서사적, 감성&감정적, 객관&중립적

[chointer]

llama3.2/Prompt Template/Supported Roles