프로젝트 소개

[lynnminn]

프로젝트 소개

안녕하세요 :) 저희는 모여봐요 강화학숲 팀입니다!
가짜연구소에서 좋은 팀원분들을 만나서 2022년 9월부터 5 ~ 9기에 걸쳐 스터디 모임을 이어오고 있습니다 :)

👋 5기 스터디 : 멀티태스크/메타러닝 초읽기
👋 6기 스터디 : 멀티태스크/메타러닝 초읽기 & Model based RL
👋 7기 스터디 : Graph 이해하기
👋 8기 스터디 : 모여봐요 강화학숲

이처럼 Meta Learning, Graph, RL 등 다양한 주제를 탐구하고 가끔 잡담도 하면서 즐겁게 스터디를 이어가고 있습니다.
이번 기수인 9기에서는 그간 공부했던 것들 + 알고 있던 지식들을 포괄하는 간단한 프로젝트를 진행해보려 합니다.

그동안 열심히 공부해준 팀원분들께 서로 서로 감사하면서 거창하지 않으면서 소소한 파티같은 시간을 보내면 좋겠습니다!

프로젝트 목표

움짤 제작 서비스 제작
(움직이는 사진을 만들어주는 서비스)

프로젝트 내용

• 시작 이미지, 마지막 이미지를 기반으로 움직이는 사진 만들려고 합니다!
  [움직이는 영상은 요 링크에서 볼 수 있어요 !!]
  
• 생각하는 사용 흐름은 사용자가 UI를 통해 움짤의 시작 이미지와 마지막 이미지, 그리고 prompt를 입력하면 이를 기반으로 움직이는 사진을 만들어서 보여주는 형태입니다.
• AI 모델링이라는 공통 관심사로 모인 만큼, 화면을 개발하는 것에 중점을 두기 보다 각자만의 주제를 잡고 모델을 튜닝해보는 정도로 진행됩니다.
• 물론 처음부터 직접 학습시키는 것은 굉장한 자원이 요구되는 일이므로 오픈된 모델을 적극 활용할 예정입니다 :)
• 프로젝트와 연관지어서 이미지와 비디오 생성 관련된 논문을 함께 리뷰하며 진행할 생각이라, 더 흥미로운 스터디가 될 수 있을 것 같습니다!

그렇다면 지금까지 공부했던 내용을 어떻게 활용할까요?

• IDEA) 사진을 수정해 나가는 과정을 로그로 남겨서 나만의 preference model을 만들 수 있다면? (RLHF 처럼)
• IDEA) 동영상과 시작, 마지막 frame을 데이터로 사용하여 trajectory를 생성하는 model을 만들 수 있다면? (model based rl의 world model 처럼)
• IDEA) ....

활동 기간

첫 모임 날짜 & 시간 & 장소

• 날짜: 24년 9월 10일 (화)
• 시간: 오후 9시 30분
• 장소: 디스코드 Room-AK (상황에 따라 변경될 수 있음)

정기 모임 시간 & 장소

• 시간: 매주 화요일 오후 9시 30분
• 장소: 디스코드 Room-AK (상황에 따라 변경될 수 있음)

학습 활동 및 활동 방법

학습 자료

• 프로젝트와 논문 리뷰이기 때문에 별도 자료는 없습니다!

스터디 활동 방법

💡 오픈 아카데미 형태(=청강 가능)로 진행하며, 발표자료는 가짜연구소를 통해 공개적으로 배포할 수 있도록 할 예정입니

1. 진행 & 발표

• 매주 온라인으로 모임을 진행합니다.
• 온라인에서 여러분을 만나는 환경이므로 웹캠을 꼭 준비해 주세요!
• 출석체크를 위해 실명으로 참여 부탁드립니다.
• 모임에서는 (1) 첫 번째로 발표자가(1명) 논문 리뷰를 진행하고, (2) 이어서 각자 진행한 부분에 대한 공유를 진행합니다.
  • 첫 세션에서 리뷰할 논문의 범위는 움짤 생성과 관련된 기술의 논문으로 제한합니다.

2. 학습 활동 (필수)

   (1) 발표 관련 : 발표자는 발표 자료를 git (9th-together-RL)에 정리하고 발표 날 공유 부탁드립니다.

   • (필수) 발표 분량 : 30분 정도로 채워서
   • (필수) 숙제
     • 선택 1. 질문 1개 넘기기
     • 선택 2. 스터디 때 필수로 1 질문 하기
   • (필수) 발표 자료 업로드

   (2) 프로젝트 관련

   • (필수) 스크럼 형식으로 모든 사람이 프로젝트 진행 상황과 차주 목표를 공유합니다.
   • 인원이 많기 때문에 공유는 한 사람당 5분 이내로 진행합니다.
   • 공유 내용을 기반으로 팀원들은 서로 피드백을 주고 받습니다.

주차별 목표와 학습 내용

💡 주차별 진행계획은 러너(스터디원)분들과 협의에 의해 변경될 수 있습니다.

No.	날짜	내용	발표자	매체
0	2024/09/10	OT (스터디 소개, Ice breaking)	민예린	링크
1	2024/09/17	추석이라 쉬어갑니다!
2	2024/09/24	스터디 사정으로 쉬어갑니다
3	2024/10/1	VideoCrafter1: Open Diffusion Models for High-Quality Video Generation	채지훈
4	2024/10/8	DynamiCrafter: Animating Open-domain Images with Video Diffusion Priors	홍진욱
5	2024/10/15	ToonCrafter: Generative Cartoon Interpolation 리뷰 및 프로젝트 주제 공유	민예린
6	2024/10/22	논문 리뷰 및 프로젝트 공유	송주환
7	2024/10/29	[오프라인 & 중간점검] 논문 리뷰 및 프로젝트 공유	박범진
8	2024/11/5	논문 리뷰 및 프로젝트 공유	최상호
9	2024/11/12	논문 리뷰 및 프로젝트 공유	이홍규
10	2024/11/19	논문 리뷰 및 프로젝트 공유	채지훈
11	2024/11/26	논문 리뷰 및 프로젝트 공유	홍진욱
12	2024/12/3	논문 리뷰 및 프로젝트 공유	민예린
13	2024/12/10	논문 리뷰 및 프로젝트 공유	송주환
14	2024/12/17	논문 리뷰 및 프로젝트 마무리	박범진