논문: https://arxiv.org/pdf/2307.16449깃허브: https://github.com/wenhaochai/MovieChat.git Contribution Long Video 이해 가능한 첫 번째 framework MovieChat 제안Vision foundation model과 LLM을 결합한 long video understanding framework 제안. 10K+ frame (영화 1편 분량) 비디오를 24GB GPU에서 처리 가능한 최초 시도. Atkinson-Shiffrin 기반 Memory Mechanism인지심리학의 Atkinson-Shiffrin 기억 모델을 차용한 memory 시스템 제안:Short-term memory: 최근 frame을 빠르게 업데이트하는 buf..

논문: https://arxiv.org/pdf/2311.10122깃허브: https://github.com/PKU-YuanGroup/Video-LLaVA ContributionImage와 Video를 통합 처리하는 LVLM Video-LLaVA 제안LanguageBind encoder로 image와 video를 같은 feature space에 pre-align 한 후 shared projection layer로 LLM에 입력하는 통합 framework 제안.기존 모델들이 projection 후에 통합하던 방식과 달리, projection 전에 미리 정렬해 LLM이 일관된 visual representation을 학습하도록 한다.Image + Video Joint Training이미지와 비디오를 joint..

논문: https://arxiv.org/pdf/2306.02858깃허브: https://github.com/damo-nlp-sg/video-llama ContributionVisual + Audio + Text 동시 처리하는 비디오 LLM 제안시각 정보뿐 아니라 오디오까지 함께 처리하는 multi-modal LLM Video-LLaMA를 제안.기존 video LLM (VideoChat, Video-ChatGPT 등)이 시각만 다룬 한계를 극복.Multi-branch Cross-modal Pre-training FrameworkVision-language alignment와 Audio-language alignment를 분리해 학습하는 두 갈래 framework 제안.ImageBind 활용으로 오디오-텍스..

논문: https://arxiv.org/pdf/2301.12597깃허브: https://github.com/salesforce/LAVIS/tree/main/projects/blip2 ContributionFrozen Pre-trained 모델 활용한 Compute-Efficient VLP 제안Frozen image encoder와 frozen LLM을 그대로 활용하면서, 그 사이를 잇는 가벼운 Q-Former만 학습하는 BLIP-2 제안. End-to-end로 거대 모델을 학습하던 기존 VLP 방식 대비 trainable parameter를 54배 적게 사용하면서도 SOTA 달성.Querying Transformer (Q-Former) 설계Frozen image encoder와 Frozen LLM 사이의..

논문: https://arxiv.org/pdf/2203.12602깃허브: https://github.com/MCG-NJU/VideoMAE ContributionPlain ViT 기반 video MAE 최초 제안이미지용 MAE를 비디오로 확장한 self-supervision pre-training 프레임워크 VideoMAE를 제안한다.Pre-trained 모델 or 외부 데이터 없이 vanilla ViT를 비디오만으로 학습한 최초 사례.Tube masking + 극단적으로 높은 마스킹 비율(90~95%)비디오의 시간 중복과 인접 프레임 간 정보 누출을 막기 위해, 시간축으로 같은 위치를 통째로 가리는 tube masking을 도입했다.이미지 MAE(75%)보다 훨씬 높은 90~95% 비율이 오히려 성능을 ..

논문 링크: https://arxiv.org/pdf/2103.15691깃허브 링크: https://github.com/google-research/scenic/tree/main/scenic/projects/vivit ContributionPure Transformer 기반 비디오 분류 모델 ViViT 제안Self-attention만으로 구성된, ViT를 비디오로 확장한 video transformer ViViT를 제안한다.비디오를 시공간 토큰 시퀀스로 만들어 Transformer encoder에 입력하는 구조다. 4가지 모델 변형 비교: Factorised Encoder가 최적시공간 토큰을 효율적으로 처리하기 위해 attention을 공간/시간 차원으로 분해하는 4가지 모델 변형(Spatio-tempor..

논문 링크: https://arxiv.org/pdf/2102.05095깃허브 링크: https://github.com/facebookresearch/TimeSformer ContributionConvolution-Free 비디오 아키텍처 제안Self-attention만으로 구성된, convolution을 전혀 사용하지 않는 최초의 비디오 인식 모델 TimeSformer를 제안한다. ViT를 비디오로 확장한 형태로, 비디오를 프레임별 패치 시퀀스로 분해해 Transformer encoder에 입력한다. Space-Time Self-Attention 설계 비교: Divided Space-Time이 최적시공간 부피에서 attention을 어떻게 적용할지 5가지 방식(Space, Joint Space-Time,..

논문 링크: https://arxiv.org/pdf/1812.03982깃허브 링크: https://github.com/facebookresearch/SlowFast Contribution1. Two-pathway SlowFast Architecture 제안Slow pathway (낮은 frame rate, 무거운 채널) 와 Fast pathway (높은 frame rate, 가벼운 채널) 로 구성된 새로운 비디오 인식 framework를 제안했다.공간 의미는 천천히 변하니 적은 frame으로 충분히 처리하고, motion은 빠르게 변하니 많은 frame으로 처리하는 직관에 따라 두 path가 역할을 분담한다.2. Lightweight Fast Pathway 설계Fast pathway는 채널 수를 β=1/..