北大和Rabbitpre AI發(fā)起的Open-Sora Plan項(xiàng)目致力于復(fù)現(xiàn)OpenAI的視頻生成模型Sora。項(xiàng)目包括Video VQ-VAE壓縮視頻至潛在維度,Denoising Diffusion Transformer去噪,以及Condition Encoder支持多條件輸入。特色在于支持可變長寬比、分辨率和時(shí)長,通過動(dòng)態(tài)掩蔽策略、位置插值等技術(shù)實(shí)現(xiàn)高效訓(xùn)練和生成不同規(guī)格的視頻。