OpenAI最新模型「Sora」－輸入文字即可生成出電影般的場景！

什麼是Sora?

OpenAI這次推出的Sora，是一種輸入文字創造影片的生成式人工智慧模型。OpenAI介紹道，只要給定簡短的描述或靜態影像，Sora便可以產生具有多個角色、不同類型的運鏡和背景細節的1080p電影場景，Sora還具有影片剪輯能力，能夠盡力填補缺失的細節。

Prompt: “Several giant wooly mammoths approach treading through a snowy meadow, their long wooly fur lightly blows in the wind as they walk, snow covered trees and dramatic snow capped mountains in the distance, mid afternoon light with wispy clouds and a sun high in the distance… pic.twitter.com/Um5CWI18nS

— OpenAI (@OpenAI) February 15, 2024

OpenAI在官網文章內寫道：「該模型不僅了解用戶在提示中提出的要求，還了解這些東西在物理世界中的存在方式，還可以在單一生成的影片中創建多個鏡頭，準確地保留角色和視覺風格。」從官網挑選的成品確實令人印象深刻，相較同類型的模型可謂出類拔萃。Sora可以生成各種風格的影片如動畫風、黑白等，且最長可達一分鐘，這遠比其他同類模型長很多(Google的Lumiere僅支援大約五秒鐘)，還有一點，這些影片保持了合理的連貫性，因為它們較少出現人工智慧的錯誤，例如物體朝著物理上不可能的方向移動。

Prompt: “A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. she wears a black leather jacket, a long red dress, and black boots, and carries a black purse. she wears sunglasses and red lipstick. she walks confidently and casually.… pic.twitter.com/cjIdgYFaWq

— OpenAI (@OpenAI) February 15, 2024

儘管Sora表現出色，但OpenAI也承認此模型存在著一些弱點，若是較複雜的物理原理以及一些因果關係，Sora可能無法準確模擬，例如一個人在跑步機上逆向奔跑，這動作違反了物理原理，還有籃球穿過籃框後爆炸，物理建模上產生了不合理的現象。

安全性問題

由於OpenAI無法預測大家會怎麼使用Sora，為了防止濫用模型的情況發生，OpenAI正在與紅隊成員（錯誤訊息、仇恨內容和偏見等領域的專家）合作，試圖用對抗性的方式來測試該模型，同時也使用各項工具如文字篩選器檢查並拒絕違反其使用政策的文字提示，例如極端暴力、性內容、仇恨圖像、名人肖像或他人 IP 的文字輸入提示。

Introducing Sora, our text-to-video model.

Sora can create videos of up to 60 seconds featuring highly detailed scenes, complex camera motion, and multiple characters with vibrant emotions. https://t.co/7j2JN27M3W

Prompt: “Beautiful, snowy… pic.twitter.com/ruTEWn87vf

— OpenAI (@OpenAI) February 15, 2024

科技的飛速進步讓我們需要注意更多的社會責任，隨著數位內容更容易的產出，Sora這類的生成式工具難保被有心之士拿去做不好的事情，期盼相關規範能有效避免此事發生，讓我們能合理的使用便捷的生成式工具，期待Sora開放大眾使用的那天來臨!

圖片來源:OpenAI官網

影片來源:OpenAI X