گوگل از ابزار هوش مصنوعی تشکیل ویدیو پیشرفته Lumiere رونمایی کرد + ویدیو

تیمی از محققان گوگل ریسرچ، ابزار هوش مصنوعی جدیدی با نام Lumiere را گسترش داده‌اند که از آن به‌گفتن نسل بعدی ابزارهای تشکیل ویدیو بر پایه متن یاد شده است. گوگل مدعی شده که Lumiere می‌تواند ویدیوهای کاملی با حرکات منسجم، روان و واقعی تشکیل کند.

تعداد بسیاری از مدل‌های هوش مصنوعی تشکیل ویدیوی جاری در نمایش حرکات مشکل دارند و حتی اگر بتوانند این کار را به خوبی انجام بدهند، دیگر عناصر آن‌ها امکان پذیر دچار اختلال شوند. گوگل برای رفع‌کردن این مشکلات، در Lumiere که نام آن به گمان زیادً از روی «برادران لومیر»، مخترعان سینما گرفته شده، از رویکرد متغیری برای تشکیل ویدیو منفعت گیری کرده است. در واقع، Lumiere به‌جای کنار هم قراردادن فریم‌های مجزا، کل ویدیو را در یک فرایند تشکیل می‌کند و برای انجام این کار، می‌تواند محل قرارگیری اشیا و حرکت آن‌ها را به‌طور همزمان مدیریت کند.

هوش مصنوعی Lumiere تا این مدت یک پروژه تحقیقاتی است، به این علت نمی‌توانید از آن منفعت گیری کنید. با این حال، گوگل یک ویدیو مختصر از قابلیت‌های آن به اشتراک گذاشته است که در ادامه می‌توانید آن را مشاهده کنید.

قابلیت‌های هوش مصنوعی تشکیل ویدیو Lumiere

همانطور که در ویدیو بالا نیز مشاهده می‌بشود، Lumiere می‌تواند به‌گفتن یک ابزار «متن به ویدیو» و «عکس به ویدیو» منفعت گیری بشود. این چنین می‌توان سبک مورد نظر خود را نیز به آن اراعه کرد تا ویدیو نهایی را بر پایه آن تشکیل کند. علاوه‌براین، می‌توان با منفعت گیری از دستورات متنی، ویدیوی خود را از طریق آن ویرایش کرد.

گوگل مدل هوش مصنوعی خود را بر پایه معماری فضا-زمان ساخته است، به این معنی که Lumiere می‌تواند همه جنبه‌های حرکت و مکان را در نظر بگیرد. در واقع، این مدل در فرایند تشکیل ویدیوی خود، می‌تواند فهمیدن کند که سوژه عکس در چه مکانی قرار گرفته است و این چنین برای ساخت ویدیو مواردی ازجمله زمان و نحوه حرکت اشیا را نیز بازدید می‌کند.

محققان در مقاله خود نوشته‌اند:

«مدل ما یاد می‌گیرد که مستقیماً یک ویدیو با نرخ همه‌فریم و وضوح پایین را با پردازش آن در مقیاس‌های فضا-زمان چندگانه تشکیل کند.»

Lumiere تا این مدت برای عموم انتشار نشده است، اما اگر علاقه‌مند هستید تا زیاد تر با هوش مصنوعی گوگل آشنا شوید، می‌توانید به صفحه Github آن مراجعه کنید که چند ویدیو آزمایشی را به نمایش می‌گذارد.