Google מציגה את Lumiere, מודל הפצה ממטקסט לווידאו, המבטיח להגדיר מחדש את התחום של יצירת וידאו ריאליסטיים. בניגוד לשיטות מסורתיות המייצרות פריימים מרכזיים ולאחר מכן ממלאות פרטים (שיכול להוביל לחוסר עקביות), Lumiere משתמש בארכיטקטורת Space-Time U-Net כדי ליצור את הווידאו כולו בבת אחת. גישה זו מבטיחה עקביות טובה יותר לאורך זמן.

המודל מבצע הורדת דגימה והעלאת דגימה כל הן במימד המרחבי והן במימד הזמני, תוך שילוב טכניקות ממודלים מוקדמים של טקסט-לתמונה. Lumiere מסוגל לייצר וידאו ברזולוציה נמוכה עם קצב פריימים מלא, על ידי עיבוד מרובה של סקאלות מרחב-זמן.

Breaking News Banner

הטכנולוגיה הזו מציבה סטנדרט חדש בתחום יצירת וידאו מטקסט ויכולה לשמש למגוון רחב של משימות יצירת תוכן ועריכת וידאו, כולל המרת תמונות לווידאו, תיקון וידאו, ויצירת וידאו בסגנונות מיוחדים.

 

 

פרסומת*

קורס בחינם