يستخدم باحثو Nvidia الذكاء الاصطناعي لتحويل مقاطع الفيديو ثنائية الأبعاد إلى رسومات ثلاثية الأبعاد مفصلة

يستخدم Neuralangelo ، وهو نموذج جديد للذكاء الاصطناعي من Nvidia Research ، الذكاء الاصطناعي لأخذ مقاطع فيديو ثنائية الأبعاد وتحويلها إلى هياكل رسومات ثلاثية الأبعاد مفصلة.

باستخدام هذه التقنية ، تمكن الباحثون من إنشاء نسخ متماثلة افتراضية نابضة بالحياة للمباني والمنحوتات وأشياء أخرى في العالم الحقيقي.

قالت نفيديا إن شركة Neuralangelo ، مثلها في ذلك مثل نحت مايكل أنجلو لرؤى مذهلة تشبه الحياة من كتل الرخام ، تخلق هياكل ثلاثية الأبعاد بتفاصيل وأنسجة معقدة. يمكن للمحترفين المبدعين بعد ذلك استيراد هذه الكائنات ثلاثية الأبعاد إلى تطبيقات التصميم ، وتحريرها بشكل أكبر لاستخدامها في الفن وتطوير ألعاب الفيديو والروبوتات والتوائم الرقمية الصناعية.

قدرة Neuralangelo على ترجمة قوام المواد المعقدة – بما في ذلك ألواح السقف والألواح الزجاجية والرخام الأملس – من مقاطع الفيديو ثنائية الأبعاد إلى الأصول ثلاثية الأبعاد تفوق بشكل كبير الأساليب السابقة. تجعل الدقة العالية عمليات إعادة البناء ثلاثية الأبعاد أسهل للمطورين والمحترفين المبدعين لإنشاء كائنات افتراضية قابلة للاستخدام بسرعة لمشاريعهم باستخدام لقطات تم التقاطها بواسطة الهواتف الذكية.

قال Ming-Yu Liu ، كبير مديري الأبحاث والمؤلف المشارك في الورقة ، في بيان: “إن إمكانات إعادة البناء ثلاثية الأبعاد التي تقدمها Neuralangelo ستكون مفيدة جدًا للمبدعين ، حيث تساعدهم على إعادة إنشاء العالم الحقيقي في العالم الرقمي”. “ستمكّن هذه الأداة المطورين في النهاية من استيراد كائنات مفصلة – سواء كانت تماثيل صغيرة أو مبانٍ ضخمة – إلى بيئات افتراضية لألعاب الفيديو أو التوائم الرقمية الصناعية.”

في عرض توضيحي ، عرض باحثو Nvidia كيف يمكن للنموذج إعادة إنشاء كائنات مبدعة مثل David من Michelangelo وشائعة مثل الشاحنة المسطحة. يمكن لـ Neuralangelo أيضًا إعادة بناء التصميمات الداخلية والخارجية للمباني – موضحة بنموذج ثلاثي الأبعاد مفصل للحديقة في حرم Nvidia’s Bay Area.

يرى نموذج التجسيد العصبي ثلاثي الأبعاد

قالت Nvidia إن نماذج الذكاء الاصطناعي السابقة لإعادة بناء المشاهد ثلاثية الأبعاد كافحت لالتقاط أنماط نسيج متكررة وألوان متجانسة وتنوعات ألوان قوية بدقة. تتبنى Neuralangelo بدائل الرسومات العصبية الفورية ، وهي التقنية الكامنة وراء NVIDIA Instant NeRF ، للمساعدة في التقاط هذه التفاصيل الدقيقة.

باستخدام مقطع فيديو ثنائي الأبعاد لكائن أو مشهد تم تصويره من زوايا مختلفة ، يختار النموذج عدة إطارات تلتقط وجهات نظر مختلفة – مثل فنان يفكر في موضوع من جوانب متعددة للحصول على إحساس بالعمق والحجم والشكل.

بمجرد تحديد موضع الكاميرا لكل إطار ، ينشئ الذكاء الاصطناعي لـ Neuralangelo تمثيلًا تقريبيًا ثلاثي الأبعاد للمشهد ، مثل نحات يبدأ في نحت شكل الموضوع.

يقوم النموذج بعد ذلك بتحسين العرض لجعل التفاصيل أكثر وضوحًا ، تمامًا كما يقوم النحات بشق الأنفس بحفر الحجر لتقليد نسيج القماش أو الشكل البشري. النتيجة النهائية هي كائن ثلاثي الأبعاد أو مشهد واسع النطاق يمكن استخدامه في تطبيقات الواقع الافتراضي أو التوائم الرقمية أو تطوير الروبوتات.

Neuralangelo هو واحد من حوالي 30 مشروعًا من Nvidia Research سيتم تقديمها في مؤتمر الرؤية الحاسوبية والتعرف على الأنماط (CVPR) ، الذي سيعقد في الفترة من 18 يونيو إلى 22 يونيو في فانكوفر. تغطي الأوراق موضوعات تشمل تقدير الوضع وإعادة البناء ثلاثي الأبعاد وتوليد الفيديو.

أحد هذه المشاريع ، DiffCollage ، هو طريقة نشر تنشئ محتوى واسع النطاق – بما في ذلك الاتجاه الأفقي الطويل ، والبانوراما بزاوية 360 درجة والصور ذات الحركة الحلقية. عند تغذية مجموعة بيانات تدريبية من الصور بنسبة عرض إلى ارتفاع قياسية ، يتعامل DiffCollage مع هذه الصور الأصغر على أنها مقاطع مرئية أكبر مثل قطع مجمعة. يتيح ذلك لنماذج الانتشار إنشاء محتوى كبير متماسك المظهر دون التدريب على صور من نفس الحجم.