به نظر می‌رسد سال ۲۰۲۴ سال مهمی برای هوش مصنوعی مولد و مدل‌های زبانی بزرگ و رباتیک خواهد بود. کاربردهای مختلف این ابزارها شامل ابزارهای یادگیری و طراحی محصول می‌شود و هیجان زیادی در آن وجود دارد. محققان DeepMind Robotics گوگل یکی از گروه‌هایی است که به دنیال استفاده از روش‌های جدیدی در این زمینه هستند.
در واقع رباتها در طول زندگی خود به‌طور مکرر بر انجام یک کار منحصربه‌فرد تمرکز دارند. ربات‌های تک منظوره در این زمینه بسیار خوب عمل می‌کنند. البته این رباتها نیز با بروز تغییرات و خطاهای ناخواسته با مشکلاتی مواجه می‌شوند.
به تازگی اعلام شد که AutoRT قرار است برای کنترل مدل‌های بزرگ و دستیابی به اهداف مختلف طراحی شود. در یک مثال ارائه شده توسط تیم DeepMind، این سیستم با استفاده از یک مدل زبان بصری (VLM) برای آگاهی بهتر از موقعیت شروع به کار می‌کند. AutoRT می‌تواند تعداد زیادی از رباتها را مدیریت کند که به صورت پشت سر هم کار می‌کنند. این رباتها به دوربین مجهز هستند تا طرح محیط و شیء درون آن را به دست آورند.
یک مدل زبانی بزرگ وظایفی را پیشنهاد می‌دهد که می‌توانند توسط سخت‌افزار اجرا شوند. بسیاری از افراد LLM را کلیدی برای حل مشکلات رباتیک می‌دانند. این زبان به‌طور مؤثر دستورات زبان طبیعی را درک می‌کند و نیاز به مهارت‌های کد نویسی را کاهش می‌دهد.
این سیستم در طول هفت یا چند ماه گذشته به صورت کامل آزمایش شده است. AutoRT قادر است تا ۲۰ ربات و در مجموع ۵۲ دستگاه مختلف را هماهنگ کند. در مجموع، DeepMind حدود ۷۷۰۰۰ آزمایش شامل بیش از ۶۰۰۰ کار بررسی کرده است.
علاوه بر آن، RT-Trajectory فناوری جدیدی از این تیم است که از ورودی ویدیو برای یادگیری رباتیک استفاده می‌کند. گروه‌های زیادی در حال بررسی استفاده از ویدیوهای یوتیوب به عنوان روشی برای آموزش رباتها هستند. با این حال RT-Trajectory یک لایه جالب اضافه می‌کند و طرحی دوبعدی از این مسئله ارائه می‌دهد.
این تیم اعلام کرد: «این فناوری نکات بصری عملی و سطح پایین را در قالب تصاویر RGB به مدل ارائه می‌کند.»
طبق اعلام DeepMind، آموزش‌های جدید دو برابر آموزش RT-2 موفقیت‌آمیز بوده است. میزان موفقیت این آموزش ۶۳ درصد در مقابل ۲۹ درصد است.
این تیم بیان کرده:
RT-Trajectory از اطلاعات حرکت رباتیک که در همه مجموعه داده‌های ربات وجود دارد، استفاده می‌کند. این اطلاعات امروزه کمتر مورداستفاده قرار می‌گیرند. RT-Trajectory گام بزرگی در مسیر ساخت ربات‌های با دقت بالا است. این رباتها می‌توانند به مجموعه وسیعی از دانش دسترسی داشته باشند.
نظرات