تست ارزیابی فهم زبان عمومی (GLUE) جهت آموزش، ارزیابی و تحلیل سیستمهای فهم زبان طبیعی مورداستفاده قرار میگیرد. شرکتهایی که مشغول توسعه مدلهای پردازش زبان طبیعی هستند، با استفاده از این تست میتوانند مدلهای خود را ارزیابی کنند. تابهحال، مدل MT-DNN-SMART شرکت مایکروسافت در صدر لیست GLUE قرار داشته و جایگاه دوم نیز متعلق به T3 شرکت گوگل بوده است. حال، شرکت چینی بایدو (Baidu) توانسته که با مدل ERNIE (ارائه پیشرفته بهواسطه دانش) و ثبت امتیاز ۹۰٫۱، هر دو شرکت مایکروسافت و گوگل را پشت سر بگذارد. تیم تحقیق بایدو نوشت:
درحالیکه یادگیری یک زبان همچنان به عنوان یک مشکل باقی مانده، امتیازات ما در تست GLUE نشان میدهند که مدلهای از پیش تعلیم داده شده، به همراه یادگیری مستمر و یادگیری چند کاره، نویدبخش تحقیقات جدیدی در زمینه پردازش زبان طبیعی خواهند بود. ما همچنان با استفاده از چارچوب پیشآموزی مداوم، به بهبود عملکرد مدل ERNIE ادامه خواهیم داد.
بایدو اکنون مشغول استفاده از مدل ERNIE در اپلیکیشنهای واقعی است. برای نمونه: این شرکت در حال حاضر از مدل ERNIE در قابلیت پرسش و پاسخ موتور جستوجوی خود استفاده کرده و این امر موجب افزایش ۱۶ درصدی رضایت کاربران در زمینه نتایج جستوجو شده است.
نظرات