عدم کارایی سیستم‌های فعلی برای جلوگیری از نفرت‌پراکنی اینترنتی

تعریف نفرت پراکنی قانونی (Hate speech) یکی از موضوعات داغ مورد بحث در سال ۲۰۱۸ است. یکی از دلایلی که به شدت در مورد آن بحث می‌شود دامنه‌ی تعریف آن است. اگر انسان‌ها تعریف نفرت پراکنی را دشوار می‌دانند، با توجه به یک بررسی جدید از هفت سیستم مختلف کامپیوتری که برای شناسایی چنین عمل آنلاینی فعال بوده، برای ماشین‌ها تعیین دامنه‌ی این تعریف حتی کار سخت‌تری است . این تحقیق همچنین در مورد چگونگی گمراه شدن این سیستم‌ها مطالبی را ارائه نموده است.

محققان دانشگاه آلتوی فنلاند، سیستم‌های مختلف ضدنفرت پراکنی ، از جمله ابزارهای ساخته شده توسط تیم مبارزه با سوء استفاده گوگل را مورد بررسی قرار دادند. یافته‌های آنها؟ نه تنها سیستم‌های مورد استفاده برای نشانه گذاری محتوای توهین آمیز آنلاین بر یک تعریف جامع برای نفرت پراکنی توافق ندارند، بلکه می‌توانند به راحتی با یک اشتباه تایپی در کلمات گمراه شوند.

Grondahl Tommi، یکی از محققان پروژه، به Digital Trends گفت:

محققان و شرکت‌ها، تجزیه و تحلیل متنوع متن و روش‌های یادگیری ماشین را برای تشخیص گفتار نفرت انگیز به صورت خودکار پیشنهاد کرده‌اند. با هدف تعمیم دادن فراتر از نمونه‌های آموزشی، این سیستم‌ها با نمونه‌هایی از متن‌های نفرت‌انگیز و غیر نفرت‌انگیز آموزش داده می‌شوند. ما یک سیستم آموزش داده شده با یک مجموعه داده را به مجموعه داده‌های دیگر تعمیم دادیم. ما متوجه شدیم که هیچ کدام از آنها در سایر مجموعه داده‌ها کارکرد خوبی ندارند. این نشان می‌دهد که آنچه «نفرت پراکنی» نامیده می‌شود، بین مجموعه داده‌های موجود بسیار متفاوت است و نمی‌تواند به عنوان یک ویژگی قابل تعریف شناخته شود. با توجه به این، ما نباید از هوش مصنوعی انتظار داشته باشیم به جای انسان و به طور کامل در این وظیفه جایگزین شود، همانطور که کار انسانی همچنان مورد نیاز است تا تصمیمات نهایی را درمورد تعیین نفرت پراکنی قانونی بگیرد.

محققان نشان دادند که چگونه همه‌ی‌ هفت سیستم را می‌توان به راحتی با حملات ساده‌ی جایگزینی اتوماتیک متن گمراه کرد – مانند ایجاد تغییرات کوچک در کلمات، اضافه یا حذف فاصله‌ها و یا اضافه کردن کلمات غیر مرتبط. به عنوان مثال، اضافه کردن کلمه “عشق” به یک پیام نفرت پراکنی سیستم‌های تشخیص را دچار اشتباه می‌کند. این ترفندها قادر بودند هم سیستم فیلتر کلمات کلیدی ساده و هم هوش مصنوعی پیچیده‌تر براساس سیستم‌های مبتنی بر معماری شبکه آموزش عصبی عمیق را فریب دهند

ناکارآمدی ابزارهای نشانه گذاری فعلی برای مقابله با نفرت پراکنی اینترنتی، شوک بزرگ به حساب نمی‌آید. در حالی که ما برخی از پروژه‌های نوآورانه و پیشرفته در این حوزه را تحت پوشش قرار داده‌ایم، تحقیقاتی مانند این نشان می‌دهد که چقدر به کار بیشتر نیاز است و پروژه‌هایی مانند این باعث خواهد شد محققان دو برابر بیشتر بر روی این چالش کار کنند و هرگز تسلیم نشوند.