کدام ابزارهای تشخیص محتوای هوش مصنوعی دقیق‌تر هستند؟
با گسترش استفاده از هوش مصنوعی در تولید محتوا، شناسایی محتوای تولیدشده توسط AI به دغدغه‌ای جدی برای ناشران، معلمان و سازمان‌ها تبدیل شده است. مقاله‌ای تازه با نگاهی دقیق به عملکرد ۱۰ ابزار تشخیص محتوای AI نشان می‌دهد که برخی از آن‌ها عملکردی دقیق و برخی دیگر نتایجی نامطمئن ارائه می‌دهند.
به گزارش «نبض فناوری»، به نقل از ایتنا، از ژانویه ۲۰۲۳ تاکنون، پژوهشگر وبسایت zdnet به‌صورت مستمر در حال ارزیابی ابزارهای تشخیص محتوای تولیدشده توسط هوش مصنوعی بوده است. در نخستین دوره‌ی آزمایش‌ها تنها یکی از ابزارها توانست با دقت ۶۶ درصد محتوای AI را شناسایی کند، اما در آزمایش اخیر (فوریه ۲۰۲۵) از میان ۱۰ ابزار مورد بررسی، ۵ ابزار عملکرد صددرصدی داشتند.
دیوید گویرتز برای انجام این آزمایش از پنج نمونه متن استفاده کرده که دو مورد توسط خودش و سه مورد توسط ChatGPT نوشته شده‌اند. سپس این متون به‌طور جداگانه به ابزارهای مختلف داده شده و نتایج ثبت شده‌اند. معیار ارزیابی این‌گونه است: اگر ابزار درصد اطمینان بالای ۷۰ درصد نسبت به محتوای انسانی یا AI نشان دهد، آن نتیجه معتبر محسوب می‌شود.
در این آزمون، ابزارهایی مانند Monica، Originality.ai، QuillBot، Undetectable.ai، و ZeroGPT توانستند با دقت کامل هر پنج متن را درست شناسایی کنند. این عملکرد نسبت به سال گذشته پیشرفت چشمگیری داشته است.
اما در سوی دیگر، ابزارهایی مانند BrandWell، Grammarly و Writer.com تنها در ۴۰ درصد موارد درست عمل کردند. برخی مانند GPTZero و Copyleaks در ۸۰ درصد موارد موفق بودند، اما حتی همین ابزارها نیز گاه محتوای انسانی را به اشتباه «تولیدشده توسط AI» تشخیص دادند. به‌ویژه برای نویسندگان غیر بومی زبان انگلیسی، احتمال خطای تشخیص بالاتر است.
دیوید گویرتز برای انجام این آزمایش از پنج نمونه متن استفاده کرده که دو مورد توسط خودش و سه مورد توسط ChatGPT نوشته شده‌اند. سپس این متون به‌طور جداگانه به ابزارهای مختلف داده شده و نتایج ثبت شده‌اند. معیار ارزیابی این‌گونه است: اگر ابزار درصد اطمینان بالای ۷۰ درصد نسبت به محتوای انسانی یا AI نشان دهد، آن نتیجه معتبر محسوب می‌شود.
در این آزمون، ابزارهایی مانند Monica، Originality.ai، QuillBot، Undetectable.ai، و ZeroGPT توانستند با دقت کامل هر پنج متن را درست شناسایی کنند. این عملکرد نسبت به سال گذشته پیشرفت چشمگیری داشته است.
اما در سوی دیگر، ابزارهایی مانند BrandWell، Grammarly و Writer.com تنها در ۴۰ درصد موارد درست عمل کردند. برخی مانند GPTZero و Copyleaks در ۸۰ درصد موارد موفق بودند، اما حتی همین ابزارها نیز گاه محتوای انسانی را به اشتباه «تولیدشده توسط AI» تشخیص دادند. به‌ویژه برای نویسندگان غیر بومی زبان انگلیسی، احتمال خطای تشخیص بالاتر است.
این پژوهشگر هشدار می‌دهد که با وجود پیشرفت این ابزارها، هنوز هم نمی‌توان به‌طور کامل به آن‌ها اعتماد کرد، به‌ویژه زمانی که پای اعتبار علمی یا حقوقی محتوا در میان باشد. در یک نمونه، ابزار GPTZero از اعلام نتیجه قطعی خودداری کرد و ابزار Copyleaks نیز متنی کاملاً انسانی را به اشتباه تولیدشده توسط AI اعلام نمود.
برخی ابزارها مانند Monica عملکرد خوبی داشتند، اما خود این ابزار نیز به‌نوعی از نتایج سایر ابزارها مانند ZeroGPT و GPTZero بهره می‌برد. در واقع برخی از این سیستم‌ها به‌جای الگوریتم مستقل، نتایج مدل‌های دیگر را بازتولید یا ترکیب می‌کنند.
در نهایت، پژوهشگر به این نتیجه می‌رسد که اگرچه ابزارهای تشخیص محتوای AI در حال بهتر شدن هستند، ولی هنوز قابل اعتماد مطلق نیستند. به‌ویژه در محیط‌های آموزشی و حرفه‌ای، باید از این ابزارها به‌عنوان یک کمک استفاده شود، نه داور نهایی.
او همچنین خوانندگان را تشویق می‌کند تا تجربه‌های خود از این ابزارها را به اشتراک بگذارند، چون هنوز بهترین شیوه برای ارزیابی محتوا، نگاه دقیق انسانی و تحلیل محتوا در بستری اخلاقی و حرفه‌ای است.
