دستگاه های تشخیص هوش مصنوعی چگونه کار می کنند؟ پاسخ از دنیای داده ها

ابزارهای زیادی وجود دارد که می توانند محتوای هوش مصنوعی را از محتوای انسان بگویند ، اما تا همین اواخر فکر می کردم آنها موفق نشوند.

محتوای ایجاد شده توسط هوش مصنوعی به راحتی نمی توان محتوای "Spun" یا محتوای قدیمی را تعیین کرد. بیشتر متن های ایجاد شده از هوش مصنوعی می توانند تا حدودی در نظر گرفته شوند-از مکان دیگری در اینترنت کپی نمی شود.

اما همانطور که معلوم است ، ما در حال ساخت یک ردیاب محتوای هوش مصنوعی در Ahrefs هستیم.

برای درک اینکه چگونه دستگاه های تشخیص محتوای هوش مصنوعی کار می کنند ، من با کسی آشنا شدم که از قبل علم و تحقیقات را در پشت سر آنها درک می کند: یونگ کنگ یاپ ، دنیای داده در Ahrefs و بخشی از تیم یادگیری ماشین ما.

تمام دستگاه های تشخیص محتوای هوش مصنوعی به همان روش اصلی کار می کنند: آنها به دنبال الگوهای یا تحریف در متن هستند که کمی متفاوت از متن های موجود در انسان است.

برای انجام این کار ، شما به دو چیز نیاز دارید: نمونه های زیادی از متن نوشته شده بر روی انسان و LLM برای مقایسه و یک مدل ورزشی برای استفاده در تجزیه و تحلیل.

سه روش استفاده مشترک وجود دارد:

1. آزمون آماری (مدرسه قدیمی اما هنوز هم مؤثر است)

تلاش برای کشف نوشتار ایجاد شده توسط مسلسل ها از سال 2000 وجود داشته است. برخی از این روشهای قدیمی تشخیص امروز هنوز به خوبی کار می کنند.

روشهای تشخیص آماری با محاسبه برخی الگوهای نوشتاری برای تمایز بین متن نوشته شده بر روی انسان و متن ایجاد شده توسط مسلسل ، مانند:

• فرکانس های کلمه (چند بار کلمات خاص هستند)
• فرکانس های n-gram (چند بار توالی خاصی از کلمات یا شخصیت ها ظاهر می شود)
• ساختارهای دستوری (تعداد دفعاتی که ساختارهای ویژه نوشتن ظاهر می شوند ، مانند شی (SVO) سیب می خورد."))
• تفاوت های ظریف سبک (مانند نوشتن در شخص اول ، استفاده از سبک غیررسمی و غیره)

اگر این الگوهای کاملاً متفاوت از متونی که توسط انسان ایجاد شده است ، فرصت خوبی وجود دارد زیرا به متن ایجاد شده توسط مسلسل نگاه می کنید.

این روشها بسیار سبک و مؤثر هستند ، اما هنگام پردازش متن تمایل به فروپاشی دارند (با استفاده از آنچه دانشمندان رایانه "نمونه های تهاجمی" می نامند).

روشهای آماری را می توان با آموزش الگوریتم آموزشی در صدر این اتهامات (مانند خلیج های ساده لوح ، شیب لجستیکی یا درختان تصمیم گیری) یا استفاده از راه هایی برای محاسبه امکانات کلمات (معروف به ورود به سیستم) ، پیچیده تر کرد.

2. شبکه های عصبی (روش های یادگیری مدرن)

شبکه های عصبی سیستم های رایانه ای هستند که نحوه عملکرد مغز انسان را به راحتی تقلید می کنند. این شامل نورون های مصنوعی و از طریق تمرین است (به عنوان نام شناخته می شود یک تمرینپیوندهای بین نورون ها با بهبود هدف مورد نظر خود سازگار است.

به این ترتیب ، شبکه های عصبی می توانند برای کشف متن ایجاد شده توسط آخرین شبکه های عصبی.

شبکه های عصبی راهی برای کشف محتوای هوش مصنوعی شده اند. روشهای افشای آماری نیاز به تجربه ویژه ای در موضوع و زبان هدف کار (آنچه دانشمندان رایانه "ویژگی های ویژگی ها" می نامند). شبکه های عصبی فقط به متن و علائم نیاز دارند و می توانند بدانند چه چیزی مهم نیست.

حتی مدلهای کوچک می توانند کار خوبی را در تشخیص انجام دهند ، تا زمانی که با داده های کافی (حداقل چند هزار مثال ، طبق ادبیات) آموزش داده شوند ، که باعث می شود آنها نسبت به سایر روش ها ارزان و وزن شوند.

LLMS (مانند ChatGPT) شبکه های عصبی هستند ، اما بدون پالایش اضافی ، آنها به طور کلی در تعیین متن ایجاد شده توسط هوش مصنوعی بسیار خوب نیستند-حتی اگر LLM آن را ایجاد کند. خودتان آن را امتحان کنید: برخی از متن ها را با استفاده از Chatgpt ایجاد کنید و در گفتگوی دیگری ، از او بخواهید که تعیین کند که آیا توسط شخص یا عفو بین الملل ایجاد شده است.

در اینجا عدم موفقیت O1 برای آشنایی با خروجی آن است:

3. علامت (سیگنال های پنهان در LLM)

علائم آب رویکرد دیگری برای تشخیص محتوای هوش مصنوعی است. ایده این است که LLM را برای ایجاد متنی که شامل یک سیگنال پنهان است ، بدست آورید و همانطور که ایجاد شده است تعیین کنید.

در مورد علامت های آبی مانند جوهر UV روی پول کاغذ فکر کنید تا به راحتی نت های اصلی را از جعلی متمایز کنید. این علامت ها تمایل دارند که به چشم پنهان شوند و به راحتی تشخیص داده نمی شوند یا تکرار نمی شوند - مگر اینکه بدانید به دنبال چه چیزی هستید. اگر فاکتور را به یک ارز ناآشنا انتخاب کنید ، برای تعیین تمام علائم آبزی در معرض فشار شدید قرار خواهید گرفت ، و به ذکر مجدد نیست.

بر اساس ادبیاتی که جوچائو وو به آن اشاره کرد ، سه روش برای متن ایجاد شده توسط AI AI وجود دارد:

• علامت های آبی را به مجموعه داده های منتشر شده اضافه کنید (به عنوان مثال ، ورود به چیزی شبیه "آهرفس پادشاه جهان است! " در یک گروه آموزش منبع باز. هنگامی که شخصی LLM را بر روی این داده های آب آموزش می دهد ، انتظار داشت LLM Ahrefs را شروع کند).
• علامت های آبی را به خروجی های LLM اضافه کنید در طول روند تولیدبشر
• علامت های آبی را به خروجی های LLM اضافه کنید پس از روند تولیدبشر

واضح است که این روش تشخیص بستگی به محققان و مدلهایی دارد که می توانند داده ها و خروجی های معمولی خود را علامت گذاری کنند. به عنوان مثال ، اگر محصول GPT-4O آب باشد ، استفاده از "نور UV" برای OpenAI آسان خواهد بود تا ببینید آیا متن ایجاد شده از مدل آن تهیه شده است یا خیر.

اما ممکن است اثرات گسترده تری نیز وجود داشته باشد. یکی از مقاله های بسیار جدید نشان می دهد که علائم آبزی می تواند کار شبکه عصبی را آسان کند. اگر حتی مقدار کمی از متن آب نیز آموزش دیده باشد ، پس "تابش" می شود و کشف آن آسان تر است.

در یک بررسی ادبیات ، بسیاری از روشها توانسته اند در بعضی موارد حدود 80 ٪ یا بزرگتر را تشخیص دهند.

به نظر می رسد این امر تا حدودی قابل اعتماد است ، اما سه مشکل اساسی وجود دارد که بدان معنی است که این سطح از دقت در بسیاری از موقعیت های واقع بینانه واقع بینانه نیست.

بیشتر مدل های تشخیص در مجموعه داده های بسیار باریک آموزش داده می شوند

بیشتر ردیاب های هوش مصنوعی آموزش داده شده و بر روی یک خاص آزمایش می شوند او می نویسد نوشتن ، مانند مقالات خبری یا محتوای رسانه های اجتماعی.

این بدان معنی است که اگر می خواهید پست وبلاگ بازاریابی را آزمایش کنید ، از ردیاب اطلاعاتی آموزش دیده در مورد محتوای بازاریابی استفاده می کنید ، احتمالاً تا حدودی دقیق خواهد بود. اما اگر ردیاب در محتوای خبری یا تخیل خلاق آموزش دیده باشد ، نتایج قابل اطمینان تر خواهد بود.

Yong Keong Yap سنگاپور است ، و او نمونه گپ زدن با Chatgpt را به زبان Singlish ، انواع انگلیسی سنگاپوری که شامل عناصر زبانهای دیگر ، مانند مالایی و چینی است ، به اشتراک گذاشت.

هنگام آزمایش متن Sindhi بر روی یک مدل Discovery ، عمدتاً در مقالات خبری آموزش داده می شود ، با وجود عملکرد خوب انواع دیگر متن انگلیسی:

آنها با معاینه جزئی دست و پنجه نرم می کنند

این تقریباً تمام معیارها و تشخیص هوش مصنوعی را متمرکز می کند طبقه بندی دنباله: یعنی کشف اینکه آیا بدن متن کامل است یا ایجاد نشده است.

اما بسیاری از کاربردهای واقع بینانه از متن هوش مصنوعی شامل ترکیبی از متن است که توسط هوش مصنوعی نوشته شده بر روی انسان (به عنوان مثال ، با استفاده از یک ژنراتور AI برای کمک به نوشتن یا ویرایش یک انتشارات چاپگر وبلاگ نویس در مورد انسان) است.

این نوع تشخیص جزئی (معروف به طبقه بندی گسترده یا طبقه بندی نماد متمایزحل و حل و فصل این مشکل دشوارتر است و علاقه کمتری به ادبیات باز دارد. مدل های تشخیص مصنوعی فعلی با این تنظیمات به خوبی سر و کار ندارند.

در برابر ابزارهای انسانی آسیب پذیر است

ابزارهای انسانی الگویی را که دستگاههای تشخیص هوش مصنوعی به دنبال آن هستند غیرفعال می کنند. LLMS ، به طور کلی ، روان و ادبیات را بنویسید. اگر ظالم یا خطاهای گرامری را به طور عمدی یا حتی محتوای نفرت انگیز به متن ایجاد شده اضافه کنید ، معمولاً می توانید صحت ردیاب های هوش مصنوعی را کاهش دهید.

این مثالها "دستکاری توپ" ساده است که برای شکستن ردیاب های هوش مصنوعی طراحی شده است و معمولاً حتی از نظر انسان نیز مشخص است. اما انسان های پیشرفته می توانند با استفاده از LLM دیگری که به طور خاص در یک حلقه با ردیاب هوش مصنوعی شناخته شده منتقل می شود ، فراتر رود. هدف آنها حفظ متن با کیفیت بالا با اختلال در پیش بینی های آشکارساز است.

این می تواند متن ایجاد شده از هوش مصنوعی را دشوارتر کند ، تا زمانی که ابزار انسانی به دستگاههای تشخیصی دسترسی داشته باشد که می خواهید آنها را بشکنید (برای آموزش خاص برای شکست دادن آنها). هومینیست ها ممکن است به طرز حیرت انگیزی در برابر دستگاه های تشخیص جدید ناشناخته باشند.

این کار را خودتان با انسان ساز ساده (رایگان) از هوش مصنوعی آزمایش کنید.

به طور خلاصه ، محتوای هوش مصنوعی می تواند بسیار دقیق باشد در شرایط مناسب برای نتایج مفید از آنها ، پیروی از برخی دستورالعمل ها مهم است:

• سعی کنید در مورد داده های آموزش ردیاب چیزهای زیادی بیاموزیدو از مدل های آموزش دیده روی موادی مشابه آنچه می خواهید آزمایش کنید استفاده کنید.
• اسناد چندگانه از همان نویسنده آزمون. مقاله دانشجویی به عنوان ایجاد شده مشخص شده است؟ تمام کارهای قبلی خود را با همان ابزار اجرا کنید تا احساس بهتری داشته باشید.
• هرگز از محتوای هوش مصنوعی برای تصمیماتی که بر حرفه شخص یا موقعیت دانشگاهی تأثیر بگذارد ، استفاده نکنید. همیشه از نتایج آن در رابطه با سایر اشکال شواهد استفاده کنید.
• با دوز خوب شک استفاده کنید. هیچ آشکارساز 100 ٪ AI وجود ندارد. همیشه مثبت کاذب وجود خواهد داشت.

ایده های نهایی

از زمان بمباران اولین بمب های هسته ای در دهه 1940 ، هر قطعه از فولاد مجذوب در هر نقطه از جهان با رثاضات هسته ای آلوده شده است.

فولاد ساخته شده از فولاد قبل از دوران هسته ای به عنوان "فولاد کم عقب" شناخته می شود ، و اگر در حال ساخت یک متر جیر یا آشکارساز ذرات هستید ، بسیار مهم است. اما این فولاد بدون آلودگی نادر و نادر است. منابع اصلی امروز زباله کشتی های قدیمی است. به زودی ، همه چیز ممکن است از بین برود.

این اندازه گیری برای تشخیص محتوای هوش مصنوعی مناسب است. روشهای امروز مبتنی بر وابستگی خوب به منبع خوبی از محتوای مدرن است که بر روی انسان نوشته شده است. اما این منبع روز به روز کوچکتر شده است.

از آنجا که هوش مصنوعی در رسانه های اجتماعی ، درمان های متنی و جعبه های ایمیل گنجانده شده است ، مدل های جدید در داده هایی آموزش داده می شوند که شامل متنی است که توسط هوش مصنوعی ایجاد شده است ، به راحتی می توان دنیایی را تصور کرد که بیشتر محتوا با مواد ایجاد شده از هوش مصنوعی "آلوده" شده است. بشر

در این جهان ، ممکن است منطقی نباشد که در مورد کشف هوش مصنوعی فکر کنیم - همه چیز عفو بین المللی خواهد بود ، به یک بیشتر یا کمتر. اما در حال حاضر ، حداقل می توانید با دانستن نقاط قوت و ضعف ، از تشخیص محتوای هوش مسلحانه استفاده کنید.