معرفی چت جی پی تی تمام فعالیت‌های مرتبط با «متن» را تحت تاثیر قرار داده است. در آخرین تاثیر، مقاله تولید شده با هوش مصنوعی توانسته از داوری همتای نشریات علمی گذر کند. آیا شما می‌توانید با چت جی پی تی مقاله تولید کنید و رتبه علمی خود را بالا ببرید؟
بحث درباره‌ی نقش هوش مصنوعی در فرآیند علمی روزبه‌روز داغ‌تر می‌شود. بسیاری از پژوهشگران معتقدند که هوش مصنوعی هنوز آماده‌ی ایفای نقش به‌عنوان «همکار علمی» نیست، در حالی که برخی دیگر پتانسیل آن را می‌پذیرند، اما تأکید می‌کنند که هنوز در مراحل ابتدایی این مسیر هستیم. شرکت ساکانا در گروه دوم قرار دارد.
مقاله تولید شده با هوش مصنوعی یا کمک گرفتن از هوش مصنوعی برای تولید مقاله؟
این شرکت اعلام کرده که از یک سیستم هوش مصنوعی به نام The AI Scientist-v2 برای تولید مقاله‌ای استفاده کرده که سپس به یکی از کارگاه‌های کنفرانس معتبر ICLR ارسال شده است. به گفته‌ی ساکانا، برگزارکنندگان این کارگاه و مدیران ICLR با این شرکت همکاری کرده‌اند تا آزمایشی را در زمینه‌ی بررسی مقالات تولیدشده توسط هوش مصنوعی به‌صورت بازبینی دوسوکور انجام دهند.
ساکانا همچنین اعلام کرده که با پژوهشگرانی از دانشگاه بریتیش کلمبیا و دانشگاه آکسفورد همکاری کرده و در مجموع سه مقاله تولید شده با هوش مصنوعی را برای بررسی داوران به این کارگاه ارسال کرده است. به ادعای این شرکت، سیستم The AI Scientist-v2 این مقالات را به‌طور کامل و از ابتدا تا انتها تولید کرده است، از جمله:
- ارائه‌ی فرضیه‌های علمی
- طراحی آزمایش‌ها و کدنویسی آن‌ها
- تحلیل داده‌ها و ایجاد نمودارهای بصری
- نگارش متن مقاله و حتی انتخاب عنوان آن
رابرت لانگ، یکی از پژوهشگران و اعضای بنیان‌گذار ساکانا، در گفت‌وگو با TechCrunch توضیح داده که ایده‌های پژوهشی را با ارائه‌ی چکیده و توضیحات کارگاه به هوش مصنوعی تولید کرده‌اند. به گفته‌ی او، این کار باعث شده مقالات تولیدشده مرتبط با موضوع کارگاه باشند و به‌عنوان مقالات قابل قبول ارسال شوند.
از میان سه مقاله‌ای که ارسال شده بود، یکی از آن‌ها موفق شد پذیرش کارگاه ICLR را دریافت کند. این مقاله روش‌های آموزش مدل‌های هوش مصنوعی را با نگاهی انتقادی بررسی می‌کرد. با این حال، ساکانا بلافاصله مقاله را پیش از انتشار از فرآیند کارگاه خارج کرد تا شفافیت را حفظ کرده و به اصول این کنفرانس احترام بگذارد.
لانگ همچنین اشاره کرده که مقاله‌ی پذیرفته‌شده یک روش جدید و امیدوارکننده برای آموزش شبکه‌های عصبی ارائه داده و در عین حال، چالش‌های تجربی باقی‌مانده را نیز نشان داده است. او این مقاله را به‌عنوان یک نقطه‌ی داده‌ی جالب برای تحقیقات علمی بیشتر توصیف کرده است.
>با این حال، این موفقیت به آن اندازه که در ابتدا به نظر می‌رسد چشمگیر نیست.
محدودیت‌های مقاله تولید شده با هوش مصنوعی
ساکانا در یک پست بلاگی اعتراف کرده که هوش مصنوعی این شرکت گاهی مرتکب اشتباهات فاحش در استنادها شده است. به عنوان مثال، در یکی از موارد، به اشتباه یک روش را به مقاله‌ای در سال ۲۰۱۶ نسبت داده بود، در حالی که منبع اصلی آن به سال ۱۹۹۷ برمی‌گشت.
مقاله تولید شده با هوش مصنوعی ساکانا تحت بررسی‌های دقیق‌تری که برخی دیگر از مقالات داوری‌شده تجربه می‌کنند، قرار نگرفت. از آنجا که این شرکت مقاله را پس از بررسی اولیه از روند کارگاه خارج کرد، این مقاله بررسی تکمیلی موسوم به «فراتحلیل» را دریافت نکرد. در این مرحله، برگزارکنندگان کارگاه می‌توانستند در صورت لزوم مقاله را رد کنند.
علاوه بر این، نرخ پذیرش مقالات در کارگاه‌های کنفرانس معمولاً بالاتر از نرخ پذیرش در بخش اصلی کنفرانس است. خود ساکانا نیز در پست وبلاگی‌اش به این موضوع اشاره کرده و تأیید کرده که هیچ‌یک از مقالات تولیدشده توسط هوش مصنوعی این شرکت، استانداردهای داخلی لازم برای انتشار در بخش اصلی کنفرانس ICLR را نداشته‌اند.
متیو گوزدیال، پژوهشگر هوش مصنوعی و استادیار دانشگاه آلبرتا، نتایج ساکانا را تا حدی گمراه‌کننده دانسته است. او توضیح داده که تیم ساکانا از بین چندین مقاله‌ی تولیدشده توسط هوش مصنوعی، گزینه‌هایی را انتخاب کرده‌اند که از نظر آن‌ها شانس پذیرش داشتند. به گفته‌ی او، این مسئله نشان می‌دهد که ترکیب انسان و هوش مصنوعی می‌تواند مؤثر باشد، اما نه اینکه هوش مصنوعی به‌تنهایی قادر به پیشبرد تحقیقات علمی باشد.
مایک کوک، پژوهشگر دانشگاه کینگز کالج لندن که در زمینه‌ی هوش مصنوعی فعالیت می‌کند، دقت و سخت‌گیری داوران و کارگاه را زیر سؤال برده است. او توضیح داده که کارگاه‌های جدید معمولاً توسط پژوهشگران کم‌تجربه‌تر بررسی می‌شوند. همچنین اشاره کرده که این کارگاه به نتایج منفی و چالش‌ها اختصاص داشته است. او این رویکرد را مثبت ارزیابی کرده و گفته که خودش هم پیش‌تر کارگاهی با همین موضوع برگزار کرده است، اما در عین حال تأکید کرده که نوشتن مقاله‌ای درباره‌ی یک شکست علمی برای هوش مصنوعی آسان‌تر از تولید یک مقاله‌ی موفقیت‌آمیز است.
مایک کوک همچنین تأکید کرده که تعجبی ندارد که یک مقاله تولید شده با هوش مصنوعی بتواند فرآیند داوری را پشت سر بگذارد، چرا که در تولید متن‌های مشابه با نوشته‌های انسانی مهارت بالایی دارد. او یادآوری کرده که پذیرش مقالاتی که تا حدی توسط هوش مصنوعی تولید شده‌اند، موضوع جدیدی نیست و این مسئله پیش از این هم در مجلات علمی دیده شده است. علاوه بر این، چالش‌های اخلاقی ناشی از این موضوع نیز از مدت‌ها پیش در فضای علمی مطرح بوده‌اند.
محدودیت‌های فنی هوش مصنوعی، مانند تمایل آن به «توهم‌زایی» (ارائه‌ی اطلاعات نادرست)، باعث شده بسیاری از دانشمندان نسبت به استفاده‌ی جدی از آن در تحقیقات علمی محتاط باشند. همچنین، برخی کارشناسان نگران هستند که هوش مصنوعی به جای پیشبرد علم، صرفاً حجم زیادی از محتوای بی‌کیفیت را به ادبیات علمی اضافه کند.
به گفته‌ی کوک، باید این پرسش را مطرح کرد که آیا نتیجه‌ی به‌دست‌آمده از آزمایش ساکانا نشان‌دهنده‌ی توانایی هوش مصنوعی در طراحی و اجرای آزمایش‌ها است، یا صرفاً نشان می‌دهد که این فناوری در متقاعد کردن انسان‌ها به پذیرش ایده‌ها مهارت دارد؟ او تأکید کرد که تفاوت زیادی بین پذیرفته‌شدن در داوری علمی و ارائه‌ی دانش جدید به یک حوزه‌ی علمی وجود دارد.
ساکانا نیز ادعایی مبنی بر اینکه هوش مصنوعی آن‌ها قادر به تولید تحقیقات علمی تحول‌آفرین یا حتی کاملاً جدید است، مطرح نکرده است. این شرکت توضیح داده که هدف از این آزمایش، بررسی کیفیت تحقیقات تولیدشده توسط هوش مصنوعی بوده و همچنین بر ضرورت تعیین معیارهای مشخص برای علم مبتنی بر هوش مصنوعی تأکید کرده است.
این شرکت در پست وبلاگی خود نوشته که پرسش‌های مهمی درباره‌ی نحوه‌ی ارزیابی علم تولیدشده توسط هوش مصنوعی وجود دارد. از جمله اینکه آیا باید این نوع تحقیقات را به‌طور مستقل و بدون پیش‌داوری بررسی کرد یا خیر؟ ساکانا اعلام کرده که قصد دارد همچنان به گفت‌وگو با جامعه‌ی پژوهشی ادامه دهد تا از این موضوع جلوگیری کند که هوش مصنوعی در آینده صرفاً برای عبور از مرحله‌ی داوری علمی طراحی شود و در نتیجه، معنای واقعی این فرآیند را از بین ببرد.
