در حالی که بسیاری از فعالان حوزه فناوری با اشتیاق به استقبال دستیارهای هوش مصنوعی برای کدنویسی رفته‌اند، تحقیقی جدید چهره‌ای متفاوت و غافلگیرکننده از این ابزارها به نمایش گذاشته است. برخلاف تصور عمومی، این فناوری‌های نوظهور نه‌تنها شتاب‌دهنده روند توسعه نرم‌افزار نیستند، بلکه می‌توانند مانعی در برابر بهره‌وری باشند.
مطالعه‌ای از سازمان غیرانتفاعی METR نشان داد توسعه‌دهندگان حرفه‌ای هنگام استفاده از ابزارهای کدنویسی هوشمند، به‌طور متوسط ۱۹ درصد کندتر عمل کردند. در حالی که اکثر شرکت‌کنندگان انتظار بهبود سرعت داشتند، واقعیت از کاهشی محسوس در بهره‌وری حکایت داشت؛ وضعیتی که سوالات مهمی را درباره جایگاه فعلی این ابزارها در تیم‌های حرفه‌ای ایجاد می‌کند.
استفاده از هوش مصنوعی؛ انتظار شیرین، واقعیت تلخ
مطالعه METR با شرکت ۱۶ برنامه‌نویس متن‌باز و باتجربه انجام شد. شرکت‌کنندگان باید در پروژه‌هایی بزرگ و آشنا، مجموعه‌ای از ۲۴۶ تسک واقعی شامل توسعه ویژگی و رفع باگ را انجام می‌دادند. برخی به ابزارهای هوش مصنوعی مانند Cursor Pro و مدل‌های Claude 3.5/3.7 دسترسی داشتند و برخی بدون کمک آنها فعالیت کردند.
جالب آنکه قبل از شروع آزمایش، توسعه‌دهندگان تصور می‌کردند هوش مصنوعی سرعت کارشان را تا ۲۴ درصد افزایش می‌دهد. اما در عمل، زمان انجام کارها در حالت استفاده از AI، به‌طور متوسط ۱۹ درصد بیشتر شد.
تناقض در برداشت و عملکرد واقعی هوش مصنوعی
حتی پس از مشاهده نتایج، اکثر شرکت‌کنندگان همچنان معتقد بودند بهره‌وری‌شان با هوش مصنوعی افزایش یافته است. این شکاف بین برداشت ذهنی و واقعیت آماری، نشان‌دهنده نوعی «اعتماد روانی» به فناوری است؛ پدیده‌ای که در محیط‌های فنی ممکن است منجر به تصمیم‌گیری‌های نادرست شود.
این یافته‌ها همچنین نشان داد که توسعه‌دهندگان فقط کمتر از ۴۴ درصد از کد تولیدشده توسط هوش مصنوعی را پذیرفتند. زمان صرف‌شده برای بررسی، اصلاح و اعتبارسنجی پیشنهادات، یکی از عوامل کلیدی کاهش سرعت بود.
دلایل اصلی کندی در پروژه‌های بزرگ
پژوهش METR پنج دلیل کلیدی برای کندی توسعه‌دهندگان در زمان استفاده از ابزارهای هوش مصنوعی شناسایی کرد:
-
خوش‌بینی بیش‌ازحد: انتظار توسعه‌دهندگان از توانایی‌های هوش مصنوعی فراتر از واقعیت است.
-
آشنایی بالا با کد: توسعه‌دهندگان باتجربه معمولاً به درک عمیقی از کدهای پروژه خود رسیده‌اند که باعث می‌شود پیشنهادات AI مزیت چشمگیری نداشته باشد.
-
پیچیدگی پروژه: ابزارهای هوش مصنوعی در درک ساختار و روابط پنهان در پروژه‌های با بیش از یک میلیون خط کد دچار مشکل می‌شوند.
-
عدم اعتماد: عدم اطمینان به کیفیت کد تولیدشده موجب افزایش زمان بازبینی می‌شود.
-
فقدان درک زمینه: AI هنوز در درک دقیق زمینه و روابط میان بخش‌های مختلف کد ضعف دارد.
هوش مصنوعی ابزار مفید برای تازه‌کارها، نه حرفه‌ای‌ها
این پژوهش تأکید می‌کند که یافته‌ها نباید برای همه توسعه‌دهندگان تعمیم داده شود. در واقع، دستیارهای هوشمند می‌توانند در پروژه‌های ساده‌تر یا برای برنامه‌نویسان کم‌تجربه، همچنان ابزاری بسیار کارآمد و ارزشمند باشند.
همچنین بسیاری از شرکت‌کنندگان اذعان داشتند که استفاده از هوش مصنوعی می‌تواند بار ذهنی کارهای تکراری و خسته‌کننده را کاهش دهد و احساس بهتری نسبت به فرایند کدنویسی ایجاد کند؛ حتی اگر بهره‌وری کلی افزایش نیابد.
این تحقیق در نقطه‌ای حیاتی از مسیر تکامل هوش مصنوعی در توسعه نرم‌افزار قرار گرفته است. نتایج آن، زنگ خطری برای تفکر بیش‌ازحد خوش‌بینانه به این ابزارها محسوب می‌شود. استفاده مؤثر از AI نیازمند آموزش دقیق، درک عمیق از توانایی‌ها و محدودیت‌های آن و مهم‌تر از همه، تشخیص شرایط مناسب برای بهره‌گیری از آن است.
به نظر می‌رسد هوش مصنوعی هنوز فاصله زیادی تا جایگزینی عملکرد انسانی در پروژه‌های بزرگ و پیچیده دارد. با این حال، می‌توان پیش‌بینی کرد که در نسخه‌های آینده، با بهبود درک زمینه و پیشنهادات هدفمندتر، نقش این ابزارها در کنار توسعه‌دهندگان حرفه‌ای به‌تدریج مؤثرتر خواهد شد.
جمع‌بندی
مطالعه METR تصویر تازه‌ای از نقش فعلی هوش مصنوعی در کدنویسی حرفه‌ای ارائه می‌دهد: ابزاری که برخلاف انتظار، در پروژه‌های پیچیده باعث کاهش سرعت توسعه می‌شود. اگرچه این یافته‌ها نگران‌کننده‌اند، اما به معنای نفی کامل این فناوری نیستند. در شرایط مناسب و برای کاربران مناسب، هوش مصنوعی هنوز هم می‌تواند به عنوان یک نیروی کمکی قابل اتکا عمل کند. اکنون زمان آن است که با نگاهی دقیق‌تر، مرز میان «واقعیت» و «تبلیغات» را در مورد دستیارهای هوشمند کدنویسی بازتعریف کنیم.
