راز کاهش ترافیک صاحبان وب سایت ها: کرالر واحد گوگل

نیل ووگل، مدیرعامل People, Inc.، در کنفرانس Fortune Brainstorm Tech اعلام کرد که گوگل با استفاده از یک کرالر واحد برای فهرست‌بندی و تغذیه محصولات AI خود «محتوای ناشران را می‌دزدد». او می‌گوید همین روش ترافیک قابل‌توجهی از سرچ را به سود گوگل تبدیل کرده و همزمان توان چانه‌زنی ناشران را کاهش داده است.

این خبر باعث شده تا ناشران راه‌های فنی و تجاری جدیدی مانند مسدودسازی ربات‌های AI را به‌کار گیرند و شرکت‌هایی مانند Cloudflare ابزارهایی برای این هدف ارائه دهند. در عین حال، اختلاف‌نظرها درباره راه‌حل‌های حقوقی و نیاز به قراردادهای پرداخت به‌وجود آمده است.

اتهام اصلی: یک کرالر برای همه

Neil Vogel می‌گوید گوگل از «یک کرالر» استفاده می‌کند که هم برای جستجو و هم برای تربیت مدل‌های AI داده جمع‌آوری می‌کند.
نتیجه: ناشران همزمان ترافیک سرچ را از دست می‌دهند و محتوای‌شان برای محصولات رقیب AI استفاده می‌شود.

کاهش محسوس ترافیک ناشران

طبق گفته‌های ووگل، سهم Google Search از ترافیک People, Inc. از حدود 65% به «high 20s» افت کرده است. این تغییر نشان می‌دهد که مدل‌های AI و تغییر در نحوه ارائه نتایج، به شکل ملموسی جریان بازدیدکننده از وب به سمت محصولات دیگر تغییر داده‌اند.

اقدام ناشران: بستن AI crawlers

بعضی ناشران تصمیم گرفته‌اند ربات‌های AI را مسدود کنند تا شرکت‌های مدل‌ساز را وادار به مذاکره برای دسترسی کنند.
People, Inc. از راه‌حل Cloudflare برای بلاک کردن ربات‌های بدون پرداخت استفاده می‌کند و اعلام کرده که این تاکتیک باعث شده «LLM providers» برای توافق تماس بگیرند.

نقش Cloudflare و راه‌حل فنی

Cloudflare ابزاری عرضه کرده که می‌تواند درخواست ربات‌ها را بررسی و ربات‌های AI غیرمجاز را مسدود کند. این ابزار باعث شده تا بازیگران بزرگ AI یا وارد مذاکره شوند یا برای دسترسی رسمی و پرداخت آماده شوند.

چالش حقوقی: آیا کپی‌رایت جواب می‌دهد؟

Matthew Prince از Cloudflare هشدار می‌دهد استفاده از مسیرهای صرفا حقوقی (کپی‌رایت) می‌تواند پیچیده و گمراه‌کننده باشد.
او اشاره می‌کند پرونده‌ها و سازوکارهای موجود ممکن است به شکل غیرمنتظره‌ای به نفع شرکت‌های AI شود، چون مدل‌ها اغلب «مشتق» تولید می‌کنند و تعیین مصداق خلاف‌قانونی سخت است.

پیامد برای گوگل: آیا فشار تغییر می‌آورد؟

منتقدان می‌گویند گوگل منفعتی در ادامه روش فعلی دارد چون با کرالر یکپارچه مزیت رقابتی کسب می‌کند. بعضی مدیران صنعت پیش‌بینی می‌کنند در کوتاه‌مدت فشار تجاری یا تنظیم‌گری ممکن است گوگل را به پرداخت یا تفکیک کرالرها وادارد.

ویژگی‌ها و وضعیت فعلی ناشران با کرالر واحد گوگل

وضعیت فعلی نشان می‌دهد که یک «تعامل جدید» میان ناشران و سازندگان مدل‌های زبان بزرگ در حال شکل‌گیری است. ناشران اکنون ابزار فنی (مثل Cloudflare) و انگیزه اقتصادی برای مذاکره دارند، اما اکوسیستم حقوقی و تجاری هنوز ناپایدار است. منطقی است که در 1 سال آینده شاهد موارد زیر باشیم:

• افزایش قراردادهای محتوایی بین ناشران و ارائه‌دهندگان AI که شامل پرداخت و محدودیت‌های دسترسی می‌شود.
• فشار تنظیم‌گری در حوزه‌های مختلف که الزام به شفافیت در نحوه جمع‌آوری داده‌ها و پرداخت به خالقان محتوا را افزایش می‌دهد.
• راهکارهای فنی استانداردسازی‌شده مانند برچسب‌گذاری ربات‌ها (robot tags برای AI) یا APIهای رسمیِ دسترسی به محتوا که جریان داده را منظم‌تر می‌کند.
• تقسیم احتمالی کرالرها توسط گوگل یا مدل‌های ترکیبی که به ناشران اجازه می‌دهد بین فهرست‌شدن در Search و دسترسی AI تفاوت قائل شوند.
  در کوتاه‌مدت، ناشران با ابزارهای فنی می‌توانند چانه‌زنی را تقویت کنند، اما نتیجه قطعی بستگی به تعادل نیروی بازار و فشار قوانین دارد.

پیشنهاد ویرایشگر نت باز 360: خبر ترسناک برای صاحبان سایت‌های خبری و مجله اینترنتی

جمع‌بندی

اتهام ناشران به گوگل حول محور استفاده از یک کرالر برای مقاصد هم‌زمان Search و AI می‌چرخد؛ این روش ترافیک ناشران را کاهش داده و انگیزه‌ای برای مسدودسازی ربات‌های AI و درخواست قراردادهای محتوایی ایجاد کرده است. با ورود ابزارهای فنی مانند راه‌حل Cloudflare و فشارهای تجاری و احتمالی قانونی، چشم‌انداز گفت‌وگو و توافق میان ناشران و سازندگان مدل‌های AI در 1 سال آینده روشن‌تر خواهد شد.

FAQ (پرسش و پاسخ)

چرا ناشران از کرالر گوگل شاکی‌اند؟
چون به گفته مدیران، گوگل یک کرالر واحد برای فهرست‌شدن در Search و برای جمع‌آوری داده‌های AI استفاده می‌کند که باعث کاهش ترافیک مستقیم و استفاده از محتوای آنها در محصولات AI می‌شود.

مسدود کردن ربات‌های AI چه فایده‌ای دارد؟
مسدودسازی می‌تواند فشار تجاری ایجاد کند تا ارائه‌دهندگان AI وارد مذاکره و توافق‌های پرداخت یا مجوز شوند؛ اما اجرای آن برای کرالر گوگل پیچیده است چون ممکن است مانع ایندکس شدن در Search شود.

آیا راه‌حل حقوقی موثر است؟
مسیر حقوقی پیچیده و نامطمئن است؛ برخی متخصصان معتقدند کپی‌رایت سنتی ممکن است پاسخ‌گوی وضعیت ایجادشده توسط AI نباشد و نتیجه‌گیری قضایی می‌تواند غیرمنتظر باشد.

Cloudflare چه نقشی دارد؟
Cloudflare ابزاری عرضه کرده که ربات‌های AI غیرمجاز را بلاک می‌کند و به ناشران ابزار فنی برای حفظ کنترل روی محتوای‌شان می‌دهد.

ناشران چه انتظاری باید داشته باشند؟
انتظار می‌رود ترکیبی از توافق‌های تجاری، راهکارهای فنی استاندارد و فشارهای تنظیم‌گری شکل بگیرد که تعادل قدرت را بین ناشران و شرکت‌های AI تغییر دهد.