Perplexity, internet altyapı sağlayıcısı Cloudflare‘ın raporuna göre, açıkça scraping yapılmaması gerektiğini belirten web sitelerinden içerik toplayarak tartışmalara neden oldu.
Cloudflare, Pazartesi günü yaptığı açıklamada, Perplexity’nin engellemeleri görmezden geldiğini ve gizli bir şekilde scraping işlemleri gerçekleştirdiğini öne sürdü. Araştırmacılar, Perplexity’nin web sayfalarını scrape ederken kimliğini gizleyerek, sitelerin tercihlerini aşmaya çalıştığını belirtti.
Yapay zeka ürünleri, internetten büyük miktarlarda veri toplayarak çalıştıkları için, birçok AI girişimi, izin almadan metin, görsel ve video toplayabiliyor. Son zamanlarda, web siteleri, hangi sayfaların indekslenip hangi sayfaların indekslenmeyeceğini belirten Robots.txt dosyasını kullanarak karşı koymaya çalıştılar. Ancak bu çabalar henüz istenen sonuçları vermedi.
Cloudflare’a göre, Perplexity bu engelleri aşmak için botlarının “user agent” ayarlarını değiştiriyor ve tanımlı ağ sistemlerini (ASN) değiştirerek kimliğini gizliyor.
Cloudflare, bu faaliyetlerin on binlerce alan adı ve günde milyonlarca talep üzerinde gözlemlendiğini belirtti ve bu crawler’ı makine öğrenimi ve ağ sinyalleri kombinasyonu ile tanımladıklarını açıkladı.
Perplexity’nin sözcüsü Jesse Dwyer, Cloudflare’ın blog gönderisini bir “satış sunumu” olarak nitelendirirken, gönderide yer alan ekran görüntülerinin “hiçbir içeriğe erişim sağlanmadığını” gösterdiğini iddia etti. Dwyer, Cloudflare’da belirtilen botun kendilerine ait olmadığını da ekledi.
Cloudflare, müşterilerinin Perplexity’nin sitelerini crawl etmesi ve scraping yapması ile ilgili şikayetlerinin ardından bu davranışı fark ettiklerini ve Perplexity’nin belirtilen engelleri aşmak için testler gerçekleştirdiklerini duyurdu.
Cloudflare, Perplexity’nin yalnızca kendi bildirdiği user-agent’ı değil, aynı zamanda Google Chrome’u taklit eden genel bir tarayıcı kullandığını da tespit etti.
Şirket, Perplexity’nin botlarını onaylı listelerinden çıkardıklarını ve bu botları engellemek için yeni teknikler eklediklerini belirtti.
Cloudflare, son zamanlarda AI botlarına karşı kamuoyuna açık bir duruş sergileyerek, web sitesi sahiplerinin AI scraping’leri için ücret talep edebilecekleri bir pazar yeri başlattı. Şirketin CEO’su Matthew Prince, AI teknolojisinin internet iş modelini tehdit ettiğini vurguladı.
Perplexity’nin daha önce de izinsiz scraping yapmakla suçlandığı biliniyor. Geçen yıl, çeşitli haber kaynakları, Perplexity’nin içeriklerini kopyaladıklarını iddia etti.
Perplexity’nin CEO’su Aravind Srinivas, bir röportajda şirketin intihal tanımını sağlayamadığı için eleştirilmişti.
