D4Vinci/Scrapling

Web scraping with anti-bot bypass. Built for modern websites. Adapts. Rotates. Fetches. Less blocks. More data. github.com/D4Vinci/Scrapling

Contains the canonical GitHub repository URL.

Oh shiiiiiiit look at this! github.com/D4Vinci/Scrapling "Scrapling is an adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl." 36k stars on Github. This looks insane. Imagine what you can do with this + APIs + change tracking, DB building etc.

Contains the canonical GitHub repository URL.

scrapling diye açık kaynak bir python kütüphanesi var web scraping işi yapanların derdine gerçekten çare olmuş. beautifulsoup scrapy playwright ne yapıyorsa tek pakette toplamış ama üç tane cidden işe yarar süper gücü var. birincisi adaptive scraping. normal scraper yazdığında en büyük derdin şu oluyor: bugün .product-title selectorı çalışıyo yarın site redesign yapıyor her şey bozuluyor oturup tekrar yazıyorsun. scrapling ilk scrapete elementin parmak izini kaydediyor site değişince benzerlik algoritmasıyla aynı elementi yeniden buluyor. yani selector bakımı cehenneminden büyük ölçüde kurtarıyor. ikincisi anti-bot bypass hazırdan geliyor. stealthyfetcher sınıfıyla cloudflare turnstile interstitial gibi korumaları geçiyor. tls fingerprint spoofing chrome/firefox impersonation http/3 desteği var. eskiden bu işler için curl-impersonate undetected-chromedriver camoufoxu ayrı ayrı kurup birbirine bağlaman gerekirdi. burda tek satırla hallediliyor. üçüncüsü ve asıl bomba olan kısım mcp serverı. claude code ya da cursora bağladığında ai önce scraplinge şu sitedeki şu elementleri çek diyor sadece filtrelenmiş içerik contexte giriyor. bütün htmli modele tıkıştırmak yerine sadece ihtiyacın olan kısım geliyor. token maliyeti ciddi düşüyor hız artıyor. performans tarafı da iddialı. parserı beautifulsouptan yaklaşık 780x pyqueryden 12x hızlı kendi benchmarklarına göre. üstüne clidan tek satır scrapling extract get komutuyla hiç kod yazmadan bile kullanabiliyorsun. claude code + scrapling mcp kombinasyonunu mutlaka deneyin veri toplama işlerini bambaşka bir yere taşıyor.

Matched through a repo-specific project phrase query.

I’m one of the very first contributors to Camoufox, and I have to ask: have you tried Scrapling? github.com/D4Vinci/Scrapling Scrapling solves all types of Cloudflare CAPTCHA automatically, along with many other features. It has an agent skill, too, that gets updated with each new version. We were using Camoufox inside till its development stopped. Yes, I’m the author of Scrapling, and I’m interested in any feedback I can get to improve Scrapling lol.

Contains the canonical GitHub repository URL.