Skip to content
XSCRIPTOR/DEV~$ _
~/resources/web/xwa/shinobi/
├──Ein stealth Web-Scraper mit einer einzigen Weboberfläche. Lädt komplette Websites herunter — HTML, CSS, JS, Bilder, PDFs — während die Erkennung durch mehrere Anti-Blocking-Schichten umgangen wird: User-Agent-Rotation, Header-Randomisierung, Verzögerung mit Jitter, exponentielle Backoff und Proxy-Unterstützung.
├──Anti-BlockingUA rotation, header randomize
├──Deep CrawlBFS recursive with depth
├──JS RenderingHeadless Chromium
├──Asset DownloadHTML/CSS/JS/images/PDF
├──Proxy RotationHTTP/HTTPS/SOCKS5
└──Fast ModePure Rust — zero deps