Scraper publik, proxy privat
Fitur publik
Halaman utama menyediakan Source Grabber dan pencarian subdomain pasif. Scraper memakai layanan proxy pihak ketiga untuk mengatasi CORS; penyedia itu dapat melihat URL/permintaan. Jangan masukkan URL privat, token, atau data sensitif. Gunakan hanya untuk situs dan domain yang boleh kamu periksa.
Proxy VPS milikmu
Endpoint pribadi /proxy, /api/proxy, dan /api/fetch memerlukan HTTP Basic Authentication. Kredensial diatur saat server dijalankan dengan variabel PROXY_USER dan PROXY_PASSWORD. Jangan memasukkan kredensial itu di halaman publik atau membagikannya.
curl -u "$PROXY_USER" "https://HOST/proxy?url=https%3A%2F%2Fexample.com"
# curl akan meminta password secara interaktif
curl -u "$PROXY_USER" -X POST "https://HOST/api/fetch" \
-H "Content-Type: application/json" \
-d '{"url":"https://example.com","binary":false}'Catatan
- Proxy privat tertutup jika variabel kredensial belum diatur.
- Gunakan HTTPS di depan server sebelum mengirim kredensial melalui internet.
- Jangan menjalankan versi ZIP asli apa adanya di server publik; endpoint proxy asalnya tidak memiliki autentikasi.
Basic Auth melalui HTTP biasa tidak aman. Jangan masukkan password proxy lewat koneksi HTTP publik.