O zi buna,
Am văzut o mulțime de întrebări de genul acesta, dar nu am văzut nimic asemănător cu situația mea. Nu sunt sigur dacă acesta este locul potrivit sau cel mai bun pentru a întreba.
Problema cu care mă confrunt este că am un script Python, folosind Selenium, pentru a face o solicitare către un site web. Pentru tot ce am încercat, nu pot afla unde este problema.
Iată situația specifică:
Am două picături Digital Ocean care rulează în aceeași regiune. DO1 conține scriptul meu python, folosind seleniu pentru .get(URL) o resursă.
DO2 conține serverul meu proxy socks5. Configurați cu ssh -f -N -D 0.0.0.0:1080 localhost.
Acum, dacă rulez următoarele:
- solicitările DO1 https://www.google.com cu Nu proxy = Nicio problemă, cerere de ~0,8 secunde
- solicitările DO1 https://www.google.com cu proxy = Nicio problemă, cerere de ~1,1 secunde
Acum, aici este problema.
Când folosesc DO1 pentru a solicita un alt site web (https://mywebsite2.ru/) prin proxy, este nevoie de ~3 minute pentru a răspunde. Răspunde, este super lent, ca și cum ar fi nerfed. Și este o picătură nou-nouță.
Proxy-ul va ieși de 3 ori pentru fiecare solicitare canal X: deschidere eșuată: conectare eșuată: conexiune a expirat
Am încercat să creez un proxy pentru o nouă picătură în diferite regiuni - același efect.
Dacă încerc să folosesc DO1 pentru a solicita direct, aceeași problemă. Durează aproximativ 3 minute pentru a răspunde.
Acum m-am gândit că IP-urile în sine ar putea fi contaminate. Dacă folosesc DO1 pentru răsuci pe același site, obțin rezultatele imediat. Dacă folosesc DO1 pentru răsuci site-ul prin proxy, primesc rezultatele imediat.
Selenium are un antet de browser atașat cererii, nu cred că curl are în mod implicit. Am încercat și eu să le schimb pe cele din jur.
Deci nu sunt sigur cum să abordez acest lucru. (1) Nu sunt sigur ce ar putea cauza nerfing în scripturile Python și (2) Nu sunt sigur ce pot încerca și explora în acest moment pentru a găsi problema.
Sper că pot fi îndreptat în direcția corectă.
