Puncte:0

wget: Editați linkurile rupte în timp ce accesați cu crawlere înainte de a le vizita

drapel in

Situatie:
Vreau să oglindesc un site web vechi. Acest site este activat https://example.com/website/. Site-ul web folosește link-uri absolute către http://www.example.com/website/.

Problemă:
Indiferent de motiv, wget nu poate ajunge https://www.example.com (dosarul www.), conexiunea se va expira doar - nicio idee de ce, funcționează bine în browser (nici nici nu se poate curl, btw).

Solutii posibile:

  • Trebuie să rescrieți linkurile înainte de a le urma în timp ce încă se accesează cu crawlere.
  • Faceți wget să funcționeze cu www. pliant.

Pentru ca .www să funcționeze, am încercat deja să setez user-agent la FF: --header="Accept: text/html" --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0" dar asta nu a mers.

Așa că trebuie cumva să rescriu linkurile de pe acel site în timp ce mă accesez cu crawlere.

drapel in
Nu este posibil cu wget pur. Aflați de ce expiră.
drapel us
La fel și link-urile către URL-uri „https:” sau „http:”... vorbiți despre ambele.
drapel in
Habar n-am cum as putea afla de ce www. nu funcționează. wget/curl debug nu oferă niciun indiciu. Link-urile sunt către http: dar asta nu contează cu adevărat, deoarece HSTS impune https:. Serverul funcționează bine cu https, și pe www. pliant. Dacă rulez aceeași comandă wget de pe PC-ul meu de acasă, descarcă totul așa cum era de așteptat (în întrebarea mea, rulez wget de pe serverul meu - dar nici nu este un bloc IP, deoarece lucrurile non-www. funcționează (de obicei accesez cu crawlere `https: //example.com/site/` fără probleme)).

Postează un răspuns

Majoritatea oamenilor nu înțeleg că a pune multe întrebări deblochează învățarea și îmbunătățește legătura interpersonală. În studiile lui Alison, de exemplu, deși oamenii își puteau aminti cu exactitate câte întrebări au fost puse în conversațiile lor, ei nu au intuit legătura dintre întrebări și apreciere. În patru studii, în care participanții au fost implicați în conversații ei înșiși sau au citit transcrieri ale conversațiilor altora, oamenii au avut tendința să nu realizeze că întrebarea ar influența – sau ar fi influențat – nivelul de prietenie dintre conversatori.