Puncte:0

Încerc să îmi oglindesc site-ul web cu wget, dar a fost găsit atributul nofollow și nu pot descărca nimic mai mult decât index.html

drapel mx

Rulez un site wordpress pe un server LEMP bazat pe Ubuntu 20.04. Am pluginul pagespeed activat și pentru a-l forța să-mi memoreze site-ul în cache, folosesc wget dintr-o casetă diferită pentru a oglindi site-ul. Cu toate acestea, atunci când utilizați wget dintr-o casetă a doua, se oprește descărcarea la prima pagină (index.html), cu eroarea

Atributul nofollow găsit în /tmp/ramdisk/www.example.com/index.html. Voi nu urmați niciun link de pe această pagină Mai jos este comanda wget pe care o folosesc și rezultatele returnate:

wget -m -p -E -k -P /tmp/ramdisk/ https://www.example.com
--2022-05-17 16:41:40-- https://www.example.com/
Se rezolvă www.example.com (www.example.com)... 1**.2*.1**.*
Se conectează la www.example.com (www.example.com)|1**.2*.1**.*|:443... conectat.
Solicitare HTTP trimisă, se așteaptă răspuns... 200 OK
Lungime: nespecificată [text/html]
Se salvează în: â/tmp/ramdisk/www.example.com/index.htmlâ

www.example.com/index.html [ <=> ] 130,71K 210KB/s în 0,6s

Lipsește antetul cu ultima modificare -- marcajele de timp dezactivate.
2022-05-17 16:41:42 (210 KB/s) - â/tmp/ramdisk/www.example.com/index.htmlâ salvat [133848]

Atributul nofollow găsit în /tmp/ramdisk/www.example.com/index.html. Nu va urma niciun link de pe această pagină
TERMINAT --2022-05-17 16:41:42--
Durata totală a ceasului de perete: 2.0s
Descărcat: 1 fișiere, 131K în 0,6 s (210 KB/s)
Convertirea linkurilor în /tmp/ramdisk/www.example.com/index.html... 135.
42-93
Legături convertite în 1 fișier în 0,004 secunde.

Cum pot să găsesc atributele nofollow și să le elimin, astfel încât wget să descarce complet site-ul meu?

Puncte:1
drapel in

La fel de documentat aici puteți spune wget să ignore atributul no-follow adăugând parametrul -e robots=off

DanRan avatar
drapel mx
Dar acum câteva zile, nu a trebuit să implementez acest lucru în wget. Deci, ce am schimbat pe serverul meu care a creat linkurile fără urmărire?
drapel in
Cum am putea ști?
DanRan avatar
drapel mx
exact asta intreb. cum stim de fapt? Există o modalitate de a căuta aceste link-uri în directorul meu wordpress sau ceva de genul?
Puncte:0
drapel mx

Mi-am dat seama de asta.

A trebuit să mă conectez la instalarea mea wordpress prin interfața web și să merg la Setări> Citire> Vizibilitatea motorului de căutare, apoi pe pagina respectivă a trebuit să debifez

Descurajați motoarele de căutare să indexeze acest site. Depinde de căutare motoare pentru a onora această solicitare.

opțiune. După ce am debifat asta, am putut oglindi cu succes site-ul meu folosind comanda wget wget -m -p -E -k -P /tmp/ramdisk/ https://www.example.com.

Vedeți captura de ecran de mai jos pentru mai multe informații. Wordpress - Vizibilitatea motorului de căutare - Descurajați motoarele de căutare de la indexarea acestui site

Postează un răspuns

Majoritatea oamenilor nu înțeleg că a pune multe întrebări deblochează învățarea și îmbunătățește legătura interpersonală. În studiile lui Alison, de exemplu, deși oamenii își puteau aminti cu exactitate câte întrebări au fost puse în conversațiile lor, ei nu au intuit legătura dintre întrebări și apreciere. În patru studii, în care participanții au fost implicați în conversații ei înșiși sau au citit transcrieri ale conversațiilor altora, oamenii au avut tendința să nu realizeze că întrebarea ar influența – sau ar fi influențat – nivelul de prietenie dintre conversatori.