Memorarea în cache Nginx nu funcționează pentru crawler-uri

Folosesc memoria cache Nginx de ani de zile, dar recent am observat o problemă despre care bănuiesc că se întâmplă de ani de zile.

Dacă accesez o pagină care nu a fost niciodată vizitată înainte de a primi, desigur, o pierdere de cache, reîmprospătează pagina și acum este o lovitură de cache.

Cu toate acestea, am observat că atunci când crawler-uri precum Bingbot sau Googlebot accesează cu crawlere site-ul, paginile pe care le accesează cu crawlere nu sunt niciodată stocate în cache, rămân întotdeauna cache rate până când le vizitez manual.

Există o setare undeva în Nginx care împiedică traficul bot să păstreze în cache paginile?

FYI Nu tratez roboții în mod diferit față de utilizatorii din configurația mea Nginx.

Iată o mostră din configurația mea.

    proxy_socket_keepalive activat;
    proxy_redirect dezactivat;
    proxy_cache Google-Cache;
    proxy_cache_revalidate on;
    proxy_ignore_headers Expiră Cache-Control;
    timeout eroare proxy_cache_use_stale la actualizarea http_500 http_502 http_503 http_504;   
    proxy_cache_background_update on; 
    proxy_cache_lock activat;


   proxy_cache_valid 200 206 304 306 301 302 404 410 300s;