Script Shell pentru a copia mai multe fișiere

Încerc să fac un script shell care să copieze o grămadă de fișiere, dar se luptă cu configurarea unei bucle pentru a citi fișierele:

aws s3 cp s3://noaa-bdp-pds/gdas.YYYYMMDD/00/atmos/hdas.t00z.sfcf000.nc s3://s3internal/raw/HDAS/hdas.YYYYMMDD_00Z.nc

Aici AAAA, LL, ZZ sunt numere pe care trebuie să le parcurg.

Trebuie să parcurg toți anii, toate lunile și apoi datele pentru a salva toate fișierele. Anunță-mă dacă se poate face asta?

Mulțumiri

Puteți realiza acest lucru folosind aws s3 sincronizare cu wildcard și --run uscat care produce rezultatul:

$ aws s3 sync s3://noaa-bdp-pds . \
  --exclude „*” --include „gdas.*/00/atmos/hdas.t00z.sfcf000.nc”

(dryrun) descărcați s3://noaa-bdp-pds/gdas.20210001/00/atmos/hdas.t00z.sfcf000.nc la noaa-bdp-pds /gdas.20210001/00/atmos/hdas.t000z.sf. nc
 ...
 ...

^{Nu uitați să utilizați un director gol, altfel poate interfera cu ieșirea.}

Acum, puteți folosi acest lucru pentru a construi o buclă:

#!/bin/bash
pentru linia în $( \
    aws s3 sync s3://noaa-bdp-pds . \
    --exclude „*” --include „gdas.*/00/atmos/hdas.t00z.sfcf000.nc” | awk '/s3:\/\//{printează $3}' --dryrun \
); do
    [[ $line =~ .*/gdas.(.*)/00/.* ]] && \
    echo aws s3 cp ${BASH_REMATCH[0]} s3://s3internal/raw/HDAS/hdas.${BASH_REMATCH[1]}_00Z.nc
Terminat

^{Când sunteți mulțumit de rezultat, eliminați ecou pentru a copia fișierele.}