Instale e configure o awscli e s3cmd local ou no server. Para isso vai precisar das credenciais de um usuário da conta AWS.
apt-get install awscli
aws configure // para configurar as credenciais
Para fazer a transferencia de um diretório local para o s3 use o comando abaixo:
aws s3 sync /home/usuario/diretorio s3://nomeBucket
Para fazer o comando acima rodar em segundo plano user conforme o exemplo abaixo.
nohup aws s3 sync /home/usuario/diretorio s3://nomeBucket &
Já o comando é utilizado para é o sync em conjunto com s3cmd você pode transferir arquivos para buckets. No exemplo abaixo vou usar ele para sincronizar um novo bucket com o antigo.
s3cmd sync s3://bucket-antigo/diretorio s3://bucket-novo/
Para ver quantos arquivos tem dentro de um bucket use o comando abaixo.
s3cmd ls -r s3://bucketName | wc -l
aws s3 ls s3://bucketName/DirName/ –recursive –summarize | wc -l
aws s3 ls –summarize –human-readable –recursive s3://bucketName/
Para ver o tamanho de um diretório / bucket use o comando abaixo
s3cmd du -H s3://bucketName/diretorio