自動搬移 log (linux to s3)

我要解決的事情是
move file from ec2 (linux) to s3
主要是每天搬 log
由於現在記性不可靠
需要特別記錄一下
AWS Command Line Interface User Guide
Getting Yesterdays or Tomorrows Day With Bash Shell Date Command
第十二章、學習 Shell Scripts
第十五章、例行性工作排程(crontab)
AWS S3 Sync using Crontab

第一步當然是要有 AWS 帳號
但是事隔一個月後回來
我忘記 access key ID and secret access key 了
access key 好找
secret access key 沒有留下
最後只好新增一組...

我用 python, pip, awscli 的方式

$ pip install --upgrade --user awscli

當初裝 python 雖然也有加入到 PATH 裡
不過還是要另外手動增加才行

桌機是 windows
所以加入：

%USERPROFILE%\AppData\Roaming\Python\Python36\Scripts
%USERPROFILE%\AppData\Roaming\Python\Python36\

linux 要加入：

~/.local/bin

最主要還是為了工作需要
所以先拿自己的做測試
再加上公司的資料
所以另外加一組

$ aws configure --profile user2

到此才完成 set up section 而已...
在 "Tutorial: Using Amazon EC2" section 教怎麼用 cli launch ec2
這一點也不方便啊><
還是用網頁 launch wizard 開一開比較快

由於跟設定太不熟了
要記得檢查 security-group inbound
這點必須常常提醒自己

到此終於知道怎麼傳檔案了...

為了要做一連串的事
還是寫個 shell script 才好
但是以前學過的 vi 全忘光了啊...
還好複習不難

看完鳥哥的教學
學到怎麼排程
可是設定成每五分鐘做一次的事 (*/5 * * * * /home/ubuntu/test.sh)
都沒生效啊= =
如果是設定 */1 * * * * ls >> /home/ubuntu/ls.txt 這樣又成功
最後發現全部都要使用絕對路徑啊...
連 shell script 裡面也要
所以我的 script 改成

/home/ubuntu/.local/bin/aws s3 cp file s3://bucket/file

很冏
總算也是完成了啊