Merge pull request #210 from qiniu/develop

v2.3.5

Author: longbai

CHANGELOG.md

@@ -1,5 +1,11 @@
+# 2.3.5
+1. 增加token命令，创建Qbox token, qiniuToken, uploadToken
+2. qshell配置文件支持设置accessKey和secretKey
+3. 增加了arm版本
+4. listbucket2增加文件大小的可读性，可以使用Bytes, KB, MB, GB格式显示
+
 # 2.3.4
-1. listbucket， listbucket2增加捕捉interrupt信号(CTR-C), 打印marker
+1. listbucket2增加捕捉interrupt信号(CTR-C), 打印marker
 2. account在本地记录账号，默认不覆盖, 加了-w强制覆盖选项 
 3. listbucket2 增加append 模式（-a)开启, 修复列举几亿空间的时候，列举一半左右程序中断问题
 4. 修复dircache 列表没有输出到文件使用-o选项的时候

Makefile

@@ -3,17 +3,13 @@ WIN64=qshell_windows_x64.exe
 DARWIN=qshell_darwin_x64
 LINUX86=qshell_linux_x86
 LINUX64=qshell_linux_x64
+LINUXARM=qshell_linux_arm
 
 install:
 	GOOS=darwin GOARCH=amd64 go build -o $(DARWIN) .
 	cp ./$(DARWIN) /usr/local/bin/qshell && rm ./$(DARWIN)
 
-all:
-	GOOS=windows GOARCH=386 go build -o $(WIN86) .
-	GOOS=windows GOARCH=amd64 go build -o $(WIN64) .
-	GOOS=darwin GOARCH=amd64 go build -o $(DARWIN) .
-	GOOS=linux GOARCH=386 go build -o $(LINUX86) .
-	GOOS=linux GOARCH=amd64 go build -o $(LINUX64) .
+all: linux windows arm
 
 linux:
 	GOOS=linux GOARCH=386 go build -o $(LINUX86) .
@@ -22,3 +18,6 @@ linux:
 windows:
 	GOOS=windows GOARCH=386 go build -o $(WIN86) .
 	GOOS=windows GOARCH=amd64 go build -o $(WIN64) .
+
+arm:
+	GOOS=linux GOARCH=arm go build -o $(LINUXARM)

README.md

@@ -12,7 +12,7 @@ qshell是利用[七牛文档上公开的API](http://developer.qiniu.com)实现
 
 |版本     |支持平台|链接|
 |--------|---------|----|
-|qshell-v2.3.4 |Mac OSX, Linux, Windows|[下载](http://devtools.qiniu.com/qshell-v2.3.4.zip)|
+|qshell-v2.3.5 |Mac OSX, Linux, Windows|[下载](http://devtools.qiniu.com/qshell-v2.3.5.zip)|
 
 ## 安装
 
@@ -72,14 +72,29 @@ $ qshell account -- <Your AccessKey> <Your SecretKey> <Your Name>
 可以连续使用qshell account 添加账号ak, sk, name信息，qshell会保存这些账号的信息， 可以使用qshell user命令列举账号信息，在各个账号之间切换, 删除账号等。
 如果使用的2.3.0之前的版本account命令记录的账户信息，需要先使用qshell user clean清楚保存的账户信息，然后使用qshell account命令重新记录账户信息。
 
+也可以使用qshell的配置文件添加access_key和secret_key信息，具体配置方法参考下面配置文件一节。
+
 2. 添加完账户后，就可以使用qshell上传，下载文件了
 
 ## 账户管理
 
+qshell支持多种方式的账户管理：
+1. 使用qshell account <AccessKey> <SecretKey> <Name>记录账户信息到本地的数据库
+2. 使用qshell -C <ConfigFile> 配置文件的方式来设置账户信息
+3. 有的qshell子命令支持通过--access-key， --secret-key选项来设置ak/sk信息
+
+那么有可能上面三种方式都提供了账户的信息，因此这三种方式有个优先级（从高到低):
+3 > 2 > 1
+
+也就是说，如果命令行提供了ak/sk那么使用命令行的信息；如果没有提供就使用配置文件中的信息，如果配置文件没有提供ak/sk, 那么会去本地数据库查找当前的用户。
+
 使用qshell user子命令可以用来管理记录的多账户信息。
 1. qshell user ls可以列举账户下所有的账户信息
 2. qshell user cu <userName>可以用来切换账户
 3. qshell user cu 不携带<userName>的话会切换到最近的上个账户；比如我在A账户做完操作后，使用qshell user cu B到了B 账户，那么使用qshell user cu可以切回到A账户.
+4. qshell user lookup <userName> 查找用户是否在本地数据库中
+
+<userName>是使用qshell account <AK> <SK> <Name>记录的时候的<Name>名字，这个名字可以任意指定。
 
 ## 开启命令的自动补全
 **linux上，使用bash**
@@ -130,16 +145,17 @@ fi
 
 1. 配置文件格式支持json, 如果需要使用配置文件，需要在家目录下创建文件名为.qshell.json的json文件
 2. 配置文件可以配置如io host, api host, rs hsot, rsf host, 这些如果没有指定，程序会自动选择
+3. 配置文件支持设置ak, sk
 
 例子：
 
-默认官方的列举空间的文件使用的是rs.qiniu.com域名，如果因为某种原因，比如私有存储，需要替换使用rs-test.qiniu.com这个域名的话，那么只需要
+1. 默认官方的列举空间的文件使用的是rs.qiniu.com域名，如果因为某种原因，比如私有存储，需要替换使用rs-test.qiniu.com这个域名的话，那么只需要
 在家目录下创建文件名字为.qshell.json的配置文件，文件内容为
 
 ```json
 {
     "hosts": {
-        "rs_host": "rs-test.qiniu.com"
+        "rs": "rs-test.qiniu.com"
     }
 }
 ```
@@ -149,8 +165,8 @@ fi
 ```json
 {
     "hosts": {
-        "rs_host": "rs-test.qiniu.com",
-        "io_host": "io-test.qiniu.com"
+        "rs": "rs-test.qiniu.com",
+        "io": "io-test.qiniu.com"
     }
 }
 ```
@@ -160,14 +176,25 @@ fi
 ```json
 {
     "hosts": {
-        "rs_host": "rs-test.qiniu.com",
-        "io_host": "io-test.qiniu.com",
-        "api_host": "",
-        "rsf_host": ""
+        "rs": "rs-test.qiniu.com",
+        "io": "io-test.qiniu.com",
+        "api": "",
+        "rsf": ""
     }
 }
 ```
 
+2. 如果不想使用qshell account ak sk name的方式记录密钥信息，也可以在配置文件中指定ak, sk
+
+```json
+{
+   "access_key": "",
+   "secret_key": "",
+}
+```
+
+这样qshell会优先使用配置文件中配置的ak/sk信息，如果在这个配置文件中没有找到密钥信息，那么会去qshell account记录的本地数据库寻找.
+
 
 ## 命令列表
 

cmd/putfile.go

@@ -6,7 +6,6 @@ import (
 	"github.com/qiniu/api.v7/storage"
 	"github.com/qiniu/qshell/iqshell"
 	"github.com/spf13/cobra"
-	"github.com/spf13/viper"
 	"os"
 	"strings"
 	"time"
@@ -23,7 +22,8 @@ var (
 	mimeType     string
 	fileType     int
 	workerCount  int
-	upHost       string
+	rupHost      string
+	fupHost      string
 	callbackUrls string
 	callbackHost string
 )
@@ -47,21 +47,18 @@ func init() {
 	formPutCmd.Flags().StringVarP(&mimeType, "mimetype", "t", "", "file mime type")
 	formPutCmd.Flags().IntVarP(&fileType, "storage", "s", 0, "storage type")
 	formPutCmd.Flags().IntVarP(&workerCount, "worker", "c", 16, "worker count")
-	formPutCmd.Flags().StringVarP(&upHost, "up-host", "u", "", "uphost")
+	formPutCmd.Flags().StringVarP(&fupHost, "up-host", "u", "", "uphost")
 	formPutCmd.Flags().StringVarP(&callbackUrls, "callback-urls", "l", "", "upload callback urls, separated by comma")
 	formPutCmd.Flags().StringVarP(&callbackHost, "callback-host", "T", "", "upload callback host")
 
 	RePutCmd.Flags().BoolVarP(&pOverwrite, "overwrite", "w", false, "overwrite mode")
 	RePutCmd.Flags().StringVarP(&mimeType, "mimetype", "t", "", "file mime type")
 	RePutCmd.Flags().IntVarP(&fileType, "storage", "s", 0, "storage type")
 	RePutCmd.Flags().IntVarP(&workerCount, "worker", "c", 16, "worker count")
-	RePutCmd.Flags().StringVarP(&upHost, "up-host", "u", "", "uphost")
+	RePutCmd.Flags().StringVarP(&rupHost, "up-host", "u", "", "uphost")
 	RePutCmd.Flags().StringVarP(&callbackUrls, "callback-urls", "l", "", "upload callback urls, separated by comma")
 	RePutCmd.Flags().StringVarP(&callbackHost, "callback-host", "T", "", "upload callback host")
 
-	viper.BindPFlag("hosts.up_host", formPutCmd.Flags().Lookup("up-host"))
-	viper.BindPFlag("hosts.up_host", RePutCmd.Flags().Lookup("up-host"))
-
 	RootCmd.AddCommand(formPutCmd, RePutCmd)
 }
 
@@ -105,16 +102,16 @@ func FormPut(cmd *cobra.Command, params []string) {
 	}
 
 	var putExtra storage.PutExtra
+	var upHost string
 
-	if upHost != "" {
-		if !strings.HasPrefix(upHost, "http") {
-			upHost = "http://" + upHost
-		}
-		putExtra = storage.PutExtra{
-			UpHost: upHost,
-		}
+	if fupHost == "" {
+		upHost = iqshell.UpHost()
+	} else {
+		upHost = fupHost
+	}
+	putExtra = storage.PutExtra{
+		UpHost: upHost,
 	}
-
 	if mimeType != "" {
 		putExtra.MimeType = mimeType
 	}
@@ -223,13 +220,15 @@ func ResumablePut(cmd *cobra.Command, params []string) {
 	}
 
 	var putExtra storage.RputExtra
-	if upHost != "" {
-		if !strings.HasPrefix(upHost, "http") {
-			upHost = "http://" + upHost
-		}
-		putExtra = storage.RputExtra{
-			UpHost: upHost,
-		}
+	var upHost string
+
+	if rupHost == "" {
+		upHost = iqshell.UpHost()
+	} else {
+		upHost = rupHost
+	}
+	putExtra = storage.RputExtra{
+		UpHost: upHost,
 	}
 	if mimeType != "" {
 		putExtra.MimeType = mimeType
@@ -250,6 +249,7 @@ func ResumablePut(cmd *cobra.Command, params []string) {
 
 	resume_uploader := storage.NewResumeUploader(nil)
 	err = resume_uploader.PutFile(context.Background(), &putRet, uptoken, key, localFile, &putExtra)
+
 	fmt.Println()
 	if err != nil {
 		if v, ok := err.(*storage.ErrorInfo); ok {

cmd/root.go

@@ -4,12 +4,14 @@ import (
 	"fmt"
 	"github.com/astaxie/beego/logs"
 	"github.com/qiniu/api.v7/storage"
+	"github.com/qiniu/qshell/iqshell"
 	"github.com/spf13/cobra"
 	"github.com/spf13/viper"
 	"os"
 	"os/user"
 	"path/filepath"
 	"runtime"
+	"strings"
 )
 
 var (
@@ -76,11 +78,21 @@ func initConfig() {
 	storage.UserAgent = UserAgent()
 
 	//parse command
-	logs.SetLevel(logs.LevelInformational)
+	if DebugFlag {
+		logs.SetLevel(logs.LevelDebug)
+	} else {
+		logs.SetLevel(logs.LevelInformational)
+	}
 	logs.SetLogger(logs.AdapterConsole)
 
+	var jsonConfigFile string
+
 	if cfgFile != "" {
-		viper.SetConfigFile(cfgFile)
+		if !strings.HasSuffix(cfgFile, ".json") {
+			jsonConfigFile = cfgFile + ".json"
+			os.Rename(cfgFile, jsonConfigFile)
+		}
+		viper.SetConfigFile(jsonConfigFile)
 	} else {
 		curUser, gErr := user.Current()
 		if gErr != nil {
@@ -97,28 +109,28 @@ func initConfig() {
 			fmt.Fprintf(os.Stderr, "get current directory: %v\n", gErr)
 			os.Exit(1)
 		}
-		viper.Set("path.root_path", dir+"/.qshell")
+		iqshell.SetRootPath(dir + "/.qshell")
 	} else {
 		curUser, gErr := user.Current()
 		if gErr != nil {
 			fmt.Fprintf(os.Stderr, "Error: get current user error: %v\n", gErr)
 			os.Exit(1)
 		}
-		viper.Set("path.root_path", curUser.HomeDir+"/.qshell")
+		iqshell.SetRootPath(curUser.HomeDir + "/.qshell")
 	}
-	rootPath := viper.GetString("path.root_path")
+	rootPath := iqshell.RootPath()
 
-	viper.SetDefault("path.acc_db_path", filepath.Join(rootPath, "account.db"))
-	viper.SetDefault("path.acc_path", filepath.Join(rootPath, "account.json"))
-	viper.SetDefault("hosts.up_host", "upload.qiniup.com")
-	viper.SetDefault("hosts.rs_host", storage.DefaultRsHost)
-	viper.SetDefault("hosts.rsf_host", storage.DefaultRsfHost)
-	viper.SetDefault("hosts.io_host", "iovip.qbox.me")
-	viper.SetDefault("hosts.api_host", storage.DefaultAPIHost)
+	iqshell.SetDefaultAccDBPath(filepath.Join(rootPath, "account.db"))
+	iqshell.SetDefaultAccPath(filepath.Join(rootPath, "account.json"))
+	iqshell.SetDefaultRsHost(storage.DefaultRsHost)
+	iqshell.SetDefaultRsfHost(storage.DefaultRsfHost)
+	iqshell.SetDefaultIoHost("iovip.qbox.me")
+	iqshell.SetDefaultApiHost(storage.DefaultAPIHost)
 
 	if rErr := viper.ReadInConfig(); rErr != nil {
 		if _, ok := rErr.(viper.ConfigFileNotFoundError); !ok {
 			fmt.Fprintf(os.Stderr, "read config file: %v\n", rErr)
 		}
 	}
+	os.Rename(jsonConfigFile, cfgFile)
 }

cmd/rs.go

@@ -132,6 +132,7 @@ var (
 	maxRetry   int
 	finalKey   string
 	appendMode bool
+	readable   bool
 )
 
 func init() {
@@ -150,6 +151,7 @@ func init() {
 	lsBucketCmd2.Flags().StringVarP(&startDate, "start", "s", "", "start date with format yyyy-mm-dd-hh-MM-ss")
 	lsBucketCmd2.Flags().StringVarP(&endDate, "end", "e", "", "end date with format yyyy-mm-dd-hh-MM-ss")
 	lsBucketCmd2.Flags().BoolVarP(&appendMode, "append", "a", false, "append to file")
+	lsBucketCmd2.Flags().BoolVarP(&readable, "readable", "r", false, "present file size with human readable format")
 
 	moveCmd.Flags().BoolVarP(&mOverwrite, "overwrite", "w", false, "overwrite mode")
 	moveCmd.Flags().StringVarP(&finalKey, "key", "k", "", "filename saved in bucket")
@@ -218,7 +220,7 @@ func ListBucket2(cmd *cobra.Command, params []string) {
 		}
 	}
 	bm := iqshell.GetBucketManager()
-	retErr := bm.ListBucket2(bucket, prefix, listMarker, outFile, "", start, end, sf, maxRetry, appendMode)
+	retErr := bm.ListBucket2(bucket, prefix, listMarker, outFile, "", start, end, sf, maxRetry, appendMode, readable)
 	if retErr != nil {
 		os.Exit(iqshell.STATUS_ERROR)
 	}