Googleフォトに写真をアップロードするツールを作った

Googleフォトに写真をアップロードするコマンドラインツールを作りました。

このツールは先月に公開されたGoogle Photos Library APIを利用しています。

Getting Started

APIにアクセスできるように初期設定が必要です。

https://console.cloud.google.com/apis/library/photoslibrary.googleapis.com/ を開く。
「Photos Library API」を有効にする。
https://console.cloud.google.com/apis/credentials を開く。
新しい「OAuth client ID」を作成する。application typeはotherを選ぶ。
Client IDとClient Secretが発行されるので、以下の環境変数を設定する。

export GOOGLE_CLIENT_ID=
export GOOGLE_CLIENT_SECRET=

releasesから gpup をダウンロードします。

試しに my-photos フォルダをアップロードしてみましょう。

$ gpup my-photos/
2018/06/14 10:28:40 The following 2 files will be uploaded:
  1: travel.jpg
  2: lunch.jpg
2018/06/14 10:28:40 Open http://localhost:8000 for authorization
2018/06/14 10:28:43 GET /
2018/06/14 10:28:49 GET /?state=...&code=...
2018/06/14 10:28:49 Storing token cache to /home/user/.gpup_token
2018/06/14 10:28:49 Queued 2 file(s)
2018/06/14 10:28:49 Uploading travel.jpg
2018/06/14 10:28:49 Uploading lunch.jpg
2018/06/14 10:28:52 Adding 2 file(s) to the library

初回はAPIへのアクセスを許可するためにブラウザで http://localhost:8000 を開く必要があります。Googleアカウントで認証すればOKです。2回目からは ~/.gpup_token にキャッシュされた情報が使われます。

以下のように -n オプションを付けると、新しいアルバムにファイルをアップロードできます。

gpup -n "My Album" my-photos/

以下のオプションが使えます。

Usage:
  gpup [OPTIONS] FILE or DIRECTORY...

Setup:
1. Open https://console.cloud.google.com/apis/library/photoslibrary.googleapis.com/
2. Enable Photos Library API.
3. Open https://console.cloud.google.com/apis/credentials
4. Create an OAuth client ID where the application type is other.
5. Export GOOGLE_CLIENT_ID and GOOGLE_CLIENT_SECRET variables or set the options.

Application Options:
  -n, --new-album=TITLE               Create an album and add files into it
      --oauth-method=[browser|cli]    OAuth authorization method (default: browser)
      --google-client-id=             Google API client ID [$GOOGLE_CLIENT_ID]
      --google-client-secret=         Google API client secret [$GOOGLE_CLIENT_SECRET]

Help Options:
  -h, --help                          Show this help message

今のところ以下の制約事項があります。

アップロードしたファイルの並び順を指定できない。連番のファイルをアップロードしても、アルバム上の並び順はぐちゃぐちゃになってしまう。
写真にEXIFヘッダがない場合はタイムスタンプが現在日時になってしまう。

How it works

このツールはGoで書いています。

APIクライアント

Photos Library APIのクライアントは Google APIs Client Library for Go を利用しています。これはAPI仕様から自動生成されたHTTPクライアントで、だいたいのAPIが網羅されています。今のところPhotos Library APIに特化したクライアントが公開されていないので、自動生成されたクライアントを使っています。

ただし、写真や動画などのバイナリをアップロードするAPIはGoogle APIs Client Library for Goで用意されていないため、以下のように独自に実装しています。

const apiVersion = "v1"
const basePath = "https://photoslibrary.googleapis.com/"

func (p *Photos) UploadFile(ctx context.Context, filepath string) (*photoslibrary.NewMediaItem, error) {
    //...snip...
    r, err := os.Open(filepath)
    if err != nil {
        return nil, fmt.Errorf("Could not open file %s: %s", filepath, err)
    }
    defer r.Close()

    req, err := http.NewRequest("POST", fmt.Sprintf("%s%s/uploads", basePath, apiVersion), r)
    if err != nil {
        return nil, fmt.Errorf("Could not create a request for uploading file %s: %s", filepath, err)
    }
    req.Header.Add("X-Goog-Upload-File-Name", filename)

    p.log.Printf("Uploading %s", filepath)
    res, err := p.client.Do(req)
    if err != nil {
        p.log.Printf("Error while uploading %s: %s", filepath, err)
        continue
    }
    //...snip...
}

アップロードを逐次実行すると時間がかかるため、並列実行するようにしています。

Photos Library APIのガイドラインではExponential backoffアルゴリズムでリトライを行うことと記載されています。さらに、HTTPレスポンスのステータスコードが500番台の場合とネットワークエラーの場合はリトライが可能と明記されています。本ツールでは、 lestrrat-go/backoff を利用し、以下のようにリトライ処理を実装しています。

func (p *Photos) UploadFile(ctx context.Context, filepath string) (*photoslibrary.NewMediaItem, error) {
    b, cancel := uploadRetryPolicy.Start(ctx)
    defer cancel()
    for backoff.Continue(b) {
        //...snip...
        switch {
        case res.StatusCode == 200:
            return // 正常系の戻り値
        case IsRetryableStatusCode(res.StatusCode):
            p.log.Printf("Error while uploading %s: status %d: %s", filepath, res.StatusCode, body)
        default:
            return nil, fmt.Errorf("Could not upload %s: status %d: %s", filepath, res.StatusCode, body)
        }
    }
}

// IsRetryableStatusCode returns true if the status code is retryable,
// such as status code is 5xx or network error occurs.
// Otherwise returns false.
// See https://developers.google.com/photos/library/guides/best-practices#retrying-failed-requests
func IsRetryableStatusCode(code int) bool {
    return code >= 500 && code <= 599
}