年中アイス

いろいろつらつら

GoでJSONの数字/数値を扱う

JSONはデータの表現形式です。表現はできますが、項目があるかや、型が何であるかを検査する仕組みはありません。*1

そのため、システムや実装が分かれている場合に、数値を期待しているが、JSONの表現上、数値か数字かがずれていることが起き得ます。どういうことかというと、"numeric":1234 (数値)なのか、"numeric":"1234" (数字)なのかが違う、または不定ということ。仕様の齟齬や、実装ミスなどで発生します。

動的型付け言語の場合、よしなに扱ってくれたりしますが、Goにそれをやられると型エラーが発生してしまいます。GoでJSONを読み込む場合、encoding/jsonパッケージjson.Unmarshal()を使って、structに読み込む方法があります。しかし、stringで定義していたら、数値がNG、int系で定義していたら、数字がNGです。

stringは数値がダメ(playground)

type Num struct {
    Number string
}

num := Num{}
err := json.Unmarshal([]byte(`{"number":1234}`), &num)
    
// json: cannot unmarshal number into Go struct field Num.Number of type string

int64は数字がダメ(playground)

type Num struct {
    Number int64
}

num := Num{}
err := json.Unmarshal([]byte(`{"number":"1234"}`), &num)

// json: cannot unmarshal string into Go struct field Num.Number of type int64  

Goの場合、Unmarshalで読み込めないと、黒魔術的にJSONを解析する必要がある*2ので、Unmarshalで済ませたいのです。その際に、json.Numberを使います。

使い方は簡単で、数値数字不定になっている属性の型をjson.Numberにして、そのstructを使ってUnmarshalします。そうすると数字でも数値でもabcdeなどの文字列でも、Unmarshal時点ではエラーになりません。型の不一致で、JSON全体の読み込みを止めなくて済みます。もちろん使う時に数値変換は必要で、Int64()を使いますが、数字以外の文字列の場合はエラーになります。(ParseInt失敗するのと同様)

type Num struct {
    Number1 json.Number
    Number2 json.Number
    Number3 json.Number
}

num := Num{}
// Unmarshalではエラーにならない
err := json.Unmarshal([]byte(`{"number1":1111,"number2":"2222","number3":"abcde"}`), &num)
// 数値はエラーにならない
num1, err := num.Number1.Int64()

// 数字はエラーにならない
num2, err := num.Number2.Int64()
    
// 数字以外の文字はエラー
// strconv.ParseInt: parsing "abcde": invalid syntax
_, err = num.Number3.Int64()

json.Number使ったUnmarshal(playground)

補足:JSON出力する時のjson.Number

json.Numberは、Marshalすると、数値として出力されます。数字、数値どちらで読み込んでいても数値になります。数以外の文字列の場合は、Marshal時にエラーになります。このjson.Numberを使って読み込んで、そのままMarshalする場合は、この数値になる動きを意識しておく必要があります。

json.NumberのMarshal

type Num struct {
    Number1 json.Number `json:"number1"`
    Number2 json.Number `json:"number2"`
}

num := Num{}
// 数値、数字を読み込む
err := json.Unmarshal([]byte(`{"number1":1111,"number2":"2222"}`), &num)

// JSONに出力
j, err := json.Marshal(num)

// 数値として出力される
// {"number1":1111,"number2":2222}
fmt.Println(string(j))

*1:JSON Schemaなど別の仕組みを使用するとチェックしたりできるようです

*2:map[string]interface{}で延々名前探して型確認して変換の繰り返し。。。

Amazon echo (Alexa) がやってきた

スマートスピーカーが盛り上がってきてますが、Amazon echoの招待メールが来て、ポチって届きました。前の日にだいぶ購買欲落ちたってツイートしてたら、その翌日に招待メール来ました。招待メールから4日以内に注文しないと、購入権がなくなるので、注文しますよね。

f:id:reiki4040:20171130172437j:plain:w300

ハードの感想としては、大きすぎず小さくもなく重い。350ml缶ホルダーみたいな感じです。プラグ部分は、一昔前のアダプタとまではいきませんが、少し大きなブロックぐらいはあるので、密集してると邪魔になるかも。

セットアップ

早速セットアップ

  • 本体は電源コード繋いで、コンセントに挿すだけ。コードちょっと邪魔だなーという印象。上部の縁が青に光って、1分ほどでオレンジの待機状態に。
  • iPhoneにAlexaアプリを入れて、amazonアカウントにログイン。
  • 本体のボタンを5秒押すと、セットアップモードになって、echoがWiFiホストになるようで、iPhoneの設定からそこに接続。
  • そうすると、今度はechoが接続するWiFiを選ぶ画面になって、自分のとこのWiFiを設定し、しばらくセットアップ待ち。ここで私は何回かエラー1や、登録エラーなどが発生し、詳細はヘルプを見てくださいと。ただ、ヘルプのどこだよそれはって感じで、4,5回リトライで成功。echoから少し離れた位置でやってたから失敗したのか?と思って、echoの目の前でやったら成功しました。

使ってみる

ポチった後に、echoの動画などを見ていたのと、前からGoogleのCMはOK, Googleと言ってるのを見て、掛け声の後に間を空けないとダメなのか?と思っていて、それがすごくテンポ悪くて嫌だなーと思ってました。試しに「アレクサ天気教えて」と、ひと続きで話してみたら、普通に認識したので、この懸念は払拭されてよかったです。

とりあえず、天気、ニュースを試してみた感想は、alexaが読み上げる?テキストは機械の合成音声で、単語によっては発声とテンポが聞き取りづらい(抑揚とペースが一定すぎる)のがあるのと、話題と話題の間が短すぎで、話半分に聞くぐらいがまだいいかも。ニュースコンテンツなどは配信側のコンテンツっぽいので、それはそっちの品質次第。

割と便利そうなのが、音楽を流す(amazon music)、タイマー、リスト登録。*1

  • 音楽はジャズを流してみたいなのでサラッと流れてくるので、ちょっと気分を変えたい時に声操作は便利。
  • タイマーは料理するので声だと手を使わなくて楽チン。
  • リスト登録は「買い物リストにだしの素入れて」-> 「何を登録しますか?」(聞き返された)-> 「だしの素」で、追加されました。ふと買おうと思ってたものを追加するのに便利です。ただ、alexaアプリのそのリストが少し深いところにあるのが難点。

あとは、FireTVとつなごうとしたんですが、「問題が発生しています。しばらくして行ってください」と使えないので、一旦断念。試してる途中、意図せず「FireTVでYoutube再生して」-> 「よくわかんないけど、これ(なんか商品名を言った)をカートに追加しますか?」みたいな返答されて、「いいえ」回答。アプリから音声注文はまだOFFってる状態(デフォルトONだったよ!)ですが、amazonカートにもの突っ込めるのかな。

スキル

250社ぐらい初回からスキルに参加したようですが、ニュース配信や自然の音あたりで、初期のマーケットという感じ。iPhone3GSの時のAppStoreが、ちょっとしたアプリたくさんの感じだったのに似てて、これからどんどん増えてって高度になってくんだろうなーと思うと楽しみです。自分で作るのもできるようなので挑戦したいところ。野良スキル(自分だけとか仲間内だけで使える機構)ができるのかが気になる点です。

感想

iPhoneのSiriは全く使わない人ですが、Alexaはなぜか使い始めました(掛け声?)そんなに滑舌は良くないですが、昔に比べたらはるかに音声認識は進歩していて、とりあえずちょっと使う分には十分になってるのを実感しました。*2

スピーカーに話しかけるの違和感ないなと思ったんですが、普段娘(1歳)に話しかけてるのと似てたので、違和感もなかったのかなという気がします。娘には「〇〇、それとって」「〇〇、これないない(片付け)して」みたいな、まだしゃべれない一方通行やってるせいです。ちなみに娘はAlexaがニュース読んでると、あいつ誰だよみたいな反応をしてました。

友人から聞き出した、スマートホーム向けのNature Remoという製品、echo招待メール来た時は12月出荷分あったんですが、それから1日足らずで品切れになり、来年予定しかなく撃沈。一定数echo出荷されて、注文入ったのか、すぐ注文しなかったのを後悔。スマートホーム化は少し先になりそうです。娘にリモコン奪われないように、FireTV始め、家電の音声操作拡充させたいところ。早くしないと、今度は音声操作を乗っ取られそうです。*3

SF感あふれるワクワク感を抱けました。年末年始、技術的に遊ぶにはもってこいかも。そして5年ぐらいでスマホみたいにあって当たり前になりそう。

2017/12/2 追記

友人からNature Remo注文受付復活の報を受けて、無事注文完了しました。12月中旬から下旬発送予定だそうです。楽しみ。

*1:echoじゃなくても同様のことできるってのは置いといて

*2:話しかけ方は理解のある(機械が認識しやすいことを意識した)感じでやってるからというのもあると思います。

*3:ネイティブ音声操作世代になるのか・・・!

CircleCI 2.0でGoのテスト触ってみた

CI周りを触ってみている中で、Dockerイメージが動くようになったという、CircleCI 2.0が気になったので触ってみました。ちなみに1.0も触ったことはないです。参考で見たページだと、2.0はBeta版の時期もありましたが、今は正式にリリースされています。

circleci.com

cstoreで試してみる

適当なプロジェクトとして、cstoreに入れてみることに。cstoreは、ライブラリとしてシンプルなのと、たまたまちょっとテスト書いてあったのでお試し対象に。

  • CircleCIで、Add Project -> .circleci/config.ymlがなくて失敗
  • プルリクで追加 -> 成功

の予定でしたが、Add Projectしたら、CircleCI1.0モードで動いて、一通りGoで行われるべきことが動いていました。1.0はCircleCI用の設定ファイルおかなくても、言語指定すると、ベースとなる動作(dependencyのgo get, go test ,go buildなど)が勝手に動くようです。これはこれで、ベースができてていいですね。

2.0は今の所、実行コマンドは自分で記述する必要があります。cstoreはライブラリかつ依存はシンプルだったので、go getしてgo testをやるだけの設定を作りました。

https://github.com/reiki4040/cstore/pull/2 https://github.com/reiki4040/cstore/pull/3

version: 2
jobs:
  build:
    working_directory: /go/src/github.com/reiki4040/cstore
    docker:
      - image: circleci/golang:1.9
    steps:
      - checkout
      - run: go get github.com/BurntSushi/toml
      - run: go get gopkg.in/yaml.v2
      - run: go test -v -race ./...

circleci CLIで事前確認ができるのをすっ飛ばして、プルリクしてマージして、インデントミスっているという愚。go getの追加とともに修正したのでプルリクが二つに分かれてます。

ローカルで事前確認

CircleCI 2.0はCLIを使って事前にテスト実行ができます。 インストールは公式参照

まず作成したconfig(.circleci/config.yml)をチェック。

circleci config validate

そのあと、ローカルでのテストビルド。

circleci build

実際にdocker imageを落としてきて実行してくれます。circleci/golangの1.9は400MBぐらいありました。

これを行えば、事前にチェックして、しょうもないミスは防げると思います。*1

ビルド結果

CircleCIサービス上のビルド結果は、誰でも見える*2ので、機密情報が出るようなのは避けましょう。そもそも書いてあったらPublicリポジトリの時点でアウトですが、何か外部から取ってきて出力みたいなのがあると、デバッグのつもりで漏洩しちゃいます。privateリポジトリは、見えないと思いますが扱ってないのでわからず。

通知

メールでビルドに関しての通知がきますが、Slackなどへの連携も可能です。 すべて通知するか、失敗(fail)と失敗後の成功(fixed)のみを通知するかを選べます。

Goのサンプル試して誤プルリクをやらかす

最初、公式のGoのサンプルを試してみてたんですが、fork後にコード少し改変して動かしてみるかーと思って、適当にやってたら、いつの間にか公式サンプルにプルリク出してしまっていました。びっくり。一言書いて、closeしました。

たぶんですが、CircleCIの画面上に、open pull requestと言うボタンがあり、不意にそれを押してしまって、自動でプルリクが作成されたのかなと。同様のことをしてしまったであろう人もいました。

料金

料金ページには、Linux向けは、1コンテナのシリアル実行で、月1,500分(25時間。30日で割ると約50分ぐらい)までのビルドであれば、ユーザやリポジトリの数を問わず無料(Freeプラン)で、ビルド時間が無制限になる有料プランは、$50/Month(2コンテナ, 2並列から)からのようです。*3

感想

Goでテスト書いて、それを実行するぐらいは簡単にできますね。Github認証で、すぐ試せるのも楽です。

前のCodeBuildでは、buildspec.ymlに実行する内容があり、動かすイメージはCodeBuild側の設定でした。CircleCIは、実行イメージと実行内容を.circleci/config.ymlに書いて、CircleCI側で実行マシンのスペック設定、実行の確認で少し異なります。今時点では使い込んでないので、どちらがどういいのかまでは、あまりわからず。

公式のGoサンプルでは、Goをビルドしてバイナリを作って、PostgreSQLのイメージとともに起動してテスト実行みたいな感じで作ってあったので、go testのコード単体ではなく、バイナリに対しての挙動テストも実行できるようです。*4

設定ファイル(.circleci/config.yml)が、docker composeと実行スクリプト的な役割になる感じなので、結構いろんなことができそうです。この他のコンテナを起動したりといった辺りは、CodeBuildにはないですね。

workflowの機能も付いているようなので、それも試してみたいところですが、とりあえずここまで。

参考

*1:CLIで完全にエミュレートできるのかは不明ですが、、、

*2:README.mdなどに付けられる、CircleCIのバッジからのリンク先

*3:publicリポジトリにCircleCIつけて、プルリクでsleepかけるテスト入れられて1500分超えたら、どうなるんだろ?

*4:Freeプランの1コンテナだと、サンプルはビルド+PostgreSQLのコンテナで2個になりそうですが、動くのかな・・・?

docker for macのホストを指すドメイン名

手元のMacで開発をしていて、コンテナからホスト上で動作しているサーバに繋ぐ必要がありました。単純にlocalhostを使うとコンテナ自体を指してしまうので、それでは通信できません。ホストのIPをいちいち指定するのもなーと思っていたんですが、docker for macにはホストを表すdocker.for.mac.localhostというドメインがありました。*1 https://docs.docker.com/docker-for-mac/networking/#use-cases-and-workarounds

これでコンテナ -> ホスト上のサービスに、共通の設定で繋ぐことができます。

docker host portなどで調べると、nginxなどのWebサーバをコンテナで起動して、それにホストから接続するための設定のexposeや-pオプションが出てきます。ホスト->コンテナの方向の情報が多く、探すのに手間取りましたが、用意されていました。

ホストのポートを指定できるので、sshトンネリングなどで外部サーバとの通信経路を作っておけば、ローカルのコンテナから、外部サーバとの通信を行うといったことも可能です。

*1:docker 17.06からみたい

格安Android(g06+)買ってみた

持っているガラケーのバッテリー寿命が来て、5分も通話すれば落ちるぐらいになってしまいました。*1もう一度ガラケーに変えるという手もあるんですが、契約もめんどいので、MNPして格安SIMに電話番号も移そうかなと検討しています。それで今回移行する端末候補を買ってみました(まだMNPしたりSIM入れてないです)

選定条件は、基本電話を受けるだけなので、以下あたり

  • 4インチ以下の大きさ
  • android6以上で、新し目ないし、アップデート提供
  • 価格が高すぎない

最初、docomoXperiaシリーズのcompactを白ロムで買おうかなと思ったんですが、やはり3-6万ぐらいします。流れで、最近はかなり安いandroidもそれなりに出回っていることを知り、調べて行った結果、g06+*2というandroid7搭載で9,000円ぐらいのスマホを購入しました。1-2万円台ぐらいのHUAWEIのは、5インチ以上ばかりなので落選。

simseller.goo.ne.jp

amazonはOCN SIMセット*3

女性や子供など手が小さい人向けに特化し、4インチ液晶、2GBメモリという割り切った端末。同価格帯のよりはメモリが多いとのこと。外観は一昔前のAndroidという感じで高級感はないですが、シンプルで変ではないです。

ボディ標準色の赤色は、明るすぎず暗すぎずという感じで個人的には好きです。フロントは黒で、交換用のバックカバーが購入時に選べるので、そっちに変えることもできます。

android7が入ってるとはいえ、iPhoneほどの操作感はさすがになく、もたついたり、各種UIの慣れもあって雲泥の差。値段は1/10なので、そう考えると値段の割にはいいと思います。ただ、カメラは確実にチープなので使えないです。

個人的に電話を受ける+androidアプリの実験用なので、十分満たせると判断してます。androidはこういう特化型が出てくるのが面白いですね。Amazonでポチって翌日すぐ届くのもお手軽でした。

細かい使い勝手などは、他にも紹介されているので、細かいレビューはそっちを見た方が詳しいです。

*1:私はガラケー(電話受け用)とiPhone7(データ+SMSのみのSIM)の2台持ち

*2:goo久々に名前聞いたなー

*3:2017/09/20 amazon CAPTCHA出てたのでただのリンクに変更しました

GoでJSON文字列を整形し直す

Goで、JSONを返すWebAPIを呼んだ時、普通は結果をプログラムで使うので、対応する構造体を用意して、json.Unmarshal()などで変換します。

しかし、JSONをそのまま整形だけして出力したい場合があります。例えば、WebAPIを呼んで、そのレスポンスを見せるだけとか。curl | jq .みたいな感じ。

JSON自体の文字列がある時は、Unmarshal() -> 構造体 -> Marshal()ということまではする必要はなく、json.Indent()を使います。

func Indent(dst *bytes.Buffer, src []byte, prefix, indent string) error

prefixは空文字で、indentの方にインデントに使う文字列を渡します。ここでは半角スペース2個指定。

j := `{"key":"value","obj":{"obj_key":"obj_value"}}`
var buf bytes.Buffer
err := json.Indent(&buf, []byte(j), "", "  ")
if err != nil {
  panic(err)
}
indentJson := buf.String()

これを使うと、以下のように変換できます。

{"key":"value","obj":{"obj_key":"obj_value"}}

{
  "key": "value",
  "obj": {
    "obj_key": "obj_value"
  }
}

ちなみに改行インデントなしからだけでなく、2スペースからタブへの変換といった整形し直しも可能です。

逆に、インデントを全てなくす場合はjson.Compact()を使います。

func Compact(dst *bytes.Buffer, src []byte) error

使い方はIndent()のprefix, indent引数がないだけです。

全体のgo playgroundはこちら

Apexでlambda slack POSTにGoを使う

以前のエントリで、Lambda Node.js 4.3を使ってSlackにPostしていました。

reiki4040.hatenablog.com

普段Javascriptは書かないので、Goで書いてApexでデプロイする版を試しました。

ApexはLambdaのコードを管理(?)、デプロイするツールで、PythonやNode.jsなどのLambda対応言語はもちろん、GoをLambdaで実行(Node.js経由)することができます。

Apex自体は参考にしたページの方が詳しいのでそちらを。

dev.classmethod.jp

qiita.com

Apexを使ってGoでslackにpostするLambda functionを作る

今回のApexプロジェクトディレクトリを作って、初期設定します。

mkdir post-slack
cd post-slack
apex init

Project nameとdescriptionを聞かれるので、project name: post-slackとdescriptionは空白のままEnter。

             _    ____  _______  __
            / \  |  _ \| ____\ \/ /
           / _ \ | |_) |  _|  \  /
          / ___ \|  __/| |___ /  \
         /_/   \_\_|   |_____/_/\_\



  Enter the name of your project. It should be machine-friendly, as this
  is used to prefix your functions in Lambda.

    Project name: post-slack

  Enter an optional description of your project.

    Project description:

  [+] creating IAM post-slack_lambda_function role
  [+] creating IAM post-slack_lambda_logs policy
  [+] attaching policy to lambda_function role.
  [+] creating ./project.json
  [+] creating ./functions

  Setup complete, deploy those functions!

    $ apex deploy

ディレクトリ、ファイルが作成され、Lambda function用のRoleが自動作成されます。

slackにPOSTするfunctionの作成

新しいfunction用のディレクトリを作ります。go-generalは、general channelにPOSTしていたののGo版という意味でつけてます。

mkdir functions/go-general

次に、ここにあるGoのファイルを持ってきます。

curl -o functions/go-general/main.go https://gist.githubusercontent.com/reiki4040/afe3bd4317992b4748b0983f51058fae/raw/078b143186e03b45322d8373d5747afa78e801b8/main.go

最後に、環境変数用のfunction.jsonを作成します。(自分の環境のslack URLに置き換えてください)

echo '{
  "environment":{
    "SLACK_WEBHOOK_URL": "REPLACE YOUR SLACK WEBHOOK URL"
  }
}' > functions/go-general/function.json

ディレクトリ/ファイル構成は、こんな感じになります。

post-slack/
├── functions/
│   ├── go-general/
│   │   ├── function.json
│   │   └── main.go
│   └── hello/
│       └── index.js
└── project.json

deploy (Lambda functionの作成)

apex deployだけだと、サンプルのhello functionもアップされるので、function名を指定します。

apex deploy go-general

以下のように作成されます。

 • creating function         env= function=go-general
 • created alias current     env= function=go-general version=1
 • function created          env= function=go-general name=post-slack_go-general version=1

あとは元のエントリにあるように、functionの詳細から[Test]で、同じようにJSONを与えてあげると、slackにPOSTされます。 同様に、中編後編をやると、API gatewayでWebAPIにできます。

所感

Apex便利ですね。Goだとサードパーティライブラリを使ってもバイナリにまとまるので、Lambdaの実行環境の影響を受けません*1 その代わり、このapexのディレクトリ構成上、Goのvendoringは一工夫要りそうな感じです。

参考など

*1:cgo関係はダメかもですが、pure goは性質上いけるはず