RedShiftのQuery editorの注意
最近VUIなんだけどスキルじゃない部分を開発してるよくわからん僕です。
はい。
そんな中でRedShiftのよろしくない動きを見つけてしまったので注意喚起記事です。
RedShiftって何？
AWSのRedShiftです。
Query editorって何？
最近、ベータ版から正式版にランクアップしたRedShiftの機能で、AWSのGUIの画面ポチポチでSQLを発行できるやーつ。
RedShiftはPostgreSQLとある程度互換性があるのでJDBCなりでSQLを投げることができますが画面でできればラクチンではあるわけです。
で、AWSの開発者コンソールのGUIの画面でSQLを投げる機能としてQuery editorができたんだろうとは思います。
が、こいつがよろしくない動きをしてます。
クエリの実行ボタンを押さなくても実行される
Query editorはSQLごとにタブ画面になっていて便利です。
が、1回SQLを記述して実行した後、別のタブを開くなり、別の画面に遷移するなりなどをしたあとに再度SQLを実行した後のタブを開くと、実行ボタンを押さなくても勝手に実行中状態になります。
こいつがどうも画面のみではなく実際にSQL投げちゃってる可能性があるのでAWSサポートに連絡したら再現確認されました。
で、やっぱりSQLを意図せず実行されちゃうとデータの信頼性を損なうし
SELECTだけでもリザルトキャッシュとかに影響するかもだし・・・
更新系は再現する場合としない場合があるようですが、参照系は再現率が高いらしいです。
AWSサポートさんの調査結果だと動いてるように見えるだけの場合もあれば、実際に動いちゃってる場合もあるようで結構インパクトありそう。
そんなこんなでAWSサポートさんからは海外部署も巻き込んで原因究明にあたるけど時間かかりそうです。
10月30日に一旦進捗報告してくれるとのことです。
AWSサポートが約1週間も返答待ち宣言をするのはなかなかないので、それなりにインパクトがあるのかもですね。
というわけで、Query editorを使う場合は実行したら「クリア」を押してSQLを保存しないでおく運用で回避になりそうです。
ところで
週1ペースくらいでGlueとかRedShiftとかガンガン不具合踏んでて報告しまくってるんだけど、Amazonさんから何かもらえたりしないかなー
リンクジャパンさんに遊びに行ってきた
本日はリンクジャパンさんに遊びに行きました。
まさかの企業公式アカウントからTwitterでお呼ばれです。
仰る通りです！
— リンクジャパン公式アカウント (@linkjapan_iot) October 11, 2018
声で操作できる環境によって電池の無駄使いも減って社会貢献できますから一石二鳥です😉
ぜひ今度うちの会社に遊びに来てください！
リンクジャパンさんと言えば
スマートホームに力をいれている会社です。
eRemoteシリーズは家電量販店で見かけた方もいらっしゃるのではないでしょうか。
スマートスピーカーに話しかけると赤外線で家電操作ができるアイテムなどを販売なさっています。
お招きされたお部屋
スマートホームのデモルームみたいな感じのお部屋でした。
机の上にはデバイス類がずらり。
そして、最近リンクジャパンさんの公式サイトに追加されていたカーテンについても操作できました。
動画OKもらったのでYoutubeにあげました。
「おはよう」と「おやすみ」でカーテン、エアコン、扇風機、照明が同時操作されてます。
何を話してきたの？
スマートホームをテーマに、音声デバイスのお話や、公開されている他社事例、
それと僕の学生時代にセンサネットワーク、ユビキタスネットワークの一環で
スマートホームについて色々やっていた経験談などを話したりしてました。
デモルームでもあったので、操作して、
「こういう案はできますかね？」とか、市場感とか
技術的な話やビジネス的な話で盛り上がったので大変充実した時間でした。
ありがとうございます。
個人的に感じたこと
「家電操作できるぜ！すごいだろ！」
というよりは、
「操作する人（人間）がいかに便利に生活できるか」
に焦点を当てていて、出している製品もプレスリリースで派手にやるよりは、着実にできることをやっている誠実な会社だと感じました。
今回の訪問とまったく無関係な人の話ではありますが、その人が
「VUIはスマートスピーカー単体で完結される狭い世界ではなく、他のデバイスなどと組み合わせ行くべき」
とおっしゃっていて、まさにそれだなと感じました。
僕個人ではセンサネットワークは大学・大学院で結構やってたので、それが一般家庭でスマートホームとして実用的になったなぁと。
そしてやはり動いてるモノを見るのは楽しいです。
で、センサー類で遊べるネタをいくつか思いついたのでそれを創るかーとなりました。
非常に充実した時間でした。リンクジャパンさん、ありがとうございました。
AWS Glueがバグってるぅ～
AWS Glue（以下、Glue）のバグを踏みました。
ちなみに ぐるー って呼びます。
Glueを使おうとしたら、どうもうまく動かん。
いろんなところで、うまく動かん。
結果的にGlueそのものの不具合だったというお話。
原則、CLIではなく画面ポチポチでのお話。
そもそもGlue is 何
AWSのサービスのうちの1つでETLツール（データ分析とかするやーつ）です。
市販本であんまりGlueを使った話は目にしない。
PySparkが使えるので、データ量が多いとうまく並列に動いてくれる。
使いこなせれば。
日本語対応しきれていない
S3のデータをGlueを挟んでETLだー
せっかくなんでRDSに送ってみるぜー
と遊ぼうとしたらどうも動かん。
バリデーションエラーが発生する。
1 validation error detected: Value '28-9月-2018-10-13-午前-UTC' at 'logProperties.logStreamName' failed to satisfy constraint: Member must satisfy regular expression pattern: [\.\-_/#A-Za-z0-9]+ .
よくみたら、提供されているサンプルデータが日本語なのにバリデーションがマルチバイト対応してなくて引っ掛かるという罠。
サポートセンターにお問い合わせしたら、
「あ、ほんとだ。たしかに日本語対応できてないっすね。申し訳ないけどマネジメントコンソールを英語表記に変更してくだしあ。」
って返ってきた。
マジかよ。
CSV形式を読み取れずUnknownになる
S3にCSV形式のファイルを格納しておいて、Glueにて処理をしようとすると、
CSV形式ファイルの中身が1行であった場合はスキーマ判定等が正常動作しない。
2行以上のデータがあるとCSVとして認識されるが、以下のような、1行のみであり、かつ、改行コードが入っているCSV形式のファイルはUnknown扱いになって、クローラーが不具合を起こす。
＝＝＝＝
1行目：hoge,foo,huga\n
2行目：なにもなし
＝＝＝＝
AWS Loft Tokyoにいらしたエキスパートの方にも聞いてみたら
「え、マジすか？それサポート案件ですわ。報告してくれるとありがたいです」
とのことなので、これもサポートセンターにお問い合わせしたら
「あ、ほんとだ。たしかにうまく動かないわ。すまん。2行以上にしてくれ。」
と返ってきた。
マジかよ。
そりゃあたしかにETLのツールだからデータ元が1行というのはレアケースだろうけども、あり得るのであって、これは残念な感じである。
こういうのがありえるからこそ、使ってみて遊んでたんですけども。
配列は1からではなく0から始まるんだぜ みたいな感じを思い出す。
0行、1行、2行って真っ先にテストするところじゃなかろうか。
というわけで
Glue試してたら他にも思うところがたくさんできたので、今はあんまり使いたくない。。。
あと、そもそもお高い料金です。※他が安すぎるんだけども。
現在、本来やろうとしてることにホントにGlueを使うと、Glueの料金だけで月3桁ドルとかいきそうだったんで、結構なお値段です。
他のサービスや通信類は別料金なわけなので、Glueが活躍するようなETLをガンガンやる場合は、結構儲かってるのが前提なんじゃないかなと思いましたっと。
AWS Loft Tokyo に行ってきたぞい
本日（というか10月2日）は、10月1日からオープンしたAWS Loft Tokyo にて作業してました。
控えめにいって、最の高でした。
今後も通います。
AWS Loft Tokyoとは
詳しくは公式サイトをみてくれ！！
すーごいオシャレ空間で、AWSのソリューションアーキテクトなどの中の人と随時相談できる！
ワーキングスペースは平日10時～18時のみ。
それ以降はイベント会場としての利用になるっぽい？
ソファ席とかもある。
写真の数々
写真撮影OKだったので撮りまくった。
■入ってすぐのところ
■全体写真（一番に入ったので）
よくみると、どこかの駅とかに設置された、電話ボックスみたいな完全個室スペースもある。
■おしゃれ空間
窓際がカウンターになってて景色を眺めながら作業できる。
18時までに日が落ちれば、夜景を眺めながらの作業ができる。
■展示品の数々
■オレンジのやーつ
このオレンジのやつ、やたらでかいと思ったら、Amazonの工場で荷物を運ぶロボットのようです。
動画が流れてました。
■自販機
自販機、基本的に90円とかお安いお値段。 よくみると、ドデカミンとかリアルゴールドとかドクターペッパーが並んでるあたり「わかってる」感じ。
そして緑色のモンスターも170円。
■売店
サンドイッチ、スイーツ類、お弁当とかが売ってます。
コーヒー類も100円から。
お支払いはクレカ or AmazonPayです。
■ウォータサーバ
水は無料。
温水もでるっぽい？
■ゴミ箱
ゴミ箱おしゃれなんだけど、英語なので地味に一瞬悩む。
■ボールペン
作業してたら17時すぎにアンケート用のQRコードとボールペンもらいました。
混み具合
会場の10時凸した時点ではガラガラ。
今日は最大でも、全体の3分の2くらいの埋まり具合で、まったり空間でした。 ジャズ？も流れててオシャレ。
はい。
モバイルディスプレイ持って通います。
Alexaスキルアワード2018に一般参加した話
9月29日にAlexaスキルアワード2018のファイナルが開催されました。
僕は見事に落ちたので一般参加です。
当日どんなスキルがファイナリストだったかとかは以下の記事等でご覧ください。
当日の会場前の話
キャプテン九九が選出されていて、ボイスアップラボのコバヤシトールさんと会う話になってました。
普段は京都でご活躍なさっているので、東京に常駐はなさってません。
かといって、なんだかんだ東京には結構な頻度でいらっしゃっております。
というわけで、せっかくなので会場が12時で余裕もあったので、秋葉原に寄って普通ではない東京土産をプレゼントしました。
以前、抹茶のお菓子を頂いたので、抹茶ではあるけれど別の方向にベクトルが向かってるやつを選びました。
.@surumegohan お土産ありがとうございました！いやー、秋葉原感マックスなネタパッケージな上に、味も美味でした！こどもら大喜びでしたーw pic.twitter.com/IgV7P0nE6B
— ボイスアップラボ (@voiceapplab) 2018年9月30日
まさかのお子さんに振舞ったようで喜んでもらえたご様子です。
良かったです。
ちなみに僕これ食べたことないんで（ひどい）、近日中に自分でも買って食べてみます。
当日の審査前の1時間
会場から審査まで1時間フリータイムがありました。
そこで、ファイナリストのスキル一覧をみつつ、スポンサー企業のブースをまわりつつ、グッズもらったりしてました。
それと各方面にご挨拶。
審査タイム
24スキルが1スキルあたり3分間の発表でバッサリと切られ、2分間質疑という形式でした。
いろいろなスキルがあってすごい面白かった。
あーそういうのは自分じゃ思いつかないなぁというスキルが多かった。そりゃそうだ。
けど、この審査方法すごく勿体ないと感じました。
先述のキャプテン九九は冒険ストーリーを楽しむ要素も強いのに、そこがプレゼンできない。
他のスキルも、スキル制作にあたる試行錯誤とかがプレゼンできない。
逆に なんでこれがファイナルなんだろうか という作品も正直ありました。
事前審査が50文字までのテキスト文章と動画で、本番も3分間ってなかなかひどいなぁと。
事前審査は、せめて1000文字程度の語るテキストフォームとかはあっても良かったんじゃなかろうか。
もちろん、事前審査員が技術に長けているかは別の話だし、ユーザ目線であるならば、
苦労話よりも動画で魅力を語るべきなのではありますが、それにしてもあんまりだなぁと。
そして公式ハッカソン参戦者や、スポンサーのツール類を使ってる人はもちろん選ばれやすいわけで。
あとはAmazon以外の何かしらのデバイスを用いてるスキルが受賞されやすかったなぁと思いました。
特にクラメソの部門賞は
「AWSのサービスをいかに使いこなしているかが評価ポイント」
とのことでしたけど、あれだとそこを評価しきれてないんじゃないかなぁと。。。
ファイナリストや受賞者の方々と飲み会できたんですけど、
「3分ってなんなんだ。正直きつかったし、語れなかった。」
と。
多くの部門があって、1日で終わらせたいという意図もあるのでこうなったとは思いますが、なんか もやっと する感じでした。
事前審査をしっかりやって、本番は10個くらいのスキルの方が良かったのではなかろうかと僕は思いました。
授賞式
どうも審査員の中でいろいろ悩んでたみたいで、審査がかなり延長しました。
たしかに、Amazon非公式とすることを明記しないと公開できなかったスキルとか
倫理的に選んでいいのかどうか微妙なスキルとかも選出されてました。
審査結果は冒頭の各種サイトの通りなのですが、エバンジェリストの畠中さんが泣いていたのが印象的でした。
今回の応募総数が365。
僕からしたら一桁少ないと感じましたが、どうも締め切り2週間前までは2桁しか応募がなかったようで、
たしかにそのころ、畠中さんが各方面に宣伝してたのを覚えています。
畠中さんが いい人 なのは、以前から知ってましたが
あの場で泣けるというのは、それだけAlexaに本気で、それだけ大変だったんだなと僕は感じました。
それだけ本気で仕事できてるってすごい。
なので、今回のアワードに向けてスキルを作った・作ろうとした人、申請した人、Amazonの中の人、審査員の人
みんな「お疲れ様でした」という感じです。
ちなみに、授賞式の際、座席が空いてなくて審査員席の目の前に僕は座っていたのですが、
授賞式終わってアンケート答えてたら未だに泣いてる畠中さんが目の前にいたので
「お疲れ様でしたー！」
と声をかけたら
「あ゛り゛か゛と゛う゛こ゛さ゛い゛ま゛す゛ううううう」
って両手で僕の手を握りながらまた泣いてました。
「長い付き合いになると思いますが今後もよろしくお願いしますーーー」 と感情を爆発させている畠中さんがとても印象的でした。
同時に、次回こそノミネートされていくぞと思った次第です。
二次会
ファイナリストは懇親会があったみたいですが 一般参加者はそれに参加できず、そのあと二次会で合流しようとなってました。 そこに、他の受賞者やファイナリストも一緒に二次会行こうぜということで、会場近くで二次会やりました。
受賞者の苦労話は面白かったです。
人生の話とか特に面白かったです。
なんか、そこに集まってたメンバーで次回グランプリとるぞ また泣かせてやるぞ となってました。
そんなこんなで、Alexaスキルアワード2018 おしまいです。
お疲れ様でした。
VUI LT6にめっちゃ準備して登壇した話
昨日はVUI LT6が新宿にて開催されました。
そこでは登壇立候補が採択されたので登壇させていただきました。
ありがたいことにVUI LTでは3回目の登壇です。
資料も公開しておきました。
ツイートもまとめられております
いつもイベント中にツイートをまとめるという技をつかうyoutoyさんありがとうございます。
何を話したか
散々宣伝している技術書典5にだすスマートスピーカーを遊びたおす本の内容紹介をしました。
僕も執筆&編集はしてるけど、執筆者は6人なので実質、他人のふんどしというプレイ。
何を準備したか
今回、自分のセッションとはいえ、VUI合同誌の本の宣伝であるために執筆者6人分を背負っての登壇だと自覚しました。
そのためやれるだけの準備はやって挑みました。
■みずからトリを狙う
VUI LTは慣習で、立候補して採択されたら登壇の順番が先着順で選べます。
そこに着目して、ソッコーで一番最後のトリを選びました。
その理由は
「本日登壇していた、imajoさん、田中みそさんもこの本を書いておりまして」
と言いたかった点があります。
もちろん関係者の承諾は得てから実施しました。
トリは久しぶりだったので自分としてもやってみたかったというのもあります。
■西脇さんの新エバンジェリスト養成講座を熟読
マイクロソフト社エバンジェリストの西脇さん。
日本ではエバンジェリストの先駆けのような存在です。
西脇さんはエバンジェリストの養成講座を実施していて、その内容が本になっているので購入して、熟読しました。
もう付箋と赤ペン引きまくりです。
LTに関しての記載は少ないですが、プレゼンするにあたり、資料作成から話し方のテクニックまで記載されており、ものすごい価値がある本です。
LTで全部の実践は無理だと判断したので昨日の登壇は
・問いかける
・話す際に修飾語をつける
・視線誘導
・3割がつかみ、7割が中身
などを実践しました。
■LTの評判の良い動画を視聴してまわる
僕が知ってる範囲で登壇のうまい人の動画を見て回った後に
LTに特化したサイトをたまたま見つけました。
2012年の記事みたいです。
このサイトはとても良かったです。
大変参考になり、ありがたい限りでした。
■スライド作成
今回のスライドの大本（おおもと）は、SSロゴ等を作ってくださったデザイナさんがパワポのテンプレートを、ありがたいことにいきなり無料でくれまして、それをもとにカスタマイズしました。
アニメーションがたくさん入っていてすごかったのですが、アニメーションは好き嫌いがわかれるのと、
西脇さんの本で「アニメーションは極力つかわない。使うならここぞという時のみ」とあったので全部とっぱらいました。
何よりLT5分という短い時間でアニメーションに秒単位でも時間をとられるのはリスクと考えました。
そんなテンプレートをもとに、高橋メソッドを織り交ぜました。
高橋メソッドはこちら
www.slideshare.net
要するにでかい文字を投影して、パンパン進んでいくスタイルです。
なので、西脇さんの「つかみは3割、内容7割」のつかみの3割に該当する箇所で高橋メソッドを使いました。
■ひたすら、すぶり
登壇前に何度もすぶりしました。
5分間でどこまで話せるか、どう流れるか、どう問いかけたらいいか、をとにかく練習しました。
これにより、本番はほぼ5分ジャストで話すことができました。
参加してる人たちがいつもと違う
昨日はVUI系のイベントが他にも実施された重なった日でした。
そして何より、いつもと参加者層が異なりました。
プレゼンしてて思いましたが、スーツやYシャツの人がとても多かった。
それらのビジネス層がVUIのイベントにやってくるようになったのかなと捉えています。
同時に、今まではアーリーアダプターとしてノリの良い方々が多かったためか
どちらかというと若干静かな雰囲気でのイベントになりました。
遊びたおす会でふざけていたので、そのあとだからかもしれませんが、、
ともあれ、ここからどう盛り上げるかが課題とも認識しました。
登壇した結果
何名かが「この本欲しい！」「プレゼンうまい」とおっしゃってくれたのでうれしい限りです。
今回のテクニックは今後も使えそう
ちなみに僕個人が面白かったセッション
僕個人が面白かったセッションはgooglehomerさんです。
昨日のVUI LTは全体的に真面目な感じのセッションが多かったのですが、そんな中で
「戦車を照明器具として登録する」
というパワーワードが炸裂してめっちゃ面白かったです
あと、imajoさんの指パッチンでOK,Googleさせる話
あれはなかなかすごいです。
「かっこつけたい」
というモチベーションとても良い！
以上！
「「すぐやる人」と「やれない人」の習慣」を読んだ
掲題の「「すぐやる人」と「やれない人」の習慣」を今日買って、今日読んで、その感想はnoteにあげたけれど、本そのものと直接関係ないことがあったので、それはこちらに記載することにした。
・Amazon 「すぐやる人」と「やれない人」の習慣
https://www.amazon.co.jp/dp/475691876X/
・note
note.mu
この本を買った理由
この本を買った理由は、本屋さんをうろうろしてたら視界に入ってきて、
「どうせだいたい言ってることはどの本も同じだろ～？」
「けどすぐ動ける秘訣みたいなのは数個くらいあったらラッキーだなー」
だったわけであったんだが、パラパラめくってたら章立ての中に、人間関係とか感情コントロールとかの章があった。
先日、ある場面で、めっちゃ怒ったことがあって、
「あれはやりすぎたかもなー・・・」
とは思ってて、
「かといってアンガーマネジメント系はうまくいかないんだよなー・・・」
とは思ってたところに、この本に関連する記載があった。
「すぐやる」がテーマだったのに、そこを突いてくるかみたいな面があったし、
この本は付箋貼るなり、ボールペンでメモったりするモノだと認識して紙の本でお買い上げして読んでいった。
感情関連の章で得たもの
僕の観測範囲のアンガーマネジメントは
「怒ったら6秒待ったら落ち着く」とか
「一旦受け止めてから認知（認識）を変える」（認知行動療法）とか、
そういう系は知ってたんだけどイマイチ向かない。
その手の本は「怒る」＝「よろしくない」という切り口である。
けど、この本は
「いいじゃん怒ってもさ」
という流れである。
直接的にここの本の内容を記載するのはよろしくなさそうなんだけど
怒ったうえでどうするという方法があって、今までいくつかその手の方法もみてきたけど、本書については僕にとっては
「あーなるほどなー それならできるかもなー」
というところがあったので、今後はそれをしてみる。
すぐやるにはどうするか
この本のメインテーマは「すぐやる」にはどうするか。
ではあるが、大半が世の中に転がってる系だった。
それはnoteの方に書いた。
けれども、50個のすぐやるためのアプローチが書いてあるので、いくつかは試せるものがあるとは思う。
これ系の本を読んだことがない人はパラパラめくってもいいかもしれない。
結局のところ、本書にも記載があったけれど、そもそも本を読む目的は、本を読んでインプットして、 何かしら行動する（アウトプットする）ことであってそれができないなら時間とお金が無駄になるなぁと。
