blog

Macの新規設定項目

Sun, 31 Oct 2021 17:06:03 +0900

新しいMacを買ったとき、前のMacから環境移行せずに新しく設定したい派である。とはいえ、いつもやることはある程度決まっているのでそれを記録しておく。

電源投入

電源投入してからの初期セットアップはなるべく後回しにせずやってしまってOK。フルネームとアカウント名が分かれているが、フルネームにも本名は入れずアカウント名と同じでよい。

CapsLockをCtrlに置き換え

キーボード > 修飾キー
Caps LockキーにControlキーを割り当てる

トラックパッド

軌跡の速さ

トラックパッド > ポイントとクリック > 軌跡の速さ
右から5番目にセット

３本指のドラッグ

アクセシビリティ > ポインタコントロール > トラックパッドオプション
ドラッグを有効にする > ３本指のドラッグ

PC名・ユーザ名変更

システム環境設定 > 共有 > コンピュータ名

秘密鍵

古いPCから鍵ペアをコピーする。 AirDropを使うのが良い。

※AirDropならP2Pの通信なのでリスクは低い。鍵を使い回すリスクはここでは考えない

Git

ターミナルを開いて、

$ git -v

とかすると出てくるコマンドライン・デベロッパ・ツールをインストールする。この中にGitも入っている模様。自前でHomebrewとか使ってそれぞれ必要なツールをインストールしたくなるが、一応入れておく。この手順はそのうち見直すかも。

Homebrew

Webのトップにインストール用のコマンドが記載されているので、その通りにインストールする。

tools

$ brew install --cask bettertouchtool
$ brew install --cask google-chrome
$ brew install --cask google-drive
$ brew install --cask bartender

ちなみにBetterTouchToolはWindowのスナップ機能が使いたいだけなのでほぼデフォルト設定でOK。環境設定から自動起動の設定をして、ライセンスキーを入れるだけ。

ターミナル設定

カラースキーム

環境設定 > プロファイルでProを選択してデフォルトボタンを押してデフォルトにする。
環境設定 > 一般 > 起動時に開くの方もProにする。

起動時ウィンドウサイズ

開きたいサイズに手動で調整して、ウィンドウタイトルからサイズを確認する。
環境設定 > プロファイル > ウィンドウ > ウィンドウサイズに入力。

シェル終了時にウィンドウを閉じる

環境設定 > プロファイル > シェル > シェルの終了時で正常終了した場合は閉じる。

dotfiles

.vimrcや.bashrcなどの設定ファイルはGitHubで管理しているのでそれを使う。

$ cd ~/git
$ git clone git@github.com:shidetake/dotfiles.git
$ cd dotfiles
$ make install

asdf

rbenvのような言語のバージョン管理ツールの現時点での最適解がたぶんこれ。 rbenvとかpyenvをまとめて管理できるようにしたのがanyenvで、ちょっと前までこれが主流だったっぽいが、より使いやすく統合したのがasdfらしい。env系の管理ではなくて、直接いろんな言語の管理をするようなので、アプローチは大きく違うっぽいけど。

$ brew install asdf
$ echo . /opt/homebrew/opt/asdf/libexec/asdf.sh >> ~/.zshrc

ターミナルを再起動する。

Python

$ asdf plugin add python
$ asdf list all python

表示されるバージョンから選んで

$ asdf install python 3.10.0
$ asdf global python 3.10.0

pipのバージョンも最新にしておく。

$ pip list

してWARNINGが出てきたらそれに従ってバージョンアップする。

Ruby

上のpyhonをrubyに置き換える

vim

$ brew install neovim
$ pip install pynvim

Finder設定

Finderのパスバー表示

Finder > 表示 > パスバーを表示

Finderを常にカラム表示

適当な階層でカラム表示に変更したあと、表示 > 表示オプション > 常にカラム表示で開く

よく使う項目を整理

ホームディレクトリを追加
最近の項目を削除
アプリケーションを削除
デスクトップを削除
書類を削除

新規Finderウィンドウでホームディレクトリを表示

環境設定 > 一般 > 新規Finderウィンドウで次を表示

拡張子を表示

環境設定 > 詳細 > すべてのファイル名拡張子を表示

タグを非表示にする

環境設定 > サイドバー > 最近使ったタグのチェックを外す

その他

ドックを隠す

ドックを右クリックして”自動的に非表示”をオンにする

macOS起動時にrailsを走らせる

Mon, 03 May 2021 22:26:56 +0900

メインマシンとして使っているMac miniを自作サービスのサーバーとしても使っていて、毎回立ち上げるのが面倒だったので自動で起動するようにした。

PATH周りでトラブったので備忘録を残しておく。

launchd

通常のアプリの起動ならGUIで設定することができるっぽいが、自作のRailsアプリなので launchdを使うことにした。

init.dやsystemctlのmacOS版らしい。

plistファイル

plistファイルというのに実行するコマンドや条件を書いておいて、loadすると起動時に自動で実行されるようになる。

plistファイルは~/Library/LaunchAgents/に置いた。サーバーアプリケーションだから/Library/LaunchDaemons/に置くのが正解な気はするけど、 rootが実行するとなるとrbenvやbundlerあたりがややこしくなりそうだったので避けた。試してないので案外すんなり通るかもしれないが。

以下がサンプル。ファイル名はlocal.mac.sample.plistとでもしておく。

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
  <key>KeepAlive</key>
  <true/>
  <key>Label</key>
  <string>local.mac.sample</string>
  <key>ProgramArguments</key>
  <array>
    <string>echo</string>
    <string>hoge</string>
  </array>
  <key>RunAtLoad</key>
  <true/>
  <key>WorkingDirectory</key>
  <string>/Users/shidetake</string>
  <key>StandardOutPath</key>
  <string>/Users/shidetake/sample.plist.log</string>
  <key>StandardErrorPath</key>
  <string>/Users/shidetake/sample.plist.log</string>
</dict>
</plist>

WorkingDirectoryで実行する場所を選べる。あと大事なのがStandardOutPathとStandardErrorPath。これをちゃんと設定しておくとデバッグしやすい。

echo hogeの部分をrails sにしてやるだけで動くように見えるが実は動かない。ここの対処がキモだが、一旦後回しにしてplistをloadする方法を先に説明する。

plistのload

$ launchctl load local.mac.sample.plist

こんな感じ。 unloadする場合はunloadに変えればOK。

railsを実行する際の注意

ここがこの記事のメイントピック。上述したように、単純にrails sをlaunchdから実行しようとしてもうまくいかない。

PATHの問題

どうやらlaunchdで実行する際には通常のPATHが通ってないらしい。なので、単にrailsと入力しても、そんなコマンドはないと怒られてしまう。

ならばフルパスにしたら終わりかと思ったらそうでもない。

なぜか発生するJavascriptのランタイムエラー

エラー名でググっても、nodejsを入れたらいいとか、そんなのしか出てこない。普通に実行するときはできているので、そういう問題ではない。

おそらくこれもPATHの問題と思われる。結局railsだけでなく、依存関係のあるプログラムもPATHが通ってないと動かない。まぁ当然だ。

launchdに環境変数を設定する方法

plistにEnvironmentVariablesというパラメータを設定してやると、環境変数を設定できる。ただしこれを使うには/bin/zsh -c rails sというように一度zshを起動してやる必要がある。理由は不明。

完成形のplist

ということで、PATHを正しく設定して、zshを起動してその中で実行する形にしたのがこれ。

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
  <key>KeepAlive</key>
  <true/>
  <key>Label</key>
  <string>local.mac.rails</string>
  <key>EnvironmentVariables</key>
  <dict>
    <key>PATH</key>
    <string>/Users/shidetake/.rbenv/shims:/Users/shidetake/.rbenv/bin:/usr/local/bin:/usr/bin:/bin</string>
  </dict>
  <key>ProgramArguments</key>
  <array>
    <string>/bin/zsh</string>
    <string>-c</string>
    <string>rails s</string>
  </array>
  <key>RunAtLoad</key>
  <true/>
  <key>WorkingDirectory</key>
  <string>/Users/shidetake/git/rails</string>
  <key>StandardOutPath</key>
  <string>/Users/shidetake/git/rails/rails.plist.log</string>
  <key>StandardErrorPath</key>
  <string>/Users/shidetake/git/rails/rails.plist.log</string>
</dict>
</plist>

参考

任意のGoogle APIをRubyで使うときの手順

Sun, 22 Dec 2019 17:53:28 +0900

GmailのAPIについては以前記事にしたが、別のAPI使うときにどうするのか、毎回悩むので汎用的な部分はここにまとめることにした。

今回使いたくなったのはGoogle Photos APIsなのでこれを例に進めるが、汎用的に使えるように書く。

APIの有効化

Gmailのときと同じく、Google API Consoleで使いたいAPIを有効化する。ライブラリからAPIの検索ができる。今回は’Photo’で検索すると、Photos Library API¹が出てくるので、選択して、’有効にする’をクリック。

このページにドキュメントへのリンクがあるので、開いておく（あとで使う）。

続いて、Google API Consoleのトップに戻ってから、認証情報に進む。

認証情報を作成 -> OAuthクライアントID -> その他

で認証情報を作成して、JSONファイルをダウンロードする。

Scopeの取得

APIのドキュメントにScopeが書かれているので、それを探す。 Photos Library APIの場合は、Overviewの中のAuthorizationにScope記載ページへのリンクがあった。ここから、必要な権限を取れるScopeを選ぶ。

ちなみにGmailとかDriveだとgoogle-api-clientというgemにScopeのパスを定義した定数があるので、それを使うことが多い。ここに使いたいAPIがあればそれを使うと良い。

Access Tokenの取得

googleauthというgemを使う。

$ gem install googleauth

からの

require "googleauth"
require "googleauth/stores/file_token_store"
require "fileutils"
require "json"

class Auth
  OOB_URI = "urn:ietf:wg:oauth:2.0:oob".freeze
  CREDENTIALS_PATH = "credentials.json".freeze
  # The file token.yaml stores the user's access and refresh tokens, and is
  # created automatically when the authorization flow completes for the first
  # time.
  TOKEN_PATH = "token.yaml".freeze
  SCOPE = ['https://www.googleapis.com/auth/photoslibrary.readonly']

  def initialize
    authorize
  end

  private

  ##
  # Ensure valid credentials, either by restoring from the saved credentials
  # files or intitiating an OAuth2 authorization. If authorization is required,
  # the user's default browser will be launched to approve the request.
  #
  # @return [Google::Auth::UserRefreshCredentials] OAuth2 credentials
  def authorize
    client_id = Google::Auth::ClientId.from_file CREDENTIALS_PATH
    token_store = Google::Auth::Stores::FileTokenStore.new file: TOKEN_PATH
    authorizer = Google::Auth::UserAuthorizer.new client_id, SCOPE, token_store
    user_id = "default"
    credentials = authorizer.get_credentials user_id
    if credentials.nil?
      url = authorizer.get_authorization_url base_url: OOB_URI
      puts "Open the following URL in the browser and enter the " \
           "resulting code after authorization:\n" + url
      code = gets
      credentials = authorizer.get_and_store_credentials_from_code(
        user_id: user_id, code: code, base_url: OOB_URI
      )
    end
    credentials
  end
end

Auth.new

ここで、CREDENTIALS_PATHはダウロードしたJSONファイル。これはrbファイルと同じ場所に置いている前提。また、SCOPEには取得したScopeを書く。

このスクリプトを実行すると、初回はAccess Tokenを取得するためのページへのURLが表示される。ブラウザでここを開くと、アクセス権限を渡してよいか聞かれるのでOKを押すと、コードが表示されるので、それをターミナルに貼り付けてエンターキーを押すと、 Access Tokenが取得できる。

ここでの名前はPhotos Library APIだけど、ドキュメントにはGoogle Photos APIsと出る ^[return]

素のRubyで日時を扱う

Mon, 16 Dec 2019 23:07:30 +0900

Railsではなく素のRubyで日時を扱うときのベストプラクティスについて。毎回悩むのでここに書いておく。

Timeを使うか、Dateを使うか、DateTimeを使うか。それについては RubyとRailsにおけるTime, Date, DateTime, TimeWithZoneの違いに従ってTimeを使う。

これで間に合う場合は終わり。

ただ、ちょっと計算したいとなったときには、やはりActiveSupportを使うのがよい。 ActiveSupportを使うかどうか迷うポイントとして、一部の機能しか使わないのに、あんなに巨大なライブラリを使ってしまっていいのだろうか…という罪悪感があると思う（あるよね？）。

その罪悪感を小さくするために、ActiveSupportには一部の機能だけをrequireできるようになっている。本当のミニマリストは使う機能だけをrequireするのかもしれないが、ここは少し妥協して、日時系の機能全般をrequireすることにする。

require 'active_support/time'

これで大抵の機能が使えるようになる。

https://github.com/rails/rails/blob/master/activesupport/lib/active_support/time.rb
を見るとわかるが、このファイルは正にそのためのものだ。

MakeMKVとHandBrakeによるBlu-lay Discリッピング

Sun, 10 Nov 2019 17:00:51 +0900

DVDのリッピングについて以前書いたが、ブルーレイに未対応だったので対応した。

概要

HandBrakeではBlu-rayをそのままリッピングできないので、MakeMKVというソフトを使う。 mkv形式にしてくれるので、これだけでリッピング完成としてもいいが、ほとんど圧縮かけてないようなので、HandBrakeを使って圧縮する。ついでに必要に応じてチャプター毎に分割する。

MakeMKVのインストール

Homebrewには無いので公式サイトからインストーラーを使う。

MakeMKVの使い方

GUIもあるが、ここではmakemkvconというCUIを使う。おそらく/Applications/MakeMKV.app/Contents/MacOS/makemkvconにあるので、ここにパスを通す。

makemkvcon mkv dev:/dev/disk2 all ~/dist

こんな感じ。/dev/disk2にはBlu-lay Discを入れたドライブを環境に応じて設定する。 ~/distにファイルが出力される。

HandBrakeによる加工

このままだとかなり重たいファイルなのと、場合によってはチャプターごとにファイルを分けたいので、 HandBrakeを使って加工する。これについてはDVDリッピングのときと同じ（入力ファイルをisoでもDVDドライブでもなくMakeMKVで出力したmkvにするだけ）なので割愛する。

お約束

違法なリッピングを推奨しているわけではないので注意。コピーガードされたBlu-rayをリッピングするのはダメ。ぜったい。

Heroku上のRailsアプリのDBをリセットする

Sun, 28 Oct 2018 11:15:57 +0900

HerokuでホスティングしているRailsアプリのDB構造を変えて、 rails db:migrate:resetしたくなったんだけど、そのままのコマンドではだめだったので調査した。

失敗したときのログがこちら

rails aborted!
ActiveRecord::ProtectedEnvironmentError: You are attempting to run a destructive action against your 'production' database.
If you are sure you want to continue, run the same command with the environment variable:
DISABLE_DATABASE_ENVIRONMENT_CHECK=1

どうやら、productionのDBを破壊するようなコマンドはそのままでは通らないらしい。ということで、ここに書かれているように、DISABLE_DATABASE_ENVIRONMENT_CHECK=1にして実行する。以下にようにコマンドに続けて環境変数をセットするだけ。

$ heroku run rails db:migrate:reset DISABLE_DATABASE_ENVIRONMENT_CHECK=1

ちなみに、このようにコマンドに続けて環境変数をセットしただけだと、一時的に環境変数を変えるだけなので安心。常にDISABLE_DATABASE_ENVIRONMENT_CHECK=1にしておきたい場合は、

$ heroku config:set DISABLE_DATABASE_ENVIRONMENT_CHECK=1

とすればよいが、危険なので推奨しない。

Dropboxで自分専用のPodcast配信

Wed, 29 Aug 2018 23:13:09 +0900

最近Podcastにハマっている。 Rebuild.fmから始まり、backspace.fm、TCFM、バイリンガルニュースなど。

その流れで、過去に録ったラジオを聞きたくなり、古いHDDからmp3を引っ張り出してきた。できればPodcastと同じように聞きたいなと思い、自分専用に配信すればよいのでは、と考えて作ってみた。

スクリーンショット

当然、著作物は私的利用に留めること。音源もPodcast配信用のRSSファイルも自分しかアクセスできない場所に置いているので私的利用の範囲内。

動機

上でも書いたが、Podcastにハマっているので、それと同じ体験で聞けるととても楽。音楽再生用のツールで聞くと、レジューム再生できないだろうし、再生速度も変えられないし、普通に音楽聴きたいときにランダム再生でラジオ流れてくるの嫌だし。

サーバー選定

タイトルにも書いたが、Dropboxを使うことにした。 VPSでも自宅サーバでもなんでもいい気はするが、なんとなく。

Dropboxについて

Dropbox APIというものを使って、ファイルのアップロードと、直リンクの取得を行う。 Dropbox APIの使い方についてはQiitaあたりで探してほしい。

APIを使って取得できるのは共有リンクというもので、直リンクではないのが注意点。共有リンクのwww.dropbox.comという部分をdl.dropboxusercontent.comに置き換えて、末尾にある?dl=0という文字列を削除すると直リンクになる。

配信方法

Podcastというのは、RSSフィードに書かれているリンク先のmp3を引っ張ってくるだけの仕組みなので、 mp3をDropboxにアップロードして、その直リンクをRSSに書いて、更にそのRSSファイルをDropboxにアップロードすればよい。その直リンクを手持ちのPodcastクライアントに読ませれば完成。

スクリプト

mp3が少ない場合は手動でやってもいいが、今回は100本以上の番組だったので、スクリプト化した。 GitHubにdropcastというリポジトリに、今回作成したスクリプトをおいた。

mp3フォルダに置いたmp3をDropbox APIを使って指定したディレクトリにアップロード
アップロードしたmp3の直リンクを取得し、それをもとにPodcast用のRSSファイルを生成
生成したRSSをDropboxにアップロードして、直リンクを標準出力

という処理を一気に実行してくれるシェルスクリプト。 3行目にDropbox API用のTOKENを入力して、mp3ファイルを用意すればあとは実行するだけ。最後に出力されるリンクを、手持ちのPodcastクライアントに入力すればOK。

オプションとしてタイトルとDropbox上のパスを変更できるようにしている。

おまけ

結構いい感じで使えるようになったけど、気になるのがサムネイル画像。最初はどうでもいいと思っていたが、ここまで来たら画像まで完璧にしたくなってしまった。さすがに番組紹介的な文章はいらないけれど、サムネは欲しい。

ということで、スクリプトには含めてないけれど、サムネイル画像を手動で設定することにした。画像もDropboxにアップロードしたものを使う。いつものように直リンクを取得して、RSSファイルのtitleの下あたりに、

    <itunes:image href="https://dl.dropboxusercontent.com/s/*/thumbnail.jpg"/>

こんな感じで書けばOK。ただしクライアントアプリの作り次第なのかDropboxの問題なのかわからないが、反映には結構時間がかかる。RSSファイルの名前を変えて直リンクを生成し直せばすぐに反映される。

地域ごとのマンション単価をGoogleマップで見る

Sat, 25 Aug 2018 17:40:38 +0900

最近、新築マンションの購入を検討し始めた。そこで気になるのが、周辺の相場だ。ということで、Googleマップのマイマップを使って地域ごとの相場を視覚的に確認できるようにした。

新築マンションは似たような地域で同時に建つことは稀なので、中古マンション価格から推測する。

中古マンションは売出し価格と成約価格に乖離があることが珍しくないので、できれば実態に近い成約価格を使いたい。

REINS Market Informationというサイトでは、地域ごとのマンション・戸建の成約価格を調べることができる。

これを使って、Googleマップにインポート可能な形式のデータを作成する。

スクリーンショット

完成系のイメージはこんな感じ（というか、完成したスクリプトで作ったマップ）。

東京都心の単価は高すぎてサチってしまっている。本来買いたいレンジが単価100万以下なのでしょうがない。

成果物

GitHubにreins_mapというリポジトリを作成して、成果物をおいた。使い方等はREADMEを読んでほしい。Rubyを使った。

Yahoo!ジオコーダAPIで住所から経度緯度を取得

Thu, 16 Aug 2018 15:56:34 +0900

Rubyを使う。

アプリケーションID登録

まずはAPIを使うための登録。アプリケーション登録ページから登録できる。デフォルトの設定のまま登録でOK。

アプリケーションIDを登録するに記入例があるので、ちゃんとした登録をする場合は参考になる。

お試しアクセス

登録時に表示されるClient IDを使って、以下のURLにブラウザからアクセスする。 CLIENT_IDという部分を自分のClient IDに置き換えること。東京都の各区の情報が表示されれば成功。

https://map.yahooapis.jp/geocode/V1/geoCoder?appid=CLIENT_ID&query=東京都

Rubyでアクセス

上と同じく、CLIENT_IDという部分を自分のClient IDに置き換えること。

require 'json'
require 'open-uri'

CLIENT_ID = 'CLIENT_ID'

class Geocoder
  def exec

    base_url = 'https://map.yahooapis.jp/geocode/V1/geoCoder'
    params = {
      'appid' => CLIENT_ID,
      'query' => '東京都',
      'results' => '1',
      'output' => 'json',
    }
    url = base_url + '?' + URI.encode_www_form(params)

    res = JSON.parse(open(url).read)
    lon, lat = res['Feature'][0]['Geometry']['Coordinates'].split(',')
    puts "経度: #{lon}"
    puts "緯度: #{lat}"
  end
end

geocoder = Geocoder.new
geocoder.exec

AWSのRDSインスタンスをCLIで操作

Sun, 13 May 2018 17:45:37 +0900

AWSのRDSは使っていないときは停止しないともったいない。とは言え、毎回ブラウザでログインして操作するのはかったるいので、コマンドラインで操作できるようにした。 awsコマンドは既に導入しているという前提。

インスタンス名の取得

操作するインスタンスの名前を取得する。自分で名前を付けているので、わざわざ取得しなくても知っていると思うが。飛ばして次に進んでも良い。

$ aws rds describe-db-instances

とすると、ずらずらとインスタンスの情報が出てくる。 DBInstanceIdentifierという項目に名前がある。

停止

以下のコマンドで停止できる。

$ aws rds stop-db-instance --db-instance-identifier $instance

開始

以下のコマンドで開始できる。

$ aws rds start-db-instance --db-instance-identifier $instance

GitHubに簡単に操作するためのシェルスクリプトを置いたので、参考にして欲しい。インスタンスの名前と状態のリスト表示、全インスタンスの開始、全インスタンスの停止ができる（はず）。手元の環境だと1インスタンスしかないので、複数インスタンスがある場合のテストはしていない。

参考

RDS の停止機能を使ってコストを半分まで削減してみた

画像を任意のサイズ（容量）に変換する

Sun, 06 May 2018 21:37:25 +0900

テストのために容量の大きい画像が必要になったが、案外見つからなくて、結局ImageMagickで適当な画像を変換して作ることにしたので、そのやり方を記す。

iPhoneとかで取った写真だと2〜3MBくらい。今回欲しかったのは5MB以上だったのでダメ。

前に一眼レフで撮ってもらった写真があったなと思い、Google Photoで探したら、数百KBくらいだった。 Google Photoが頑張って圧縮しちゃっていたようだ。

インターネットで適当に探しても、5MB以上となるとなかなか出てこない。 1GBオーバーの天体画像なら出てきたが、さすがにでかすぎた。

ということで、ImageMagickに頼ることにした。

convert input.jpg -resize 2048x2048 output.bmp

こんな感じ。ビットマップなので、2048x2048の画像でだいたい12MB。

完全に任意の容量にするにはちょっと計算が必要だけど、ざっくりでいいならこれで作れる。ビットマップにしているのは、無圧縮のほうが計算しやすいため。 RGBそれぞれ1バイトずつなので、1画素あたり3MBになる。 1024x1024サイズだと、画素数がちょうど1Mなので、3MB。5MBには少し足りないので、縦横倍にして4倍の12MBの画像になるというわけ。

Herokuの公開URLをコマンドで確認する

Sat, 10 Mar 2018 15:37:24 +0900

最近、Ruby on Railsチュートリアルを進めているんだけど、その中でHerokuを使うことになる。で、途中まで進めて、別の日に続きをやろうとすると、作っているWebサービスのURLがわからなくなり、いちいちHerokuにログインして確認するという手間が発生する。

たぶんherokuコマンドにあるだろうと思って探したらあったので、備忘録的に残しておく。

$ heroku domains

これだけ。

Sun, 18 Feb 2018 22:50:07 +0900

AlexaとNode-REDを利用したスマートホームスキル作成時の注意

Sun, 28 Jan 2018 07:56:05 +0900

最近、AlexaとNode-REDを連携してスマートホームスキルを作っている。前回のApple TVを操作するスクリプトもその一環だったのだが、うまく動かなかったのでその対処法を書く。

AlexaとNode-REDの連携

Amazon Echoとラズパイで、音声で照明をon/offするという記事を参考にした。

丁寧に書いてあって、補足する必要が全く無いので、連携についてはこちらの記事を読むといい。

execにpyatvを設定

こんな感じで、「Alexa, テレビつけて」でmenuボタンを押すようにしたんだけど、うまく動かない。よく見ると、atvremoteコマンドが見つからないというエラーが出ていた。

systemdで起動しているサービスは、ユーザーの環境変数を読み込まないらしい。 systemdについては前にも書いたが、絶対パスで書かないといけないとか、いろいろ作法があって面倒くさい。

systemdの設定変更

pyenvを使って導入したソフトをsystemdで使う場合の注意点はpyenvの公式に記載があったのでこれを参考にした。

まず以下のコマンドでNode-REDのサービスファイルの場所を調べる。

sudo systemctl status nodered

たぶん /lib/systemd/system/nodered.serviceにある。これを書き換える。

Environment="PI_NODE_OPTIONS=--max_old_space_size=256"
Environment="PATH=/home/user_name/.pyenv/shims:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"

PI_NODE_OPTIONSという環境変数を設定しているところの下に、PATHの設定を追加する。デフォルトでは、/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/binがPATHに設定されているようなので、そこに追加する形。

ちなみに環境変数の展開もできないので、こんな書き方はNG。ホントに面倒くさい。

Environment="PATH=/home/user_name/.pyenv/shims:$PATH"

Apple TVをRaspberry Piで操作

Fri, 26 Jan 2018 22:28:20 +0900

スマートホーム化のために、いろんな家電をRaspberry Piで動かせるようにしている。テレビはほとんどApple TVのために存在しているので、これを動かしてみた。

使ったのは、pyatvというツール。

postlund/pyatvにインストール方法から使い方まで書いてあるが、一部わかりにくいところがあったので、そこだけ説明する。

初期設定

pip install pyatvしたあと、ペアリングが必要。 iTunesのホームシェアリングを有効にしている場合はいらないようだけど、無効の場合は、

atvremote pair

して、Apple TV側で、設定 > リモコンとデバイス > Remote Appとデバイスと進み、pyatvを選択して、pinに1234と入力すればよい。

動作確認

atvremote -a menu

これでMENUボタンを押したときと同じように動けばOK。

Gmailに重要なメールが届いたらLINEに通知する

Thu, 21 Dec 2017 23:37:27 +0900

最近はめっきりメールを使わなくなった。iOSもメール機能なんかどうでもいいと思っているのか、いまいち使い勝手が悪い。Gmailのプッシュ通知に非対応ってどうなの。

それでもAmazonの注文メールやら、航空券の予約完了メールやら、色々な場面で送られてくるので、嫌々ながら使っている。中には緊急性のあるメールもあって、その筆頭が銀行引き落とし失敗メール。残高が足りずに引き落とされなかったときに送られてくる。早めに気づいて入金できれば、再度引き落としのタイミングがあって、なんとかカードを止められずにすむ。

今回は、引き落としに失敗した時にLINE通知してくれるシステムを構築する。

参考サイト

先に白状しておくと、この記事は Google Apps ScriptでGmailの特定のメールを受信したらLINEと連携して通知するという記事のほとんどパクリです。

構成

Google Apps ScriptとLINE Messaging APIを組み合わせて使う。 IFTTTあたりを使うともっと簡単に作れるが、ポーリング間隔が数時間と長すぎるので今回はNG。 Google Apps Scriptだと1分間隔でポーリング可能。

事前準備

LINE Messaging APIを使えるようにしておく(別記事参照)。
Gmailにtreatedラベルを作る
- 1度処理したメールを再度処理しないようにするためのラベル

Google Apps Script

以下のようなスクリプトを作る。

GmailからQUERYにマッチするメールを取得して、メールの数だけLINEにメッセージを送る。処理したメールはtreatedラベルを付けて、再度処理しないようにしている。（そのためにQUERYで-label:treatedしている）

var CHANNEL_ACCESS_TOKEN = 'YOUR_CHANNEL_ACCESS_TOKEN';
var LINE_USER_ID = 'YOUR_LINE_USER_ID';
var QUERY = '-label:treated subject:未済';

function main() {
  var threads = GmailApp.search(QUERY, 0, 10); 
  var messages = GmailApp.getMessagesForThreads(threads);
  
  for (var i in messages) {
    for (var j in messages[i]) {
      line_push('MUFJからの引き落とし失敗してるよ');
    }
  }
  
  // add label:treated
  var label_treated = GmailApp.getUserLabelByName('treated');
  for (var i in threads) {
    threads[i].addLabel(label_treated);    
  }
}

// LINEにプッシュ通知する
function line_push(message) {
  var postData = {
    "to": LINE_USER_ID,
    "messages" : [
      {
        "type" : "text",
        "text" : message
      }
    ]
  };
  
  var options = {
    "method" : "post",
    "headers" : {
      "Content-Type" : "application/json",
      "Authorization" : "Bearer " + CHANNEL_ACCESS_TOKEN
    },
    "payload" : JSON.stringify(postData)
  };
  
  UrlFetchApp.fetch("https://api.line.me/v2/bot/message/push", options);
}

トリガの設定

Google Apps Scriptのスクリプト編集画面で、編集 > 現在のプロジェクトのトリガーを選択する。ここで、main関数を任意の時間間隔で実行するように設定できる。最短は1分なのでとりあえず1分にしておいた。

おまけ

読めばわかると思うが、今回の例は三菱東京UFJ銀行の口座からの引き落としに失敗したときのケース。このメールが届くようにするには、三菱東京UFJダイレクトで設定する必要がある（設定したのはだいぶ前なので詳細は忘れた）。

で、みずほ銀行も使っているのでこっちも同じようにしようと思ったら、みずほは通知メールサービスが無いらしい。結構古い情報だけど、このブログ記事によると、銀行によって通知サービスが無かったり、有料だったりする模様。

サブバンクをみずほから新生銀行あたりに乗り換えようかなと思った。

定期的なリマインドをLINE BOTにやってもらう

Thu, 21 Dec 2017 22:46:24 +0900

自分だけで完結するような定期処理は、適当なアラームアプリあたりに設定すれば良いが、他人にお願いしていることは、わざわざアラーム設定しておいてと頼むのも角が立つので、こちらからリマインドしたい。

でも面倒なので、LINE BOTに頼むことにした。

構成

LINE BOTでPUSH通知するとMakefileでcronを登録するを組み合わせるだけ。

詳細はそれぞれの記事を読んでもらうとして、ソースを記載する。

スクリプト

#!/bin/sh
curl -X POST \
-H 'Content-Type:application/json' \
-H 'Authorization: Bearer {CHANNEL_ACCESS_TOKEN}' \
-d '{
    "to": "GROUPID",
    "messages":[
        {
            "type": "text",
            "text": "エサあげた？"
        }
    ]
}' https://api.line.me/v2/bot/message/push

ここで、CHANNEL_ACCESS_TOKENはLINE depelopersで取得するトークン。 GROUPIDは、LINEのグループを識別するためのID。これの取得方法は前の記事には書いてなかったので説明する。

GROUP IDの取得

以下のスクリプトをGoogle Apps Scriptでウェブアプリケーションとして導入し、 LINE BOTのWebhook URLに紐付ける。

その状態で、LINEグループにBOT招待すれば、example@gmailにGROUP IDが通知される。

function doPost(e) {
  Logger.log('doPost')
  var events = JSON.parse(e.postData.contents).events;
  events.forEach (function(event) {
    if (event.type == "join") { mailGroupId(event); }
  });
}

function mailGroupId(e) {
  MailApp.sendEmail('example@gmail.com', 'groupId', e.source.groupId);
}

cron登録

以下のようなMakefileを作って、make installすればよい。ここでは、毎日9時と18時に通知する。

install:
	crontab -l | grep line_feeding.sh || \
		(crontab -l; echo  "0 9,18 * * * /usr/local/bin/line_feeding.sh") | crontab

ユースケース

今回の例は、犬を預かってもらう人にエサをちゃんとあげてくれるようにリマインドするケース。自分で聞くのは忘れそうだし、BOTに機械的に聞いてもらうことで角が立ちにくい（気がする）。

あとは、今回の例では個人に通知するのではなく、グループに通知する形にしている。これにより、相手が実行してくれたかどうか聞けるという利点もある（相手がBOTに返信してくれる人なら）。

Makefileでcronを登録する

Sun, 17 Dec 2017 11:18:31 +0900

主に重複登録をしないようにするためのtipsを紹介する。

cron登録コマンド

echo "0 9,18 * * * /usr/local/bin/example.sh" | crontab

こんな感じ。とても簡単。ただ、これは設定を上書きするという非常に危険なコマンド。通常は以下のように使う。

(crontab -l; echo  "0 9,18 * * * /usr/local/bin/example.sh") | crontab

Makefile化

install:
    (crontab -l; echo  "0 9,18 * * * /usr/local/bin/example.sh") | crontab

そのまんま。これで、make installすればcron に登録される。これの問題点は、重複登録してしまうこと。

以下のように書くことで、重複登録が防げる。

install:
	crontab -l | grep example.sh || \
		(crontab -l; echo  "0 9,18 * * * /usr/local/bin/example.sh") | crontab

||でつなぐことで、最初のコマンドが失敗したときだけ、次のコマンドを実行するようになる。ここでは、既に登録されているcronをgrepして、登録しようとしているスクリプトがあれば何もせず終了、なければ登録する。

uninstall

おまけ。uninstallは以下のように書けば良い。

uninstall:
	crontab -l | grep -v example.sh | crontab

Alexa SkillsでHello worldする

Mon, 04 Dec 2017 22:44:29 +0900

Amazon Echoが届いたので、早速スキルを作ってみることにした。やはり最初はHello world。

構成

Amazon Echoにスキルをインストールして、声でスキルを呼び出す。呼び出されたスキルは、登録されたAWS Lambdaの関数を呼び出して、処理を実行するという流れ。

手順

ざっくり以下のような手順が必要

AWS LambdaでAlexaに実行させる関数を作成
Amazon DevelopperにてAlexaスキルを作成してAWS Lambda関数に紐付ける
Amazon echoにインストール

AWS Lamda

AWS登録して、ログインしたら、AWS Lamdaの設定画面に進む。右上にオハイオとか地名が書かれているので、東京にしておく。

関数の作成ボタンを押して、設計図からalexa-skill-kit-sdk-factskillを選ぶ。基本的な情報は以下のように設定した。

設定項目	設定
名前	alexaHello
ロール	テンプレートから新しいロールを作成
ロール名	alexaHello

Lambda関数のコードは以下のようにした。ちなみにこれは、alexa/skill-sample-nodejs-hello-worldに公開されているindex.jsから必要な部分だけを残した。

'use strict';
const Alexa = require("alexa-sdk");

exports.handler = function(event, context, callback) {
    const alexa = Alexa.handler(event, context);
    alexa.registerHandlers(handlers);
    alexa.execute();
};

const handlers = {
    'LaunchRequest': function () {
        this.emit('SayHello');
    },
    'HelloWorldIntent': function () {
        this.emit('SayHello');
    },
    'SayHello': function () {
        this.response.speak('Hello World!');
        this.emit(':responseReady');
    }
};

関数の作成ボタンを押して、次の画面に進む。

トリガーの設定画面が出るので、Alexa Skills Kitを選択して、保存すればAWS Lambda側の設定は完了。右上にARNが表示されている。スキルが関数を呼び出す際に使うので控えておく。

Amazon Developper

Amazon Developper Services and Technologiesにアクセスして、右上のサインインからアカウントを作成する。

スキル作成

アカウントを作ってログインしたら、amazon alexaのページに進み、左上のメニューから、 “Alexa Skills Kit (ASK) > 始めてみよう”を選ぶ。この辺のドキュメントは後で読むとして、”スキル開発を始める”。

スキル情報

スキル情報は以下の通り

設定項目	設定
スキルの種類	カスタム対話モデル
言語	Japanese
スキル名	hello world
呼び出し名	hello world

この設定で保存して次へ。

対話モデル

インテントスキーマ

{
  "intents": [
    {
      "intent": "HelloWorldIntent"
    }
  ]
}

このインテントはAWS Lambdaで作った関数のfunction名と紐付ける。

サンプル発話

HelloWorldIntent hello

設定

サービスエンドポイントのタイプにAWS LamdaのARNを指定して、デフォルト欄に、AWS Lambdaで作った関数のARNを入力する。 arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxx:function:alexaHelloみたいな形式。

テスト

次の画面でテストできる。画面中ほどにあるサービスシミュレーターで、先ほど入力したARNが選択されていることを確認して、テキスト入力欄にhelloと書いてhello worldを呼び出す。

サービスレスポンス側にある聴くというボタンを押すと、レスポンスが聴ける。ここでエラーが出ていなければ、スキルからAWS Lambdaの呼び出しは成功。

公開情報

あとはインストールするための準備。Skills Beta Testingというテスト用のインストール機能があるのでこれを使う。これを使うためには、画面左上にある各種設定を完成させてオールグリーンにする必要がある。ここまで正しくできていれば、残りは”公開情報”と”プライバシーとコンプライアンス”だけのはず。

基本的には全て適当に埋めれば良い。公開情報は以下のように書いた。

設定項目	設定
カテゴリー	Assistants
テストの手順	hello
国と地域	Amazonがスキルを配布するすべての国と地域
スキルの簡単な説明	hello
スキルの詳細な説明	hello
サンプルフレーズ	hello

アイコン用の画像登録も必要。サイズ指定があるのでちゃんと正しいサイズの画像を用意すること。 imagemagickがあれば以下のコマンドで作れる。

convert -resize 108x108 original_icon.jpg icon_108.jpg
convert -resize 512x512 original_icon.jpg icon_512.jpg

プライバシーとコンプライアンス

設定項目	設定
このスキルを使って何かを購入したり、実際にお金を支払うことができますか？	いいえ
このスキルはユーザーの個人情報を収集しますか？	いいえ
このスキルは13歳未満の子供を対象にしていますか？	いいえ
輸出コンプライアンス	チェック
このスキルは広告を含みますか？	いいえ

これで保存を押すと、左側のSkills Beta Testingのステータスがアクティブになるので、テストの管理ボタンを押して設定画面に遷移する。

Skills Beta Testing

テスターを追加ボタンから自分のメールアドレスを入力すると、テスター招待メールが届く。 2つリンクがあるが、2つ目のリンクが日本人向けのもの。

JP customers: To get started, follow this link:  
Enable Alexa skill "hello world"

これをクリックして、スキルを有効化すれば使えるようになる。

git showの差分をvimdiffで見る

Sat, 25 Nov 2017 20:45:30 +0900

以前、git diffをvimdiffで見る方法を紹介した。今回はgit showをvimdiffで見る方法を紹介する。

git show

あるコミットの詳細を表示するコマンド。diffも表示してくれる。 git diff程使う機会は少ないかもしれないが、個人的にはかなりよく使うコマンド。

コードレビューや不具合解析なんかで、過去のコミットでの修正内容を確認するのに便利なんだけど、クラシックなdiffで表示されるのが気に入らなかったのでvimdiffで表示する方法を探していた。

エイリアス

結論から言うと、git showでvimdiffを使う方法はわからなかった。環境変数GIT_EXTERNAL_DIFFにうまいこと設定できればできそうな気もするが、情報が少ない。

今回はエイリアスを使った方法にした。 git showと言いつつ、裏ではgit diffを使っている。実際、git showしたときのdiffはgit diffを使っているのだから問題ない。

[alias]
    showtool = "!sh -c 'git difftool "${0}"~ "${0}"'"

チルダを使って1世代前のコミットからの差分を見るような形にしている。 sh -cを使ってgitを呼び出すような冗長な書き方は、ハッシュやブランチ名を引数として渡すため。

このエイリアスだと引数がないと動かない。オリジナルのgit showの場合、引数を指定しないときはHEADを指定したときの動作をするので、これと揃えるために以下のように変更した。

[alias]
    showtool = "!sh -c 'if [ "sh" == "${0}" ]; then REVISION="HEAD"; else REVISION="${0}"; fi; git difftool $REVISION~ $REVISION'"

おまけ

差分ファイルが大量にあると、全ファイルの差分を表示するので非常にめんどくさいことになる。そこで、pecoを使って選択的に差分ファイルを見れるようにしている。これが完成形。

[alias]
    showtool = "!sh -c 'if [ "sh" == "${0}" ]; then REVISION="HEAD"; else REVISION="${0}"; fi;\
        git log -1 --stat-width=800 $REVISION | grep \"|\" | awk \" {print \\$1}\" | peco | xargs -o git difftool $REVISION~ $REVISION'"

なかなかトリッキーなコマンドなので、解説はいつか余裕があるときに書くことにする。

マンション付属の光回線が早くなった話

Wed, 15 Nov 2017 23:11:02 +0900

自宅の光回線が遅くて、スピードテストを自動実行するスクリプトで現状把握してみるといった内容の記事を書いた。その後の話。

光回線についての調査

マンション付属の光回線で、壁についているLANポートに繋ぐと何の手続きもせずに接続できるタイプのもの。当時の資料には書いてあったかもしれないが、この時点ではどんな会社の回線なのか不明だった。

マンションの管理会社に電話すれば一発だが、平日昼間に電話するのが難しいので、ひとまず調べられる範囲で調べてみた。まずはとりあえずtracerouteしてみた。するといくつかローカルっぽいIPアドレスを経て（恐らくマンションのルーター）、ap.yournet.ne.jpなんちゃらみたいな所につながっていた。このアドレスで検索してみると、どうやらfreebit系と呼ばれる悪名高いバックボーンであることがわかった。

ざっと調べたところ、freebit系プロバイダというのは、フリービット株式会社のYourNet ISP Networkサービスというものを利用しているISPのことを言うらしい。プロバイダ機能を自前で持たないISPに対してその機能を提供するというサービスのようだ。

このあたりを調べている時に知ったのだが、確認くん+というウェブサイトにアクセスすると、tracerouteなどしなくても簡単にわかる。ここにアクセスして、お使いのプロバイダーがap.yournet.ne.jpならばfreebit系。

プロバイダに確認

マンションの管理会社に聞くと、イーブロードというプロバイダが管理しているとのことだったので、電話して状況を確認してみることにした。

週末に電話すると、サポートにはつながるけど、少し専門的な話になると対応できないようで、平日に専門部署から折り返すとの返事。平日の昼間は電話に出れない可能性が高いので、バックボーンをfreebitから変更することはできないか知りたいので結果を留守電に入れて欲しいと伝えた。

あっけない結末

その後、すぐに留守電が入ったが、折り返し電話して欲しいという内容だけだった。留守電に内容を入れてくれよと脱力して、しばらく放置していると、いつの間にか回線速度が速くなった。

確認くん+で見てみると、プロバイダがOCNになっていた。どうやらバックボーンを変えたらしい。数年前も同じくらいの速度が出ていたので、理由は不明だが、ときどきバックボーンが変わるのだと思う。電話が効いたのかどうか知らないが、速くなったのでこれ以上の追求はやめた。

WindowsでもLinuxでも動くMakefileを書く

Sun, 05 Nov 2017 08:38:17 +0900

シェルのコマンドが異なるので、両方に対応するのは意外とめんどくさい。今回はシンボリックリンクを作成するコマンドを例にして説明する。

WindowsのmakeはMinGWのものを想定している。

Linux専用

install:
    ln -s ~/dotfiles/.vimrc ~/.vimrc;

シンボリックリンクを作るコマンドをそのまま書いただけ。

Windows専用

install:
    cmd.exe /C mklink $(HOME)\.vimrc $(HOME)\dotfiles\.vimrc

Windowsのコマンドを使う場合は、cmd.exe /Cを接頭語のように付ける。これで、mklinkコマンドが使えるようになる。

Linux用と比べて以下の点が異なっている

sourceとtargetの順番が逆
パスのディレクトリ区切りがバックスラッシュ
ホームディレクトリの指定がチルダではなく$(HOME)
- 環境変数HOMEをあらかじめ指定する必要があるかも

両対応版

愚直に書くと以下のようになる。 ifeq ($(OS),Windows_NT)でWindowsかどうかを分岐させている。

install:
ifeq ($(OS),Windows_NT)
    ln -s ~/dotfiles/.vimrc ~/.vimrc;
else
    cmd.exe /C mklink $(HOME)\.vimrc $(HOME)\dotfiles\.vimrc
endif

この書き方だと、シンボリックリンクを張るファイルが増えると、Linux用とWindows用のそれぞれに追記する必要がある。以下のように書くとスマート。

install:
	make link SOURCE:=$(HOME)/dotfiles/.vimrc TARGET:=$(HOME)/.vimrc

link:
ifeq ($(OS),Windows_NT)
    cmd.exe /C mklink $(subst /,\,$(TARGET)) $(subst /,\,$(SOURCE))
else
    ln -s $(SOURCE) $(TARGET)
endif

linkというターゲットを用意して、関数のように使っている。 linkの中でOSを分岐させることで、それを呼び出す側を統一できるというわけ。

substというのはmakeの文字列置換関数。スラッシュをバックスラッシュに置き換えるために使っている。

おまけ

ここまででほぼ完成。

最後に鬱陶しい出力を抑えるために、--no-print-directoryしたり、シンボリックリンクが既に存在している場合にはコマンドをスキップする仕組みを入れたものを載せる（解説は割愛）。

MAKEFLAGS += --no-print-directory

install:
	make link SOURCE:=$(HOME)/dotfiles/.vimrc TARGET:=$(HOME)/.vimrc

link:
ifeq ($(OS),Windows_NT)
	@cmd.exe /C if not exist $(subst /,\,$(TARGET)) \
		cmd.exe /C mklink $(subst /,\,$(TARGET)) $(subst /,\,$(SOURCE))
else
	@if [ ! -e $(TARGET) ]; then\
		ln -s $(SOURCE) $(TARGET);\
	fi
endif

gitのdiffをvimdiffで見る

Thu, 26 Oct 2017 23:34:29 +0900

少し前まで、gitのdiffにvimdiffを使う場合、git_diff_wrapperなるファイルを用意して、 .gitconfigの[diff]セクションにexternal = git_diff_wrapperとするのが主流だった（と思っている）。

今、各種dotfileを見直している中で、このダサいやり方を改善できないか調べたところ、今の主流はdifftoolを使うやり方のようなので、乗り換えた。

.gitconfig

まず早速.gitconfigを示す。

[diff]
    tool = vimdiff
[difftool]
    prompt = false

これでOK。ただし、difftoolを使うのでコマンドが変わる。 diffのexternalを変える場合は、あくまでgit diffが使うツールを変更するという意味になるのだが、 diffのtoolオプションを変える場合は、git difftoolが使うツールを指定するという意味になる。

alias化

git_diff_wrapper手法ではgit diffでよかったのに、今回の方法ではgit difftoolと打たないといけないはイマイチなので、エイリアスを用意する。

[diff]
    tool = vimdiff
[difftool]
    prompt = false
[alias]
    dt = difftool

これでOK。本当はdiff = difftoolとしたかったが、もともと用意されているコマンドを上書きするようなエイリアスは作れないらしい。

リードオンリー解除

さて、これで今までとだいたい同じになったが、カレントのファイルがリードオンリーで開かれるのだけが不満。 diff見ながら手直しするというのはよくあるので、毎回:set noroなんて打ってられない。

なぜか以下のようにしたら解決した。これが完成形。

[diff]
    tool = vimdiff
[difftool]
    prompt = false
[difftool "vimdiff"]
    cmd = vimdiff $LOCAL $REMOTE
[alias]
    dt = difftool

[difftool "vimdiff"]セクションでcmdオプションを指定することで、difftoolで開くコマンドを指定できる。ここに編集可能な状態で開くオプションを指定すればいいかなと思っていたが、特になんの指定もなくできた。

cmdオプションのデフォルトがどうなってるか知らないけど、リードオンリーな状態で開くようなオプションが指定されているのかな。

スピードテストを定期的に実行して回線速度の推移を見る

Mon, 16 Oct 2017 22:43:05 +0900

自宅の回線速度が遅いので、なんとか改善できないか考えている。まずは、現状把握ということで、スピードテストを実施した。常に遅いのか、時間によって遅いのかなどがわかれば改善の手がかりになるかもしれないと考え、 cron定期的に実行してくれるようにした。

Raspberry Piで動作する。

実行結果

まずは作成したスクリプトで取得したデータを載せる。 csv形式で左からping値 [ms]、Download [Mbit/s], Upload [Mbit/s], 実行日時。

167.908,2.23,5.37,2017/10/16 00:00:39
129.306,7.82,5.82,2017/10/16 01:00:41
88.187,18.31,19.27,2017/10/16 02:00:36
87.879,24.88,21.74,2017/10/16 03:00:36
156.129,26.47,16.25,2017/10/16 04:00:41
75.103,25.61,21.42,2017/10/16 05:00:36
94.37,26.99,21.17,2017/10/16 06:00:40
76.879,24.55,21.35,2017/10/16 07:00:38
71.107,24.72,21.67,2017/10/16 08:01:39
254.614,19.98,16.24,2017/10/16 09:00:37
81.341,23.46,18.63,2017/10/16 10:00:37
89.473,23.30,17.17,2017/10/16 11:00:38
275.777,23.40,10.58,2017/10/16 12:00:38
110.481,22.26,17.16,2017/10/16 13:00:36
149.522,25.06,18.38,2017/10/16 14:00:36
82.292,17.59,8.26,2017/10/16 15:00:38
202.99,17.83,4.05,2017/10/16 16:00:38
102.178,17.50,4.52,2017/10/16 17:00:37
114.628,14.78,16.30,2017/10/16 18:00:38
102.745,12.89,13.11,2017/10/16 19:00:39
1795.938,11.67,1.76,2017/10/16 20:00:51
699.312,6.57,3.20,2017/10/16 21:00:52
352.963,3.47,0.98,2017/10/16 22:00:47
480.408,3.98,2.48,2017/10/16 23:00:47

ついでにグラフ化。

昼間は25Mbpsくらい出ているらしい。15時以降から下がりだして、21時から25時までは1桁というありさま。

speedtest-cli

インストール

スピードテストをCUIで行う場合は、恐らくspeedtest-cli一択。 pipで入れるので、Pythonのインストールから。

sudo apt install python

続いて

pip install speedtest-cli

使い方

一番シンプルなのは

speedtest

これだけ。speedtest-cliでも同じ結果が得られる。

データ収集には不要な出力が多いのと、サーバーをping値で自動選択してしまうので、以下のように使うことにする。

speedtest --server 6476 --simple

シェルスクリプト

1ライン化

上のコマンドをベースに、cronで実行するシェルスクリプトを作成する。 1行にping, download, uploadをまとめたいのでtrでカンマと置換する。また、速度以外は不要なのでawkを使って、以下のように書く。

/usr/local/bin/speedtest --server 6476 --simple | awk '{print $2}' | tr '\n' ',' >> ~/tmp/speedtest.log

cronではコマンドを絶対パスで指定する必要があるので、絶対パスで書いている。

実行日時を追加

date "+%Y/%m/%d %H:%M:%S" >> ~/tmp/speedtest.log

リトライ機能を追加

ここまででほぼ完成だけど、結構な頻度で失敗してたのでリトライ機能を追加した。 cronでリトライしてくれればいいのに。以下が完成形。

#!/bin/bash

command="/usr/local/bin/speedtest --server 6476 --simple"

NEXT_WAIT_TIME=0
until RET=`$command` || [ $NEXT_WAIT_TIME -eq 4 ]; do
  sleep $(( (NEXT_WAIT_TIME++) * 60 ))
done
echo "$RET" | awk '{print $2}' | tr '\n' ',' >> ~/tmp/speedtest.log
date "+%Y/%m/%d %H:%M:%S" >> ~/tmp/speedtest.log

4回までリトライする。リトライ間隔は、1分、2分、3分、4分と伸ばしていくようにした。

cron

上のシェルスクリプトをcronに登録する。

crontab -e

すると、エディタが立ち上がる（もしくはエディタ選択画面になるので選ぶ）ので、以下のように1時間毎に実行するように設定する。

0 * * * * /usr/local/bin/speedtest_cron.sh

これで完成。

注意点

実行環境はRaspberry Piを想定しているが、場合によってはRaspberry Pi自体がボトルネックとなって、正しい速度が取れないので注意。うちの場合はMac Book Airを有線でつないで測定してもだいたい同じような値が取れることを確認している。

Ubuntu 16.04にmysqlをインストールする

Sun, 01 Oct 2017 22:27:25 +0900

aptで適当にインストールすれば使えると思っていたが、意外と手間取ったので、手順を書いておく。

install

ここは簡単。

sudo apt install mysql-server mysql-client

こんだけ。ただ、既に別のバージョンのものが入っていたりするので、キレイにしたい場合は、先に以下のコマンドを送る。別バージョンのmysqlを削除することで、色々動かなくなる可能性もあるので注意。

sudo dpkg -l | grep mysql

でインストール済みのmysqlを確認して、

sudo apt remove --purge mysql*

こんな感じで、消していく。--purgeオプションは、関連する設定ファイルも一緒に削除するのもので、この後の再インストール後に悪さしないためにも指定しておいたほうがよい。

rootパスワード設定

mysql -uroot

で入ろうとしたら、ERROR 1698 (28000): Access denied for user 'root'@'localhost'と怒られた。初期パスワードは無かったと思ってたが、仕様が変わったらしい。

で色々やってみたんだけど、実はやっぱり初期パスワードは設定されていなくて、sudoつければいいだけだった。ということで、改めて

sudo mysql -uroot

これでOK。

Raspberry PiでSystemdを使ってdasherをサービス化

Tue, 26 Sep 2017 23:42:10 +0900

Amazon Dash Buttonを使ってLINEに通知する方法を以前書いた。記事には記載していないが、このときは、init.dを使って自動起動するように設定していた。

最近はinit.dは古くて、Systemdが推奨されているようなので、これに書き換えることにした。

サンプルソース

GitHubのWiki にサンプルソースがあったのでそのまま記載する。

[Unit]
Description=Dasher
After=network.target

[Service]
Type=simple
#user with access to dasher files
User=root
WorkingDirectory=/home/pi/dasher
#use command "which npm" to determine correct location of NPM
ExecStart=/usr/local/bin/npm run start
Restart=on-failure
RestartSec=10
KillMode=process

[Install]
WantedBy=multi-user.target

Unitセクション

SystemdではUnitという単位で処理を管理する。 init.dで言うサービスに当たる概念のようだ。

ここではdasherが1つのUnitということになる。

Description

Unitの説明を書く。

After

このUnitが起動するタイミングを記述する。ここではnetwork.targetの後に実行することになる。

.targetというのは今回のように順序関係や依存関係を定義する際に、複数のUnitをグループ化するために使われる。 network.targetの実体は、/lib/systemd/system/network.targetにあるが、内容を確かめずとも、ネットワーク関連のUnit群であることがわかる(のでこれ以上詳しくは見ない)。

ちなみにSystemdの起動時にはdefault.targetというUnitが有効化されることになっており、これに依存するUnitがまとめて有効化されていく。

Serviceセクション

このセクションはUnitの種類によって異なる。デーモンを起動する場合には.serviceなのでServiceセクションとなる。他にも上に出てきた.targetや.deviceなどいくつかの種類がある。

Type

サービスプロセスの起動完了の判定方法。 simpleを指定すると、ExecStartで指定したコマンドを実行したタイミングで起動完了とみなす。

起動完了をどう使うかは未調査。上述のAfterなど順序関係のためだろうか。

User

実行ユーザを指定する。rootで実行することになる。

WorkingDirectory

実行時のカレントディレクトリを指定する。ここではpiユーザーのhomeにdasherを取得したことになっている模様。通常はセキュリティの観点からもpiユーザー以外にしているはずなので、ここは変更必須。

ExecStart

サービスを起動するコマンド。フルパスじゃないとダメらしい。このタイミングではまだパスが通ってないのだろうか？

Restart

再起動条件を指定する。on-failureは終了コード0以外で停止した場合に再起動する設定。ようするに異常終了した時は再起動してねってこと。

RestartSec

再起動する前の待ち時間。Restartの設定と合わせて読むと、異常終了を検知したら10秒後に再起動してねってこと。

KillMode

サービス停止時にプロセスが残っていた場合の処理を指定する。 processはメインプロセスが残っていたらkillする設定。

Installセクション

systemctl enable/disableに関する設定群

WantedBy

init.dで言うrunlevelの指定に相当する。 multi-user.targetはrunlevel 3に相当するので、CUIでログインすると起動することになる。

セットアップ

上の設定を /etc/systemd/system/dasher.serviceに置いて、

systemctl list-unit-files --type=service | grep dasher

すると、dasher.serviceがサービスとして認識されていることがわかる。この時点ではdisable状態。

続いて自動起動を有効化する。

sudo systemctl enable dasher

してから、先程のコマンドを再送すると、enableに変わっているはず。この状態で再起動する。そして、

sudo systemctl status dasher

でactive状態になっていればOK

DDNSでLANの外から自宅のRaspberry PiにSSH接続する

Mon, 18 Sep 2017 21:51:18 +0900

普通のインターネット回線では、グローバルIPが定期的に変わってしまうため、自宅に置いたRaspberry Piなんかをサーバー代わりに使うには不便。

かといって、固定グローバルIPアドレスを貰うには月1000円くらい払う必要がある。

そこで、Dynamic DNS (DDNS) というサービスを利用することにする。

DDNSとは

Domain Name System (DNS) は、ドメイン名とIPアドレスを紐付けるシステムのこと。サーバーへのアクセスは通常、IPアドレスによって対象サーバーを判別するが、 IPアドレスは数値の羅列で人間には覚えにくいので、ドメイン名という覚えやすい名称に変換する。

Dynamic DNSというのは、その紐付けをDynamicに、つまり動的に行う。グローバルIPが変化しても、ドメイン名との紐付けを再度行うことで、ドメイン名の固定ができるというわけ。

世の中にはこんな便利なサービスを無料で提供してくれる人たちがいる。

登録

いくつか選択肢はあるが、今回はno-ipというサービスを使うことにした。なぜなら、raspberryPi にnoipでDDNSの設定をする方法というサイトを参考にしたため。

登録・設定から自動実行まで、ほぼほぼこの手順でいける。

ただ、Dynamic Domain Update Client (DUC) の自動起動の設定だけは、少し好みではなかったのでアレンジした。

DUCの自動起動設定

/etc/init.d/noip2を以下のように書き換えた。自動起動の設定を先頭に追加しただけ。これにより、わざわざrc.localに起動のためのコマンドを書かなくとも、自動で起動してくれる。

#! /bin/sh
# /etc/init.d/noip2.sh
### BEGIN INIT INFO
# Provides:          noip2
# Required-Start:    $all
# Required-Stop:
# Default-Start:     2 3 4 5
# Default-Stop:
### END INIT INFO

# Supplied by no-ip.com
# Modified for Debian GNU/Linux by Eivind L. Rygge <eivind@rygge.org>
# corrected 1-17-2004 by Alex Docauer <alex@docauer.net>

# . /etc/rc.d/init.d/functions  # uncomment/modify for your killproc

DAEMON=/usr/local/bin/noip2
NAME=noip2

test -x $DAEMON || exit 0

case "$1" in
    start)
    echo -n "Starting dynamic address update: "
    start-stop-daemon --start --exec $DAEMON
    echo "noip2."
    ;;
    stop)
    echo -n "Shutting down dynamic address update:"
    start-stop-daemon --stop --oknodo --retry 30 --exec $DAEMON
    echo "noip2."
    ;;

    restart)
    echo -n "Restarting dynamic address update: "
    start-stop-daemon --stop --oknodo --retry 30 --exec $DAEMON
    start-stop-daemon --start --exec $DAEMON
    echo "noip2."
    ;;

    *)
    echo "Usage: $0 {start|stop|restart}"
    exit 1
esac
exit 0

動作確認

自動起動するかどうか、実際に再起動して確かめる。

sudo reboot

からの、

sudo /usr/local/bin/noip2 -S

Process 445, started as noip2, (version 2.1.9)
Using configuration from /usr/local/etc/no-ip2.conf
Last IP Address set 0.0.0.0
Account hogehoge@gmail.com
configured for:
	host  hogehoge.ddns.net
Updating every 30 minutes via /dev/wlan0 with NAT enabled.

とすると、なんとIPアドレスが0になってしまっている。失敗か？と思ったが、特に問題なくつながる。 30分後に再度確認したら正しいIPアドレスがセットされていた。どうやら起動後1発目のIPアドレスセットの内容は反映されないらしい。 Last IP Addressとあるので、初回より前のアドレスを出そうとしているのだろうか。

株価チャートからトレンドラインを引く 1

Sun, 17 Sep 2017 16:36:18 +0900

以前、Google Finance APIにより株価を取得する方法を書いた。このデータからトレンドラインを引くスクリプトを作ろうと思う。

まずは、トレンドラインを引くためのポイントを選択する。

移動平均

取得した生データだと、エッジが立ちすぎていてトレンドラインのためのポイント選択には不向きなので、とりあえず移動平均してみた。

require 'net/http'
require 'numo/gnuplot'

class GoogleFinance

  BASE_URL = 'https://finance.google.com/finance/getprices?'

  def initialize(issue)
    @issue = issue
  end

  # 終値を取得する
  # param [String] 期間
  # param [String] 間隔 [秒]
  def fetch_close(period = '1Y', interval_sec = 86400)
    raw_data = Net::HTTP.get(URI.parse(BASE_URL + "p=#{period}&i=#{interval_sec}&x=TYO&q=#{@issue}"))
    @close = []
    raw_data.lines do |line|
      @close << line[/^[0-9]*,([0-9]*)/, 1]
    end
    @close.compact!.map!(&:to_i)
  end

  # 移動平均を求める
  # @param [Fixnum] 期間
  # @note 終値が取得できている前提
  def calc_move_average(term)
    # 移動平均のために端のデータを引き伸ばす
    tmp = @close[0..0] * (term / 2) + @close + @close[-1..-1] * (term / 2)

    @move_average =
      tmp.each_cons(term).map do |window|
        window.inject(:+) / term.to_f
      end
  end
end

ISSUE_TOYOTA = 7203 # TOYOTAの証券コード
MOVE_AVERAGE_TERM = 10 # 移動平均の期間

google_finance = GoogleFinance.new(ISSUE_TOYOTA)
close = google_finance.fetch_close
move_average_close = google_finance.calc_move_average(MOVE_AVERAGE_TERM)

Numo.gnuplot do
  set title: 'TOYOTA'
  plot [close, w: 'lines', t: 'close'],
       [move_average_close, w: 'lines', t: 'move\_average']
end

こんな感じ。前回の記事からメソッド名など少し変えているので注意。

移動平均を求める方法はググったらいくらでも出てくるのであまり書かないが、データの端の扱いだけは注意が必要。今回は端のデータを引き伸ばすことにした。 0で埋めるとか色々あるが、簡単にできて誤差が少ないのが特徴。

移動平均の期間をどう決めるかが難しいところだが、いったん10日とした。あとで調整する。

極値

移動平均から極値を求める。今回は、となりの値との差分を計算して、その差分の正負が入れ替わる瞬間を極値とする。ただ、激しく値動きしていると、極値が多くなりすぎるので、少し計算期間を長くすることでフィルタする。例えば計算期間を5とすると、その差分が正 => 正 => 負 => 負ならば極大値、負 => 負 => 正 => 正ならば極小値。

この期間も移動平均の期間同様、どうやって決めるかが難しい。今回は7とした。

require 'net/http'
require 'numo/gnuplot'

class GoogleFinance
  # 省略

  # 極値を求める
  # @param [Fixnum] 期間 大きいほど微小な変動を無視する
  # @note move_averageが求まっている前提
  # @note 定めた期間の中央まで単調増加し、残りが単調減少していれば極小値とする
  # @note 定めた期間の中央まで単調減少し、残りが単調増加していれば極大値とする
  def calc_extremum(term)
    local_min = { x: [], y: [] }
    local_max = { x: [], y: [] }
    @move_average.each_cons(term).with_index do |window, i|
      mid_index = i + term / 2 # windowの中央
      diff = window.each_cons(2).map { |arr| arr[1] - arr[0] }
      if diff[0..(term / 2 - 1)].all? { |elm| elm < 0 } and
         diff[(term / 2)..-1].all? { |elm| 0 < elm }
        # 負 => 正
        local_min[:x] << mid_index
        local_min[:y] << @close[mid_index]
      elsif diff[0..(term / 2 - 1)].all? { |elm| 0 < elm } and
         diff[(term / 2)..-1].all? { |elm| elm < 0 }
        # 正 => 負
        local_max[:x] << mid_index
        local_max[:y] << @close[mid_index]
      end
    end
    return local_min, local_max
  end
end

ISSUE_TOYOTA = 7203 # TOYOTAの証券コード
MOVE_AVERAGE_TERM = 10 # 移動平均の期間
LOCAL_SIZE = 7 # 極値計算の範囲

google_finance = GoogleFinance.new(ISSUE_TOYOTA)
close = google_finance.fetch_close
move_average_close = google_finance.calc_move_average(MOVE_AVERAGE_TERM)
local_min, local_max = google_finance.calc_extremum(LOCAL_SIZE)

Numo.gnuplot do
  set title: 'TOYOTA'
  plot [close, w: 'lines', t: 'close'],
       [move_average_close, w: 'lines', t: 'move\_average'],
       [local_min[:x], local_min[:y], w: 'points', t: 'local\_min'],
       [local_max[:x], local_max[:y], w: 'points', t: 'local\_max']
end

GoogleFinanceクラスはcalc_extremumメソッド以外は変わっていないので省略した。

少し見にくいが、緑点が極小値、紫点が極大値。それなりにいい具合の場所を選んでいるように思える。実際に線を引くのは次回。

Google Finance APIを使って株価チャートを作成

Mon, 04 Sep 2017 23:14:36 +0900

株を買うかどうか判断するために株価チャートに補助線を書いたりする手法があるらしい。手軽に補助線（トレンドラインと呼ぶらしい）を引いてくれるスクリプトでも作ろうかと思い、まずは普通の株価チャートを描いてみた。

そのへんに落ちてるアプリでもできそうだけど、最終的に買いかどうか判断させたり、色々自由にカスタマイズするには自分で作ったほうがいいかなと。

2017.9.16追記
これを公開した直後にAPIのURLが変わった模様。

元はhttps://www.google.com/finance/getprices?だったが、今はhttps://finance.google.com/finance/getprices?になっている。この記事のコードも修正したので、そのまま使えるはず。

Google Finance API

国内で株価を取得するためのAPIは（正規には）ないらしい。ただ、Google Finance APIという非公式のAPIがあり、使ってる人は使っているとか。

google financeのAPIのメモという記事が参考になる。今回やりたいことのほとんどはここに書いてある。違いは、

Rubyを使う (Pythonのが需要ありそうだけど)
チャートを描く

くらい。

まずは適当な銘柄の株価を以下のように取得する。ここではトヨタにした（丸パクリ）。

require 'net/http'

class GoogleFinance

  BASE_URL = 'https://finance.google.com/finance/getprices?'

  def initialize(issue)
    @issue = issue
  end

  def stock(period = '1Y', interval_sec = 86400)
    raw_data = Net::HTTP.get(URI.parse(BASE_URL + "p=#{period}&i=#{interval_sec}&x=TYO&q=#{@issue}"))
    data = []
    raw_data.lines do |line|
      data << line[/^[0-9]*,([0-9]*)/, 1]
    end
    data.compact
  end
end

google_finance = GoogleFinance.new(7203)
stock_data = google_finance.stock

取得したデータを1行ずつ取ってきて、/^[0-9]*,([0-9]*)/, 1という正規表現で終値を抜き出している。先頭に数値があり、カンマ挟んで次の数値を取得するという意味。

これを配列に突っ込んで、先頭の方にあるゴミ（抽出条件などが書かれている）をcompactで取り除くことで、この1年間のトヨタ株の終値の配列が完成。

チャート描画

これはgnuplotを使う。 Numo::Gnuplotというgemが便利そうだったので、これを使った。

gem install numo-gnuplot

してから、（当然、gnuplotも入れる）

require 'net/http'
require 'numo/gnuplot'

class GoogleFinance
  # 省略
end

google_finance = GoogleFinance.new(7203)
stock_data = google_finance.stock

Numo.gnuplot do
  set title:'TOYOTA'
  plot stock_data, w:'lines'
end

これだけ。GoogleFinanceクラスは変わらないので省略した。得られたチャートを貼って終わり。

IIJmioの追加クーポンをLINE botに買ってもらう

Sun, 03 Sep 2017 10:27:20 +0900

IIJmioにはIIJmioクーポンスイッチというiPhoneアプリが用意されているが、残りの通信量（IIJではクーポンと呼ぶ）を見ることはできても、追加購入することができない。購入はブラウザから。

不便なのでLINE botに買ってもらうことにした。

実行画面

構成

LINEメッセージをMessaging APIが受けて、Google Apps Scriptを発動
GASはソケット通信でVPS上のrubyスクリプトを起こす
rubyスクリプト上でCapybaraさんがIIJmioのウェブページにクーポン購入を依頼する

クローラー作成

Kindleのハイライト通知のときと同じような作り。動作環境も同じ。

# coding: utf-8
require 'capybara'
require 'capybara/dsl'
require 'capybara/poltergeist'
require 'selenium-webdriver'

class BuyIIJmioCoupon
  include Capybara::DSL

  SELENIUM = 0
  POLTERGEIST = 1

  USER_NAME = 'your_user_name'
  PASSWORD  = 'your_password'

  def initialize(driver)
    Capybara.app_host = 'https://www.iijmio.jp/service/setup/hdd/charge/'
    Capybara.default_max_wait_time = 5
    case driver
    when SELENIUM
      Capybara.current_driver = :selenium
      Capybara.javascript_driver = :selenium
      Capybara.register_driver :selenium do |app|
        Capybara::Selenium::Driver.new(app, :browser => :chrome)
      end

    when POLTERGEIST
      Capybara.current_driver = :poltergeist
      Capybara.javascript_driver = :poltergeist
      Capybara.register_driver :poltergeist do |app|
        Capybara::Poltergeist::Driver.new(app, {:timeout => 120, js_errors: false})
      end
      page.driver.headers = {'User-Agent' => 'Mac Safari'}
    end
  end

  def login
    visit('')
    fill_in 'j_username',
      :with => USER_NAME
    fill_in 'j_password',
      :with => PASSWORD
    click_button 'ログイン'
  end

  def buy
    select '1枚（100MB）', from: 'selectList'
    click_button '次へ'

    check 'confirm'
    click_button 'お申し込み'
  end
end

crawler = BuyIIJmioCoupon.new(BuyIIJmioCoupon::POLTERGEIST)
crawler.login
crawler.buy

追加クーポン購入ページに直接アクセスして、ログインしたあとで、購入枚数を選択して購入ボタンをポチポチ押していくだけ。購入枚数は1枚で固定した。

デバッグ用にSELENIUMで動作させることもできるようにしている。

VPSで待ち受ける

これもKindleのハイライト通知と同じ。上のソースを少し変えて、以下のようにする。

# coding: utf-8
require 'capybara'
require 'capybara/dsl'
require 'capybara/poltergeist'
require 'selenium-webdriver'
require 'socket'

class BuyIIJmioCoupon
  # 上と同じなので省略
end

gs = TCPServer.open(23456)
addr = gs.addr
addr.shift
printf("server is on %s\n", addr.join(":"))

crawler = BuyIIJmioCoupon.new(BuyIIJmioCoupon::POLTERGEIST)
loop do
  s = gs.accept
  print(s, " is accepted\n")

  begin
    crawler.login
    crawler.buy
  rescue
    raise
  end

  print(s, " is gone\n")
  s.close
end

Google Apps Script

LINE Messaging APIから以下のスクリプトを実行するように紐付ければ (参考)、ソケット通信でVPS上のスクリプトを起こせる。

こちらから送った文章にiijという文字列が含まれている場合にトリガがかかるようにした。なお、冒頭の実行画面ではLINE botからACKが返っているが、以下のソースでは省略している。

var CHANNEL_ACCESS_TOKEN = 'your_line_channel_access_token';
var SERVER_ADDRESS_IIJ = 'http://your_server_address.com:23456'

function doPost(e) {
  Logger.log('doPost')
  var events = JSON.parse(e.postData.contents).events;
  events.forEach (function(event) {
    if (event.type == 'message') { parseMessage(event); }
  });
}

function parseMessage(e) {
  if (e.message.text.match(/iij/)) {
    buyIIJmioCoupon()
  }
}

function buyIIJmioCoupon() {
  UrlFetchApp.fetch(SERVER_ADDRESS_IIJ);
}

以上。

IFTTTとGoogle Photoを連携するとブログ用の画像準備がはかどる

Mon, 21 Aug 2017 22:44:54 +0000

ブログに貼る画像置き場として、Google Photoを選んだ。 github-pageでホスティングしているのだが、画像をアップするのはイマイチかなと。容量制限はないものの、1GBまでを推奨しているらしいし。

というわけで、Google Photoの画像を簡単に直接ブログに貼り付ける方法を模索していたが、 IFTTTを使って直リンクアドレスをメールしてもらうのが一番簡単だった。

設定手順

IFTTTでNew Appletボタンをクリック
サービスはGoogle Photoを選択
トリガはNew photo uploaded
- 現時点ではこれしか選べない
アルバムは適当なものを選ぶ
- 共有アルバムは選べないので注意
  - 恐らくPicasa APIの仕様
アクションサービスはメールを選択
- メールが嫌いならLINEでもよい
アクションはSend me an email
Subjectは適当に入れる
- 例: 画像URL {{CreatedAt}}
  - {{CreatedAt}}はトリガがかかった日時
Bodyは{{PhotoUrl}}
Create actionボタンを押して完了

実行手順

トリガ用のアルバムに写真を放り込む
1分程するとメールが届く
開いてURLをコピーしてブログに貼り付ける

特徴

大きい画像をいい具合に縮小してくれる
- 細かい条件は不明だが、いい具合に縮小してくれる
- PicasaのAPIで取得できるURLだとこうなってしまう模様
  - Picasa APIの使い方はこちら
短縮URLにして送ってくれる
- IFTTTの機能（設定が必要かも）
- オリジナルアドレスだと長過ぎてブログに貼り付けたくないので助かる

iPadをウェブカメラ化してiCamSourceと連携

Thu, 17 Aug 2017 17:14:33 +0900

iCamを使って外出先から部屋にいる犬の様子を見たいが、MBAのカメラ1つじゃ視野が狭い。ということで、部屋に置いているiPadのカメラの映像も同時に見れるようにした。

使わなくなった古いiPhoneを使ってもよい。

必要なもの

PC (今回はMBA)
- EpocCam Viewer Pro
- CamTwist
- iCamSource
iPad
- EpocCam
iPhone
- iCam

構成

iPadのウェブカメラ化

EpocCamというアプリを使って、iPadのカメラ画像をMBAで受信する。これは特に設定もいらない簡単アプリ。同一LANである必要があるので、それだけ注意。

更に、それをCamTwistというアプリで受けることで、ウェブカメラの入力画像のように使えるようになる。

EpocCamが繋がっている状態 (上図左下) で、CamTwistの設定をSyphonにして、Syphon ServerとしてEpocCam Viewer Proを選択する (上図上) 。 CamTwistのPreviewにEpocCamと同じ映像が表示されれば成功 (上図右下) 。

iCamの設定

MBAにiCamSourceというアプリを入れて、VideoにCamTwist (2VUY)を選択する。 idとパスワードは適当に入力して、右下のStartボタンを押して、EpocCamと同じ映像が表示されれば成功。

iPhoneに入れたiCamアプリにidとパスワードを入力するとiPadのカメラの映像を見ることができる。

テレビのアンテナ線を無線化する

Thu, 10 Aug 2017 22:26:23 +0900

テレビ端子がイマイチな場所にあって、テレビを置く位置が限られてしまうので無線化を考えた。マンションなのでアンテナ設置など大掛かりな方法は除いて、ざっと調べたところ、以下の方法がある。

室内アンテナを設置する
PS4とnasneを使う方法
Apple TVとピクセラのワイヤレステレビチューナーを使う方法

3つ目の案を採用することにした。

理由はApple TVを持っているから。もし何も持っていなければ、PS4案にしたと思う。PS4の方が圧倒的にUIが洗練されているし、何よりピクセラのアプリの評判の悪さがすごい（実際、使ってみてイマイチと感じる）。

それでも有線の頃に比べればかなり良くなった。

必要なもの

Apple TV (第4世代)
ピクセラのワイヤレステレビチューナー PIX-BR310L
無線LAN中継器 BUFFALO WEX-733D
無線LANルーター親機

構成

環境構築手順

無線LAN環境を構築
- 11acで組んだほうが良い
テレビ端子近くに無線LAN中継器を設置し、有線に変換
ピクセラチューナーをテレビ端子と有線LANに接続
Apple TVとテレビをHDMIケーブルで接続
- Apple TVは当然無線LANに接続
Apple TVにピクセラのStation TVアプリをインストール
アプリでテレビの映像が受信できれば成功

メリット／デメリット

これで終わりだと味気ないのでこの構成のメリット／デメリットを少しだけ。

アンテナ線が不要なので配線がスッキリする

これが一番のメリット。ただしPS4案や室内アンテナ案でも実現可能。

全てがApple TVで完結するので、入力切替が不要になる

我が家ではApple TVでHuluを観たり、NASに入れた動画を観たりとApple TVをヘビーに使っている。有線のときは、テレビとApple TVの入力切替が必要で、結構煩わしかった。

Apple TVのスリープ時にテレビの電源を落とす設定と、Apple TVリモコンによる音量変更設定 (外部スピーカーの設定) をすると、テレビのリモコンも不要になる。

これが、PS4案よりも優れている唯一のポイントだと思う。

がんばれば外出先でスマホでテレビが見れる

iPhoneアプリもあるので、家のLANに接続できれば外でも使える。 VPNを張る必要があるのでハードルは高め。いつか記事にするかも。

録画は諦めたほうがいい

ピクセラチューナーに外付けHDDを接続すると録画もできるが、UIがクソなので使ってない。録画予約もできない。Windowsのアプリなんかではできるのかもしれないが、よく知らない。 Mac用のアプリを2500円も出して買ったが起動すらしないクソアプリだったのでMacでは無理。

アプリの開発もたぶん止まっているので、今後の改善も期待できない。

Picasa APIを使ってGoogle Photoからデジカメ写真だけを取得 2

Tue, 01 Aug 2017 22:41:29 +0000

前回の続き。今回は任意のアルバムから写真の情報を取得する。

写真情報の取得

your_album_nameアルバムから取得する場合は以下のような感じ。

require 'picasa'

client = Picasa::Client.new(
  user_id: 'your@email',
  access_token: 'your_access_token'
)

albums = client.album.list.entries
album = albums.find { |a| a.title == 'your_album_name' }

photos = client.album.show(album.id).entries

photos.each do |photo|
  puts "#{photo.id}, #{photo.exif.time}, #{photo.title}, #{photo.exif.model}"
end

Exif情報から撮影機器のモデル名を取得することもできた。これで最初にやりたかったことはほぼできたが、このスクリプトだと1000枚しか処理できないという欠点があるのでもう少し続ける。

大量の写真情報の取得

start-indexオプションを使って以下のように書くことで、1000枚以上の写真を処理することができる。ただし、start-indexの最大値は10001らしいので、この方法でも11000枚までしか処理できない。 11000枚で十分事足りたので、この対処法までは調べていない。

PAGE_NUM_MAX = 11

page_num = [album.numphotos / 1000, PAGE_NUM_MAX].min

page_num.times do |page|
  opt = {}
  opt['start-index'] = page * 1000 + 1
  photos = client.album.show(album.id, opt).entries
  photos.each do |photo|
    puts "#{photo.id}, #{photo.exif.time}, #{photo.title}, #{photo.exif.model}"
  end
end

albumの指定まではこれまでと変わらないので省略した。

Picasa APIを使ってGoogle Photoからデジカメ写真だけを取得 1

Sun, 30 Jul 2017 22:56:40 +0000

Google Photoの検索では、Exif情報の撮影機器のモデル名をキーにすることができないらしい。あるデジカメで撮った写真だけを抽出するために試行錯誤した結果、 PicasaのAPIを使うことで実現できたので、そのやり方を記す。

ちなみにGoogle PhotoのAPIはまだ用意されておらず、Piacasa APIがその代替となっている。

Picasa APIを使う

Access tokenの取得

Gmailのときとは違い、PicasaのAPIを使うのは少しコツがいる。既にPicasaのサービスが終了しているためか、API MANAGERで検索してもPicasa APIが出てこない。

そこで、Access tokenを取得するためにOAuth 2.0 Playgroundを使う。

Select the scopeの一覧から、Picasa Web v2を選択して表示されるURLをクリックする。 Authorize APIsボタンが有効になるので、それを押してAPIを有効にする許可を与える。

Authorization codeが取得できるので、続けてExchange authorization code for tokensボタンを押下。これでAccess tokenが得られる。

Access tokenの確認

得られたAccess tokenの確認も兼ねて、簡単なAPIを使ってみる。

まずはRubyでPicasa APIを簡単に使えるようにするgemをインストール。

gem install picasa

あとは以下のようなスクリプトでアルバム名の一覧を取得する。

require 'picasa'

client = Picasa::Client.new(
  user_id: 'your@email',
  access_token: 'your_access_token'
)

albums = client.album.list.entries
albums.each { |a| p a.title }

your@emailとyour_access_tokenにはそれぞれ自分の（Access token取得時に許可を与えた）アカウントと、上で取得したAccess tokenを入れる。

Google Photoのアルバム名の一覧が表示されれば成功。Access tokenがちゃんと使えることがわかった。

次回以降で写真の取得、Exif情報の取得あたりのやり方を書いていく。

HandBrakeCLIによるDVDリッピング 3

Wed, 19 Jul 2017 22:36:23 +0900

前回からの続き。これまではisoファイルからリッピングする形だったが、DVDドライブから直接リッピングする。

DVDドライブのパスを取得

diskutilコマンドを使う（たぶんmacOSでしか使えない）。 DVDをドライブに入れた状態で、

diskutil list

すると、HDD含め、OSが認識しているディスクのパーティション一覧が出てくる。 NAMEの部分に入れたDVDの名前が表示されているのがあるはず。例えば以下のような感じ。

/dev/disk2 (external, physical):
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:                            VIBY_521               *2.0 GB     disk2

この場合、/dev/disk2を入力として指定することでDVDから直接リッピングが可能になる。

HandBrakeCLI -Z 'H.265 MKV 1080p30' --all-audio -s '1,2,3,4,5,6' -c 1 -i /dev/disk2 -o hoge_1.mkv

前回の最後のスクリプトと組み合わせて、

chapter_num=`lsdvd /dev/disk2 | grep Chapters | awk '{gsub(/,/,""); print $6}'`
for ((i = 1; i <= $chapter_num; i++)); do
  HandBrakeCLI -Z 'H.265 MKV 1080p30' --all-audio -s '1,2,3,4,5,6' -c $i -i /dev/disk2 -o hoge_$(printf %02d $i).mkv
done

ここまでで、かなり形になったので今回でラストとする。ただ、実はこれだけだと使えないタイプのDVDがある。そのあたりは、そのうち載せようと思う。スクリプトを少し整理してGitHubで公開する予定。

Blu-rayからのリッピングについてはこちら

お約束

違法なリッピングを推奨しているわけではないので注意。コピーガードされたDVDをリッピングするのはダメ。ぜったい。

HandBrakeCLIによるDVDリッピング 2

Mon, 10 Jul 2017 22:41:58 +0900

前回からの続き。

チャプター分割

チャプター毎にファイルを分割してリッピングしたい場合は-cオプションを使って

HandBrakeCLI -Z 'H.265 MKV 1080p30' --all-audio -s '1,2,3,4,5,6' -c 1 -i hoge.iso -o hoge_1.mkv
HandBrakeCLI -Z 'H.265 MKV 1080p30' --all-audio -s '1,2,3,4,5,6' -c 2 -i hoge.iso -o hoge_2.mkv
HandBrakeCLI -Z 'H.265 MKV 1080p30' --all-audio -s '1,2,3,4,5,6' -c 3 -i hoge.iso -o hoge_3.mkv

いちいちチャプター数だけ繰り返すのはバカらしいので、 for文を使って以下のように書く。

for ((i = 1; i <= 3; i++)); do
  HandBrakeCLI -Z 'H.265 MKV 1080p30' --all-audio -s '1,2,3,4,5,6' -c $i -i hoge.iso -o hoge_$(printf %02d $i).mkv
done

3の部分を変数にして、引数として渡してやれば、任意のチャプター数に対応できる。

チャプター数の取得

いちいち、チャプター数を指定するのは面倒なので、 lsdvdを使ってチャプター数を取得する。

brew install lsdvd

からの

lsdvd hoge.iso

これでチャプター数を含む標準出力が得られる。あとは適当に文字列を抜き出して使えば良い。以下にawkを使った例を示す。

lsdvd hoge.iso | grep Chapters | awk '{gsub(/,/,""); print $6}'

先ほどのfor文と組み合わせて

chapter_num=`lsdvd hoge.iso | grep Chapters | awk '{gsub(/,/,""); print $6}'`
for ((i = 1; i <= $chapter_num; i++)); do
  HandBrakeCLI -Z 'H.265 MKV 1080p30' --all-audio -s '1,2,3,4,5,6' -c $i -i hoge.iso -o hoge_$(printf %02d $i).mkv
done

長くなってきたので、いったんここまで。次回はisoファイルではなく、DVDドライブから直接mkvに変換する方法。

お約束

違法なリッピングを推奨しているわけではないので注意。コピーガードされたDVDをリッピングするのはダメ。ぜったい。

HandBrakeCLIによるDVDリッピング 1

Mon, 03 Jul 2017 22:08:55 +0900

DVDのリッピングというのは、設定が異常に多い。

まず大きいところで、コーデック。汎用性の高いH.264にするのか、先を見越してH.265にするのか。コンテナはどうする？mp4なんかはよく見るし汎用性ありそう。でも字幕や音声を切り替えるならmkvを選んだ方がいい。フレームレートは？ノイズ除去フィルタの種類や強さも決めなきゃ。

と言った具合に無数に決めることがあり、それをいちいち設定してたら何十枚もあるDVDをリッピングするのにどれだけ時間がかかるかわからない。しかも、今回設定した内容を次に覚えてないとまたノイズフィルタのかかり具合を見極める作業を繰り返すことになる。

そういった面倒なことを避けるために、DVDをドライブに挿入したら、あとはコマンドを一発送るだけでいつもの設定でリッピングできるようにした。

HandBrakeCLI

今回使ったのは、有名なリッピングソフトであるHandBrakeのCUIバージョンであるHandBrakeCLI。 Homebrewにはなかったので公式サイトからダウンロードしてインストールする。

ISOイメージからの変換

まずはISOイメージから適当な設定で変換する。

HandBrakeCLI -i hoge.iso -o hoge.mkv

こんな感じ。デフォルトのオプションがどうなってるかはhelpに書いてあるとは思うが長すぎて読んでられない。

もう少しちゃんとした変換

完全にマニュアルでオプションを設定するより、プリセットオプションと組み合わせたほうがよい。以下のコマンドで、プリセットオプションの一覧が出てくる。

HandBrakeCLI -z

画質重視＋音声や字幕の切り替えがしたいのでmkv形式のH.265 MKV 1080p30にしてみる。

HandBrakeCLI -Z 'H.265 MKV 1080p30' -i hoge.iso -o hoge.mkv

せっかく音声と字幕の切り替えができるmkv形式にしたのに、このままでは1種類しか取り込んでくれないので、 --all-audioオプションと-sオプションを使って

HandBrakeCLI -Z 'H.265 MKV 1080p30' --all-audio -s '1,2,3,4,5,6' -i hoge.iso -o hoge.mkv

こんな感じ。 DVDからの取り込みやチャプター分割など、もう少し突っ込んだ内容は次回以降。

お約束

違法なリッピングを推奨しているわけではないので注意。コピーガードされたDVDをリッピングするのはダメ。ぜったい。

RubyでGmail本文を取得する 2

Mon, 26 Jun 2017 22:44:57 +0900

前回はアクセストークンを取得して、メール本文を取得することに成功した。ただしアクセストークンには期限があり、取得しなおさなくてはならない。今回はリフレッシュトークンを使うことで、これを解決する。

リフレッシュトークンの取得

前回のアクセストークン取得の項に記載の通り。

リフレッシュトークンを使ったメールの取得

前回からの差分

require 'google/api_client'
require 'json'

-ACCESS_TOKEN     = 'YourAccessToken'
+CLIENT_ID        = 'YourClientID'
+CLIENT_SECRET    = 'YourClientSecret'
+REFRESH_TOKEN    = 'YourRefreshToken'
APPLICATION_NAME = 'YourApplicationName'

# APIクライアントの準備
client = Google::APIClient.new(application_name: APPLICATION_NAME)
-client.authorization.access_token = ACCESS_TOKEN
+client.authorization = Signet::OAuth2::Client.new(
+  token_credential_uri: 'https://accounts.google.com/o/oauth2/token',
+  audience:             'https://accounts.google.com/o/oauth2/token',
+  scope:                ['https://www.googleapis.com/auth/drive.file'],
+  client_id:     CLIENT_ID,
+  client_secret: CLIENT_SECRET,
+  refresh_token: REFRESH_TOKEN,
+)
+
+client.authorization.refresh!
gmail = client.discovered_api('gmail')

# query
res = client.execute(
  api_method: gmail.users.messages.list,
  parameters: {'userId' => 'me', 'q'=>'from:auto-confirm@amazon.co.jp'},
)

# parse
if res.status == 200
  json = JSON.parse(res.body)
  json['messages'].each do |mail_ids|
    mail = client.execute(
      api_method: gmail.users.messages.get,
      parameters: {'userId' => 'me', 'id'=>mail_ids['id']},
    )
    p mail.body
  end
else
  puts 'error'
end

これでこのシリーズは終わり。

RubyでGmail本文を取得する 1

Tue, 20 Jun 2017 22:55:21 +0900

GmailのAPIをRubyで使う方法を何回かに分けて書く。

API準備

まずはAPIを使うための準備。https://console.developers.google.com/ にアクセスして、プロジェクトを作成する。それから、Gmail APIを有効にし、認証情報を追加する。

使用するAPI => Gmail API
APIを呼び出す場所 => その他のUI
アクセスするデータの種類 => ユーザーデータ

あとは適当に選んで進めると、クライントIDとクライアントシークレットが取得できる。

Access Tokenの取得

取得したクライアントIDとクライアントシークレットから、以下のスクリプトでアクセストークンとリフレッシュトークンを取得できる。

require 'net/http'
require 'uri'
require 'oauth2'
require 'launchy'

CLIENT_ID     = 'YourClientID'
CLIENT_SECRET = 'YourClientSecret'

client = OAuth2::Client.new(
  CLIENT_ID, CLIENT_SECRET,
  :site => "https://accounts.google.com",
  :token_url => "/o/oauth2/token",
  :authorize_url => "/o/oauth2/auth")
auth_url = client.auth_code.authorize_url(
  :redirect_uri => 'urn:ietf:wg:oauth:2.0:oob',
  :scope => 'https://www.googleapis.com/auth/gmail.readonly')
 
# 表示されるURLをブラウザで開く
Launchy.open auth_url
 
print "authorization code:"
authorization_code = gets.chomp

res = Net::HTTP.post_form(URI.parse('https://accounts.google.com/o/oauth2/token'),
                          {'client_id'     => CLIENT_ID,
                           'client_secret' => CLIENT_SECRET,
                           'redirect_uri'  => 'urn:ietf:wg:oauth:2.0:oob',
                           'grant_type'    => 'authorization_code',
                           'code'          => authorization_code})
puts res.body

メールの取得

取得したアクセストークンを以下のように使って、Gmail APIが使える。以下は、auto-confirm@amazon.co.jpからの受信メールを取得するスクリプト。

require 'google/api_client'
require 'json'

ACCESS_TOKEN     = 'YourAccessToken'
APPLICATION_NAME = 'YourApplicationName'

# APIクライアントの準備
client = Google::APIClient.new(application_name: APPLICATION_NAME)
client.authorization.access_token = ACCESS_TOKEN
gmail = client.discovered_api('gmail')

# query
res = client.execute(
  api_method: gmail.users.messages.list,
  parameters: {'userId' => 'me', 'q'=>'from:auto-confirm@amazon.co.jp'},
)

# parse
if res.status == 200
  json = JSON.parse(res.body)
  json['messages'].each do |mail_ids|
    mail = client.execute(
      api_method: gmail.users.messages.get,
      parameters: {'userId' => 'me', 'id'=>mail_ids['id']},
    )
    p mail.body
  end
else
  puts 'error'
end

今後

アクセストークンには期限があり、一定時間経過すると使えなくなってしまう。これを解決するのがリフレッシュトークンを使った方法。次回はこれを使っていつでもAPIを利用できるようにする。

KindleのハイライトをLINEに通知する 4

Sun, 18 Jun 2017 14:33:41 +0900

前回はLINEのBOTにメッセージを送ることで、ハイライトを取得して返信してくれるようにした。現状では、設定したページ数だけスクレイピングして、全てのハイライトを返信することになっているので、何度も同じハイライトが送られてきてしまう。今回は最新のハイライトだけを返信するようにする。

今回でこのシリーズは最後。

方針

今まで取得したハイライトを記録しておいて、差分だけを返信するという単純な仕様にした。

記録する方法は、これまた単純に外部ファイルに保存するだけ。容量が増えてきたら、ソートしておく、データベースに記録する、などの工夫が必要になるかもしれないが、とりあえず問題になるまでは単純な実装にする。

JSON形式で保存

以下のメソッドで@highlightsという配列をJSON形式にして保存する。 'json'を忘れずにrequireすること。

  # ハイライトをJSON形式にして外部ファイルに保存する
  def store_highlights
    File.open(JSON_FILE_NAME, 'w') do |file|
      JSON.dump(@highlights, file)
    end
  end

JSON形式のファイルを読み出し

以下のメソッドでJSON_FILE_NAMEというJSON形式ファイルから@highlights配列にデータを読み出す。

  # 外部ファイルから既に取得しているハイライトを読み出す
  def restore_highlights
    return unless File.exist?(JSON_FILE_NAME)
    File.open(JSON_FILE_NAME, 'r') do |file|
      @highlights = JSON.load(file)
    end
  end

あとは、@highlightsに存在しないハイライトだけをLINEで送信し、外部ファイルに保存すればよい。

全ソース

githubに全ソースをあげた。 https://github.com/shidetake/line_kindle_highlights

KindleのハイライトをLINEに通知する 3

Wed, 07 Jun 2017 22:27:01 +0900

前回はサーバで起動してLINE通知するところまで。このままだとサーバ側で手動で起動しないといけない。これを解決する。

起動タイミング

仕様

cronで周期的に実行する仕様や、手動で合図してから一定時間だけ連続起動する仕様など、いくつか考えたが、結局は手動で合図したタイミングで1度だけ起動する仕様にした。

LINEでタイミングを通知する方法であれば、手動でも大した手間ではない。

妥協案とも言える仕様だが、この仕様にした一番の理由は、頻繁にアクセスすると、ロボットと疑われてCAPTCHAでブロックされてしまうため。これを解除することもできるとは思うが、一気に難易度が上がるので今回は見送ることにした。

流れ

以下のような流れで起動要求を伝達する。

LINEで起動要求
↓
LINEからGoogle Apps Scriptのスクリプト実行
↓
ソケット通信でスクレイピング開始要求

実装

まずは前回まで作ったクローラーを、ソケット通信をトリガにして動作するようにする。

+require 'socket'

+gs = TCPServer.open(12345)
+addr = gs.addr
+addr.shift
+printf("server is on %s\n", addr.join(":"))

 crawler = LineKindleHighlights.new

+loop do
+  s = gs.accept
+  print(s, " is accepted\n")
+
   crawler.scrape
+
+  print(s, " is gone\n")
+  s.close
+end

これでポート12345番でアクセスされると1度だけ動作するようになる。

つづいて、LINEをトリガにして動作するスクリプトをGoogle Apps Scriptとして作成する。

function doPost(e) {
  Logger.log('doPost')
  var events = JSON.parse(e.postData.contents).events;
  events.forEach (function(event) {
    if (event.type == "message") { UrlFetchApp.fetch("http://your_server_address.com:12345"); }
  });
}

こんな感じでウェブアプリケーションとして導入して、LINE側のWebhookアドレスに紐付けると、 BOTに話しかけたタイミングでソケット通信が飛ぶようになる。

続きはこちら

KindleのハイライトをLINEに通知する 2

Sun, 04 Jun 2017 22:44:34 +0900

前回はクローラーを作成してハイライトを取得するところまでだった。今回はサーバで起動してLINE通知するところまでを作る。

サーバで起動

前回はSeleniumを使ったが、サーバで実行する場合はGUIアプリケーションにはできないので、 POLTERGEISTを使う。

  def initialize
-   Capybara.current_driver = :selenium
+   Capybara.current_driver = :poltergeist
-   Capybara.javascript_driver = :selenium
+   Capybara.javascript_driver = :poltergeist
    Capybara.app_host = 'https://kindle.amazon.co.jp'
    Capybara.default_max_wait_time = 5
-   Capybara.register_driver :selenium do |app|
+   Capybara.register_driver :poltergeist do |app|
-     # 最新のSeleniumではFirefoxが動作しない問題があるのでchromeを使う
-     Capybara::Selenium::Driver.new(app, :browser => :chrome)
+     Capybara::Poltergeist::Driver.new(app, {:timeout => 120, js_errors: false})
    end
+   page.driver.headers = {'User-Agent' => 'Mac Safari'}
  end

Amazonのウェブサイト固有の問題で、ユーザーエージェントの変更が必要なので、Mac Safariとしている。

これでサーバ（今回はUbuntuを使った）で動作するようになった。

LINE通知

line-bot-apiを使った。だいたい以下のような感じ。Channel Secret, Channel Access Token, userIdはLINE developersから取得して入力すること。 push_highlightメソッドを使って、前回標準出力していた文字列をLINEに送れる。

  def initialize(driver)
    Capybara.current_driver = :poltergeist
    Capybara.javascript_driver = :poltergeist
    Capybara.app_host = 'https://kindle.amazon.co.jp'
    Capybara.default_max_wait_time = 5
    Capybara.register_driver :poltergeist do |app|
      Capybara::Poltergeist::Driver.new(app, {:timeout => 120, js_errors: false})
    end
    page.driver.headers = {'User-Agent' => 'Mac Safari'} if driver == POLTERGEIST

+   @line = Line::Bot::Client.new do |config|
+     config.channel_secret = ''
+     config.channel_token  = ''
+   end

+   @user_id = ''
  end

+ def push_highlight(highlight)
+   message = {
+     type: 'text',
+     text: highlight
+   }

+   @line.push_message(@user_id, message)
+ end

続きはこちら

KindleのハイライトをLINEに通知する 1

Sat, 27 May 2017 13:08:32 +0900

読書メモのためにハイライトした文章をコピペできる形にしたい。 KindleにはハイライトをメールやTwitterでシェアする機能があるが、これはアクションが増えて読書を妨げるので使いたくない。

ハイライトした内容は https://kindle.amazon.co.jp/your_highlights で見えるので、これを取得して通知するクローラーを作ればよい。

クローラー作成

RubyのCapybaraを使った。

動作環境

ruby 2.3.0p0 (2015-12-25 revision 53290) [x86_64-darwin15]
selenium-webdriver (2.53.0, 2.52.0)
capybara (2.14.0)

ソースコード

# coding: utf-8
require 'capybara'
require 'capybara/dsl'
require 'capybara/poltergeist'
require 'selenium-webdriver'

class LineKindleHighlights
  include Capybara::DSL

  KINDLE_EMAIL    = 'your@email'
  KINDLE_PASSWORD = 'your_password'
  CRAWL_PAGE_NUM = 2

  def initialize
    Capybara.current_driver = :selenium
    Capybara.javascript_driver = :selenium
    Capybara.app_host = 'https://kindle.amazon.co.jp'
    Capybara.default_max_wait_time = 5
    Capybara.register_driver :selenium do |app|
      # 最新のSeleniumではFirefoxが動作しない問題があるのでchromeを使う
      Capybara::Selenium::Driver.new(app, :browser => :chrome)
    end
  end

  def scrape
    login

    # ページ読み込み待ち
    sleep 5

    go_to_highlights

    CRAWL_PAGE_NUM.times do
      all('.title').each do |element|
        p element.text
      end

      all('.highlight').each do |element|
        p element.text
      end

      next_page
    end
  end

  private

  # Kindleのマイページにアクセスしログインする
  def login
    visit('')
    click_link 'sign in'
    fill_in 'ap_email',
      :with => KINDLE_EMAIL
    fill_in 'password',
      :with => KINDLE_PASSWORD
    click_on 'signInSubmit'
  end

  # Your Hightlightsのページに遷移する
  # @note ログイン直後のページで使う
  def go_to_highlights
    click_link 'Your Highlights'
  end

  # 次のページに遷移
  # @note Your Hightlightsのページで使うことで次の本のハイライトページに遷移する
  def next_page
    visit(find_by_id('nextBookLink', visible: false)[:href])
  end
end

crawler = LineKindleHighlights.new
crawler.scrape

KINDLE_EMAILとKINDLE_PASSWORDだけ設定すれば動く
CRAWL_PAGE_NUMは実質的には取得するハイライトの本の数になる (1ページに1冊分の情報が出る）
次のページへの遷移で少しハマった。hiddenなクラスのリンクを取得するにはvisible: falseする必要があるらしい

とりあえず今回はここまで。

続きはこちら

TODO

クローラー作成
LINE通知機能
通知済みハイライトを通知しない
サーバ上で動作

Time Machineの容量制限

Sun, 14 May 2017 21:01:17 +0900

Time Capsuleをバックアップ用途だけでなく、NASとしても使いたい。 Time Machineを使うと、容量がいっぱいになるまでバックアップを取り続けてしまうので、何らかの方法で容量を制限する必要がある。

パーティションを切って、バックアップ領域とデータ領域に分けるという方法が主流のようだ。ただ、裏ワザ的な使い方のためあまり推奨しないという意見も多い。

そこで、別の方法を採用した。

ダミーファイルを置く

ダミーファイルを置くことで、パーティションを切ることなく、Time Machineの侵食を逃れる。新しくデータを置きたい場合は、ダミーファイルの一部をデータと置き換えればよい。

1GBのダミーファイルを100個と、10GBのダミーファイルを10個用意して、計200GB分のデータ領域を確保することにした。

ダミーファイルの作成は以下のコマンドを使った。

dd if=/dev/zero of=./dummy_10GB bs=1000000 count=10000

実際にはfor文で以下のように使う。ネットワーク越しなのでかなり時間がかかることに注意。

cd /Volumes/TimeCapsule
for ((i=0; i < 100; i++)); do dd if=/dev/zero of=./dummy_1GB_$i bs=1000000 count=1000; done
for ((i=0; i < 10; i++)); do dd if=/dev/zero of=./dummy_10GB_$i bs=1000000 count=10000; done

Amazon Dash ButtonからLINE通知

Thu, 11 May 2017 22:31:20 +0900

dasher導入

他の人が詳しく書いているので割愛。
個人的にはAmazon Dash Button と slackを連携させるという記事がとても参考になった。

LINEへのPUSH通知設定

LINE側の設定はLINE BOTでPUSH通知するを参照。

CHANNEL_ACCESS_TOKENとUSERIDは上記事で取得したもの。 MAC_ADDRESSはdasher導入時に取得したものを書くこと。

{"buttons": [
  {
    "name": "joy",
    "address": "MAC_ADDRESS",
    "url": "https://api.line.me/v2/bot/message/push",
    "method": "POST",
    "headers": {
      "Content-Type": "application/json",
      "Authorization": "Bearer {CHANNEL_ACCESS_TOKEN}"},
    "json": true,
    "body": {
      "to": "USERID",
      "messages": [
        {
          "type": "text",
          "text": "JOY!"
        }
      ]
    }
  }
]}

LINE BOTでPUSH通知する

Mon, 17 Apr 2017 23:11:57 +0900

登録

PUSH通知する場合はDeveloper Trialで登録

Google Apps ScriptでユーザID取得

友達に追加したユーザのIDを登録したメールアドレスにメールする
以下のコードでウェブアプリケーションとして導入する
- CHANNEL_ACCESS_TOKENはLINE depelopersで取得できる
- example@gmail.comは任意のgmailアドレス
- アプリケーションにアクセスできるユーザーは全員（匿名ユーザーを含む）

var CHANNEL_ACCESS_TOKEN = 'CHANNEL_ACCESS_TOKEN';

function doPost(e) {
  Logger.log('doPost')
  var events = JSON.parse(e.postData.contents).events;
  events.forEach (function(event) {
    if (event.type == "follow") { mailUserId(event); }
  });
}

function mailUserId(e) {
  MailApp.sendEmail('example@gmail.com', 'mailId', e.source.userId);
}

curlでMessaging APIのPUSH通知を使う

CHANNEL_ACCESS_TOKENは上で使ったものと同じ
USERIDはプッシュ先
- 今回は上で取得した自分のユーザIDを使う

curl -X POST \
-H 'Content-Type:application/json' \
-H 'Authorization: Bearer {CHANNEL_ACCESS_TOKEN}' \
-d '{
    "to": "USERID",
    "messages":[
        {
            "type": "text",
            "text": "Hello, world!"
        }
    ]
}' https://api.line.me/v2/bot/message/push

cheat_sheet

Thu, 30 Mar 2017 23:30:11 +0900

要約
チートシート

かなり癖がある。恐らく、moreより上に見出し、もしくは小見出しがある場合、そこまでが要約となり、moreより上にあっても通常の文章は表示されない。見出しがない場合は、moreより上が全て要約となる。
バグな気もするが、詳細は不明。

見出し

小見出し

改行

文末に半角スペース2つ
で改行。

脚注

こんな感じ¹

画像

from google photo

リンク

絶対パス

Google
http://google.com

相対パス

LINE BOTでPUSH通知する

シンタックスハイライト

ブロック

p hello

インライン

文章の途中でp helloこんな感じ

強調

強め強め強い強い

箇条書き

1段目1
- 2段目
  - 3段目は3タブ
1段目2

表

Left align	Right align	Center align
This	This	This
column	column	column
will	will	will
be	be	be
left	right	center
aligned	aligned	aligned

Tag

タグは重複を許すので、いくつでもつければ良い。あまり注意はしなくていいが、表記ゆれだけは気をつけたい。 rubyとRubyとか。現時点ではざっくり以下のタグわけ - Ruby - LINE BOT - Raspberry Pi - Scraping - Fintech - Blog - Smart Home - API - Ripping - Kindle - Amazon Dash Button

Amazonアソシエイト

テキスト

任意のテキスト

画像

小

中

大

テキストと画像

hoge ^[return]

Search

Mon, 01 Jan 0001 00:00:00 +0000