SHOYAN BLOG

I am a pragmatic programmer.

Google Spreadsheetsを使ってデータの分析をする

データの分析によく使われるエクセルですが、Google Spreadsheetsでも様々な関数が用意されています。
関数を使えば日付の差分を調べたり、特定の条件に一致するデータをカウントすることができます。
Google Spreadsheetsを使ってデータの集計、分析をするためのTipsの紹介をします。

日付の差分を調べる

例えばユーザーの契約日数を調べたいとしましょう。
DATEVALUEを使って以下のように計算できます。

1
=DATEVALUE("2016/05/17") - DATEVALUE("2016/05/01")

セルを指定することもできます。

1
=DATEVALUE(A2) - DATEVALUE(A1)

月で表示したい場合は30で割ります。
FLOORは小数点を切り捨てるために使っています。

1
=FLOOR((DATEVALUE("2016/05/17") - DATEVALUE("2015/05/01"))/30, 0.1)

特定の条件をカウントする

例えば、契約期間が1年未満のユーザーをカウントする場合はCOUNTIFSを使います。

1
=COUNTIFS(A1:A1000, "<365")

COUNTIFSは複数条件を指定できます。
契約期間が1年以上〜2年未満のユーザーをカウントするということができます。

1
=COUNTIFS(A1:A1000, ">=365", I3:I1009, "<730")

点数を分析する

平均点を求めることは AVERAGE を使えばできます。
平均だけでなくばらつきを求めると違った角度でデータを捉えることができます。
ばらつきは標準偏差を求める関数 STDEVPで求めることができます。

1
= STDEVP(A1:E1)

例えばそれぞれの項目にたいして点数をつけるアンケートがあるとします。
以下の2つの項目は平均点は同じですが、標準偏差を求めるとばらつきがあることがわかります。
標準偏差を使えばこのようなデータを見つけることができます。

点数         平均点 標準偏差
6 7 9 7 6 7 1.095445115
8 5 10 7 5 7 1.897366596

サンプルを用意しました。参考にどうぞ。
https://docs.google.com/spreadsheets/d/1bOc3s8ikFcbBPGuzxDbRzd8KVT00lgQUDz275TJAIoE/edit#gid=0

Expressのインストールと構成を把握する

Node.jsのフレームワーク、Expressを試してみました。
ExpressはNode.jsでwebアプリケーションを作成するためのフレームワークです。

インストール

まずは、Node.jsをインストールします。

以下のページからパッケージをダウンロードしてインストールします。
https://nodejs.org/en/

次にnpmを使ってexpress-generatorをインストールします。
express-generatorはExpressのスケルトンアプリケーションを作成するコマンドです。
npmはNode.jsをインストールした際にインストールされていると思います。

1
$ sudo npm install express-generator -g

スケルトンアプリケーションを作成する

expressコマンドでスケルトンアプリケーションを作成します。

1
2
3
$ express myapp
$ cd myapp
$ npm install

起動してみます。

1
2
3
4
5
6
7
8
9
⇒  DEBUG=myapp:* npm start

> myapp@0.0.0 start /Users/PMAC025S/Development/sample/nodejs/myapp
> node ./bin/www

  myapp:server Listening on port 3000 +0ms
GET / 200 659.865 ms - 170
GET /stylesheets/style.css 200 9.088 ms - 111
GET /favicon.ico 404 70.846 ms - 1285

http://localhost:3000 にアクセスしてみます。
Welcome to Express と表示されていれば正常に起動できています。

サーバーの停止はCtrl + Cです。

ルーティング

ルーティングの基本的な構造です。

1
app.METHOD(PATH, HANDLER)

app: expressのインスタンス
METHOD: HTTPメソッド(GET, POST, PUT, PATCH, DELETE等)
PATH: サーバーのパス
HANDLER: 実行する関数

Hello World!を返すルーティングのサンプルです。
/にGETリクエストを送ると、Hello World!が返却されます。

1
2
3
app.get('/', function (req, res) {
  res.send('Hello World!');
});

/にPOSTリクエストを送ると、Got a POST requestが返却されます。

1
2
3
app.post('/', function (req, res) {
  res.send('Got a POST request');
});

Expressの構造

express-generator で作成されたファイルを確認していきます。
ファイル構成は以下です。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
  tree -L 2
.
├── app.js
├── bin
   └── www
├── node_modules
   ├── body-parser
   ├── cookie-parser
   ├── debug
   ├── express
   ├── jade
   ├── morgan
   └── serve-favicon
├── package.json
├── public
   ├── images
   ├── javascripts
   └── stylesheets
├── routes
   ├── index.js
   └── users.js
└── views
    ├── error.jade
    ├── index.jade
    └── layout.jade

app.js

app.jsではアプリの設定やルーティングを定義します。
簡単なアプリであれば、ここに全て書いてしまってもよいでしょう。
express-generatorで作成されたファイル構成では、routes/views/ ディレクトリが作成されており、ルーティングやテンプレートは分離する構成となっています。

bin

実行ファイルが格納されます。

node_modules

Expressなどのモジュールが入っているディレクトリです。npmでインストールしたファイルが格納されます。

package.json

アプリの設定やメタ情報を定義するファイルです。

public

公開ディレクトリです、cssファイル、imageファイル、JavaScriptファイルを格納します。

routes

アプリケーションのルーティングと処理を定義したファイルを格納します。

viewsディレクトリ

テンプレートを定義したファイルを格納します。

Expressの構成は把握できました。
次はExpressを使ってチャットアプリケーションを作ってみたいと思います(次回へ続く)。

参考リンク

Rubyでスラッシュを意識せずにコーディングする方法

ファイルのパスを生成する際にセパレーターを意識しなくてはならず、どうにもいけていないコードがあります(ありますというか自分が量産していました)。
以下のようなコードです。

1
path = "#{path1}/{$path2}"

セパレーターを意識せずコーディングできないものかと調べたところ、File.joinを使えばよしなにやってくれることがわかりました。
File.joinを使えばセパレーターを指定する必要はありません。

1
2
File.join("hoge", "moge")
=> "hoge/moge"

File.joinは正しいであろうパスのフォーマットに補正してくれるため、//hogeのようなパスが生成されることもありません。

1
2
File.join("hoge", "moge/", "/fuga")
=> "hoge/moge/fuga"

パラメーターが配列でもよしなにやってくれます。

1
2
File.join(%w(hoge moge/ fuga))
=> "hoge/moge/fuga"

地味ですが、これでセパレーターの悩みから解放されて幸せになれます。

参考リンク

Exception Notificationでundefined Method `current' for Time:Classエラーがでた

例外発生時にException Notificationで通知をしようと思い、導入してみたところ以下のエラーがでました。

1
2
ERROR: Failed to generate exception summary:
ActionView::Template::Error: undefined method `current' for Time:Class

日付の取得にTime.currentを使っており、Time.currentはActive supportにより拡張されたメソッドなのでActive Supportを使っている環境でしか動作しません(要するにRailsじゃないと動かない。Sinatraは…)。

PRもでているので対応してほしいところです。

対応方法

require 'active_support/core_ext/time’ をすることでTime.currentを使えるようにしました。

サンプルコード

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
require 'rubygems'
require 'bundler/setup'
require "sinatra/base"
require 'exception_notification'
# Time.currentを使えるようにする
require 'active_support/core_ext/time'

class App < Sinatra::Application
  use ExceptionNotification::Rack,
    :email => {
      :email_prefix => "[Exception] ",
      :sender_address => %{"notifier" <notifier@example.com>},
      :exception_recipients => %w{shoyan@example.com}
    }

  get '/' do
    begin
      // 何かの処理
    rescue Exception => e
      status 500
      ExceptionNotifier.notify_exception(e, env: env)
      e.message
    end
  end
end

Sinatraのエラーハンドリング

Sinatraには not_foundハンドラとerrorハンドラの2つのハンドラが用意されています。
not_foundハンドラは404エラーを補足するためのエラーハンドラです。
errorハンドラは様々なエラーを補足するためのエラーハンドラです。

Not Foundハンドラ

not_foundハンドラは404エラーを補足するためのエラーハンドラです。
Sinatra::NotFoundが発生したとき、またはステータスコードが404のときは not_foundハンドラが実行されます。

1
2
3
not_found do
  'This is nowhere to be found.'
end

Errorハンドラ

errorハンドラは様々なエラーを補足するためのエラーハンドラです。
例外オブジェクトにはRack変数の sinatra.error でアクセスできます。

1
2
3
error do
  'Sorry there was a nasty error - ' + env['sinatra.error'].message
end

以下の設定をすると、environmentがDevelopmentのときにブラウザにスタックトレースを表示することができます。

1
set :show_exceptions, :after_handler

エラー固有の制御もできます。
MyCustomeErrorのエラーハンドリングをしたいときは以下のように定義します。

1
2
3
error MyCustomError do
  'So what happened was...' + env['sinatra.error'].message
end

raiseでエラーを発生させるようにしてみます。

1
2
3
4
5
6
7
get '/' do
  raise MyCustomError, 'something bad'
end

# 以下のようにレスポンスが返ります。

So what happened was... something bad

ステータスコードを指定してエラーハンドリングを行う方法もあります。

1
2
3
error 403 do
  'Access forbidden'
end

レンジの指定も可能です。

1
2
3
error 400..510 do
  'Boom'
end

errorハンドラにerrorコードを指定しなかった場合は何を補足するのか

errorハンドラにerrorコードを指定しなかった場合は、Exceptionを補足します。

1
2
3
4
5
6
7
  def error(*codes, &block)
    args  = compile! "ERROR", /.*/, block
    codes = codes.map { |c| Array(c) }.flatten
    codes << Exception if codes.empty? #errorコードの指定がない場合
    codes << Sinatra::NotFound if codes.include?(404)
    codes.each { |c| (@errors[c] ||= []) << args }
  end

https://github.com/sinatra/sinatra/blob/939ce04c1b77d24dd78285ba0836768ad57aff6c/lib/sinatra/base.rb#L1287

その他の例外は補足しません。
例えばExceptionのサブクラスであるStandardErrorは拾ってくれません。
ですので、明示的にerrorコードを指定しておいたほうがよいです。

1
2
3
error 500 do
  'Sorry there was a nasty error - ' + env['sinatra.error'].message
end

参考文献