Kinesis Firehose を使ってアプリからS3へログを保存する

こんにちは、さわたりです。

EAPのアプリではGoogleAnalyticsを使って画面別の閲覧数やイベント、ECサイトへの流入を測定しています。

これで、ある程度の情報は得られるのですが、アプリ内の動線分析や他システムログと合わせたビッグデータ解析をしようと思うと自前でログを集計する必要が出てきます。また、GAには1000万ヒット／月を超過した場合に有料プランへの移行が促されるので、大規模サービス向けとしてGA以外のログ集計機能があったほうが選択肢が増えます。

このため弊社では今後の分析プラットフォームを研究中で、今回はAWSのKinesis Firehoseを使ってアプリからS3へログを保存する構成の検証を行ってみました。

アプリログの転送フローを図にすると以下のようになります。サーバー側の実装が省けるのでシンプルですね。

検証手順
1) Amazon Cognito のIDプールを作成
2) Kinesis Firehose 配信ストリームを作成
3) AndroidアプリにAWS SDKを組み込んで、ログ送信プログラムを実装

1)と2)については、AWSのディベロッパーガイドに詳細が載っています。そのまま説明通り進めて問題ないのですが、IDプールのポリシー設定ではロールが2種類あり（認証されたロール、認証されていないロール）、今回のケースでは「認証されていないロール」の方にKinesisへの許可を与える必要があります。

"Statement": [{
    "Effect": "Allow",
    "Action": "kinesis:PutRecords",
    "Resource": "YOUR STREAM ARN" #Kinesis Firehoseの設定画面の「Delivery stream ARN」
}]

3)のAndroid実装もディベロッパーガイドの手順に沿って設定を行います。AWSのSDKは appのbuild.gradle に以下を追加することで利用できます。

dependencies {
    implementation 'com.amazonaws:aws-android-sdk-core:2.6.+'
    implementation 'com.amazonaws:aws-android-sdk-kinesis:2.6.+'
}

検証用アプリはログ出力、ログ送信ボタンだけを配置した画面にしました。

AWS SDKではログの書き出しとKinesisへの送信が別メソッドになっていて、通信負荷を考慮してまとめてログを送ることができます。今回のサンプルではログ送信ボタンでアップロードしていますが、実際の運用時には一定のログ数ないしはインターバルでログをアップロードすることになると思います。

MainActivityのソース

public class MainActivity extends AppCompatActivity {

    // AWSの設定値を入れます
    private final String mIdentityPoolId = "YOUR_COGNITO_POOL_ID";
    private final String mStreamName = "YOUR_KINESIS_STREAM_NAME";
    private final Regions mRegions = Regions.AP_NORTHEAST_1;
    
    private final DateFormat mSimpleDateFormat = new SimpleDateFormat("yyyy/MM/dd HH:mm:ss.SSS");
    private KinesisFirehoseRecorder mFirehoseRecorder = null;

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        File directory = getApplicationContext().getCacheDir();

        AWSCredentialsProvider provider =
                new CognitoCachingCredentialsProvider(
                        getApplicationContext(),
                        mIdentityPoolId,
                        mRegions);

        mFirehoseRecorder =
                new KinesisFirehoseRecorder(
                        directory,
                        mRegions,
                        provider);

        findViewById(R.id.btnWriteLog).setOnClickListener(new View.OnClickListener() {
            @Override
            public void onClick(View v) {
                writeLog();
            }
        });
        findViewById(R.id.btnSendLog).setOnClickListener(new View.OnClickListener() {
            @Override
            public void onClick(View v) {
                sendLog();
            }
        });
    }

    private void writeLog() {
        final Date date = new Date(System.currentTimeMillis());
        mFirehoseRecorder.saveRecord(mSimpleDateFormat.format(date) + " Button was clicked\n", mStreamName);
    }

    private void sendLog() {
        Thread thread = new Thread(new Runnable() {
            @Override
            public void run() {
                mFirehoseRecorder.submitAllRecords();
            }
        });
        thread.start();
    }
}

「ログ送信」のボタンを押すと以下のようにS3へログが転送されます。S3上ではKinesisの設定により {Prefix}/YYYY/MM/DD/HH のように時間別に分けてファイルを作成してくれるので後の分析で使いやすくなっています。

2018/07/27 13:59:21.450 Button was clicked
2018/07/27 13:59:23.182 Button was clicked
2018/07/27 13:59:24.542 Button was clicked

感想としては、実装コストが低くKinesisのところでデータ変換も可能でなので、実際の案件でも十分利用できるかと思いました。クラウド環境の進化で昔と比べると格段に構築が楽になりましたね。次回はS3にアップしたデータの集計・出力を検証する予定です。