TreasureDataを解約した経緯とそれに伴う作業内容の話

とある会社でTreasureDataの契約をしていて、その会社のWebサービスのアクセスデータをTreasureDataのデータベースに格納している運用をしていたんですが、 その会社さんの中で、誰もTreasureDataを扱う事ができないという事が発覚しました。 どうやら、以前いた従業員（今はもう退社している）が契約をして、設置していたらしい。 バッチ処理で色々な他のツールにデータを集計してexportしていたらしく、もはやカオス状態になっていることを突き止めました。 このTreasureDataというサービス、年間契約のコストがまあまあバカにならない金額なので、この会社にTreasureDataの解約を行う事を提案してあげたら、 喜んで受け入れてくれました。 ただ、解約をするだけではなく、解約に伴う作業がいくつかあったので、備忘録としてブログに残しておきたいと思います。

TreasureDataとは？

そもそも、TresureDataというサービス（会社）を知らない人のために説明しておくと、 CDP（カスタマー・データ・プラットフォーム）という、いわゆるデータベースの化け物であるビッグデータを扱う事ができるサービスです。 リンク : TREASURE DATA 独自のデータベース・システムを構築しており、通常のデータベースでは扱うのが困難なほどの膨大なデータを難なく扱えると言うのがウリなようです。 あと、他社サービスとの連携も熱心に行っており、Tableauと連携して、データ集計結果をグラフ表示するという使い方がよく使われているみたいですね。 個人的には、10年ぐらい前に、前職で契約して営業部署が売り上げ実績と、サービスサイトのログを突合して、経営指標データを閲覧していた事を覚えています。

この会社の実態

実際に、TreasureDataのサイトアクセス権をいただいて、中をみたところ、テーブルはたくさん使われていたんですが、ほぼ契約した時の年次のデータしか取得しておらず、 色々と検証をしていたと思われるテーブルばかりで、実際にリアルタイムに動いているデータは、アクセスログデータのみでした。 全く勿体無いというか、お金の無駄というレベルでの契約状態です。 おそらく契約を行った担当者は何かしら目論見があって、計画をしていたこともあったかもしれませんが、 この会社は、今でもバリバリ現役のパワハラ会社。 いつもどこかで怒号が飛び交い、従業員は上司のおもちゃのような感覚で運営されているため、従業員の退職率が高く、 毎年お別れ会が行われ、目をキラキラさせた新人転職者を都度受け入れている会社です。 会社批判は今回は置いといて、とりあえず、コスト軽減につながるTreasureDataの実態も理解でき、解約することで、少し高額な人員一人分ぐらいの軽減になります。

解約に伴い、やるべき事

1. データの流れを変更

契約解除をするために、まず、現在Webサイトでのアクセスログデータを取得しているのを、その会社で新規データベースを構築して、そこをバケツがわりにデータをプールする必要があります。 データ取得は、SaaS方式で、Javascriptタグ取得しているやり方なので、それを置き換えて、データの流れを変える事で実現可能です。

2. これまでのデータを移行

これまでTreasureDataに溜め込んだデータ一式を、新規データベースに移行する事で、取得したデータを捨てずに、再活用する事ができるようになります。

3. Javascriptでのデータ取得プログラムの構築

データの流れを変えるのも、便利なツールがあるわけではなく、Javascript+PHPを使って、ある程度簡易にツールを自作する必要があります。 ただ、アクセスボリュームは月間で100万PV以上あるサイト（複数サイトあるから）なので、データベースに直書きするワケにはいかないため、 テキストログでプールして、定期バッチでデータベースに書き込みを行う必要があります。 この辺のサーバー構成も設計しなければいけません。

種編サービス（tableauとか）の影響範囲調査と対応

会社内で調べてもらったところ、Tableauとの連携がされていて、特定の情報を取得しているとのことだったので、 取得したデータをSQLに突っ込んで、そこからデータ取得できるようにすることで、おそらく問題なくそうした外部サービスも解約できるようになります。 さらなるコスト削減が行えるポイントですね。

あとがき

こうした会社にとってもサブスク契約って、業務に根付いていたり、ブラックボックス化していることで、とんでもない見えないコストを払い続けているようです。 こういうことわかっていても、今回のようなTreasureDataって、開発エンジニアじゃないと、対応ができない事が多いので、 会社にとって、開発部門を蔑ろにしたり、外部会社に頼りっきり（業務委託やSESだらけの実態など）の状態になっている会社は、自社で対応仕切れなくてヘルプを依頼されることも過去に多々ありました。 ITサブスクの実態は、契約者にサービスを忘れさせるというミッションを持っている会社も少なくなく、 ドコモのimodeのアプリ購入で月額300円程度というお布施に近いサブスクを忘れていて、いくつもアプリを契約していることで、年間にとんでもない金額に跳ね上がっていたという人も多かったと聞きます。 個人的には、サブスクは好きじゃないので、ほぼ契約せずに、ほぼ自分でサービスを作っている変態エンジニアと化しているんですが、 これが自分の仕事にも役立っているということは言うまでもありません。 改めて、エンジニアやっててよかった〜と思うと同時に、めんどくせ〜サブスクITサービス、まじ勘弁してくれ〜と強く思いました。