多くの会社で使われていないビッグデータが存在すると入れていますが、ほとんどのビッグデータが活用できていないとも言われています。
そして、AIというバズワードと組み合わせることで、新たな展開を見せているビッグデータの活用ですが、
企業の開発部門やデータ管理部門、マーケティング部門などの担当者が、会社上層部から「自社のビッグデータを使ってAIでの商品開発」というお題を頂いて困っているという話を僕の周囲からたくさん聞く事があり、
もともと「ビッグデータとAIを分けて考えたほうがいいのにな〜」と思っていたので、少し自分なりにまとめてみました。
ビッグデータはワケアリ商品と同じ
そもそもビッグデータというのはどういうデータの事を言うのでしょうか？
ビッグデータの例をいくつか挙げてみます。
POSレジデータ
POSレジを使っている会社であれば、以下のようなデータが取得できています。
・購入日時
・購入商品
・金額
・購入者（ポイントカードやクレジットカードなどの店舗別での任意情報※必ず取れているわけではない）
チェーン店舗などであれば、こうしたデータを特定のサーバーにリアルタイムに送っていると思いますが、残念ながらインターネットとのヒモ付が出来ないため、アドセルや、ネットによる活用はできないとされています。
WEBログ
ECやWEBサービスを行なっている会社であれば、サーバーログというのが必ず存在します。
多くがApacheログやNginxログがあるはずなのですが、サービスログとして別途必要なログを取得し、Apacheなどのログは、単なる問題発生時の確認用としてしか使用できていないが、このアクセスログなどは非常にデータ量が多いというのも事実です。
・アクセス日
・アクセス元（refere）
・IPアドレス
・アクセスファイル（サーバー内）
・UserAgent（ブラウザ情報）
・エラーコード（各種モジュール別の情報）
これらに不足している情報としては、個人を特定できる情報としてはIPアドレスぐらいしかありません。
なので、警察などから情報定時を求められると、このデータを出すのですが、これだけで会社の商品にすることは難しいでしょう。
レポーティングなどをサービスにしている会社は、別途これに加え、個人を特定できるIDを発行して取得しているはずです。
自動販売機データ
日本では街中の至る所に見かける自動販売機。
テクノロジーが詰まった非常に面白い機体なのですが、コカコーラ社はICカード連携や、タッチパネル採用などと、最新技術に取り組んでいるようですが、他の会社からは、あまり情報は聞かないですね。
・購入日時
・購入金額
・購入商品
・投入金額（お釣り額）
通常のベンディングマシンから得られる情報は上記のような感じでしょう。
もしかしたら、自販機にカメラなどが仕込まれていて、購入している人の顔写真や、天候、気温、周囲の情報、などは取得できると思いますが、これらを活用しているという話は聞かないですし、たしかにPOSレジと同じで、ネットと連動しずらいですね。
もしカメラが仕込まれているとしたら、街頭監視カメラとして、非常に有効活用できるんですが、実現している都市があるかもしれませんね。
何故なら、自販機って、電気供給はできているし、人混みの中にあっても違和感がないですから。
使わなければただのゴミ
当たり前ですが、ビッグデータって、非常に膨大なデータな為、サーバーリソースを圧迫していることは間違いないはずです。
そして、それをログデータ保存という点や、今後のためにとして、ただ保管しているだけの状態であれば、保険のようなもので、ゴミと同様であることは間違いないです。
保険なのでゴミとまでは言わないにしても、使用用途のないデータ群は、サーバー管理者泣かせの運用作業だけが発生する、無駄金が発生しているとも捉えられます。
もちろん、上手く使って金に変えることができれば、ゴールドラッシュとなるかもしれませんが、こうした認識をもってデータを取り溜めているかどうかがデータの活用がされるかどうかの分かれ道になるでしょう。
ビッグデータの使い方の考え方
ここでは、実際にビッグデータはどのように活用すべきかを考えてみたいと思います。
最近ではIoTとして、センサーデータを随時サーバーに送って、データを取り溜めている為、かなりのデータ量が発生していて、帯域圧迫や、ストレージ圧迫や、などなど、これまでに増して問題視されているようです。
データ活用できない問題点
- データのカラム設定に活用できる為のKEY値などが振られてないため、過去データと最新データのヒモ付が出来ない
- 複数ある別環境のデータを紐付ける為のIDが振られておらず、データ連携ができない
- データ連携ができたとしても、それをマネタイズさせるアイデアが無いため、作業費の捻出ができない
- 社内にデータサイエンティストが存在しないので、活用アイデアが浮かばない
これらは企業にとって良くある（良く聞く）問題点なのですが、解消するためにはアイデアが必須であることは間違いないです。
ただし、多くの企業が間違った認識をしているのは、「データサイエンティスト」が必要という認識になっている点です。
データを扱うのはデータサイエンティストでないとダメというわけではなく、まずは幾つか違ったフォーマットのデータが存在する場合、データフォーマットの連携仕様の確定だったり、同じフォーマットになるようにデータ取得のシステムを変更する事がまずは重要です。
IoTデータの活用アイデア
IoTデータって、大体において、かなり属人的な情報が断片的に存在する状態です。
人の体温や心拍数をひたすら時間別に保持しているデータなどは、その人だけのデータなため、別の人への活用がイメージできません。
ただし、この場合は、複数人のデータを集めることで、類似ポイントの認識だったり、同じ波形の人の特徴データの算出を行うと言った、データ分析に繋げることはできます。
大学や研究機関などは、こうしたデータを有料で購入しているという事もあるので、データ取得を類似データが分析できるレベルまで引き上げることができれば、データ販売も可能でしょう。
サーバーログデータの活用
今やWEBサーバーはクラウドを始め、会社の倉庫でひっそりと動いているパターンも少なくないし、多くの会社がWEBページを立ち上げていることを考えると、これらのサーバーログデータを活用できないか考えてみました。
ひとつは、ネットワークトラフィックとサーバー負荷などを計測することで、サーバーの処理が空いている時間帯に、必要な集計処理などをCPU貸しできるサービスと繋げることで、もしかしたら今まで無駄コストだったモノを、売上に繋げることが可能かもしれません。
サーバーログの判別により、貸し出すCPUなどの個数を算出できる仕様があれば、世の中のサーバー郡でエコシステムが構築できるかもしれませんね。
居酒屋店舗の昼間は別飲食店のランチを出すイメージですね。
何故AIとビッグデータ？
インターネットが企業で当たり前になってきてからずっと、「企業に眠っているビッグデータ」という記事を雑誌で見かけることがあったのですが、実際にビッグデータは確かに企業には眠っている事は理解できます。
最近の主流では、1企業が持っているビッグデータを別の会社が使うことで相乗効果を生み出し、新たなビジネス展開を行うという事で、企業コラボが盛んに行われています。
ビッグデータとAIのヒモ付は間違いなくディープラーニングという技術にビッグデータが必要という認識から来ているだけだと思われます。
実際、ビッグデータがあるからAIというわけではなく、AIを構築するためにビッグデータが必要という風に考えなければミスマッチが生まれてしまうことは容易に創造できます。
そうなった場合、なんでもビッグデータがAIに活用できるわけでは無いという風になると、改めてゴミビッグデータが大量に存在するという認識もあながちずれていないかもしれません。
ゴミかどうかは、見る人によって変わることを考えると、ビッグデータを持っている企業は、ある意味ゴミ屋敷とも見られるかもしれませんね。
そうした企業のサーバー管理者の方にストレートにこの質問を投げてみたいです。
