1カ月かかっていたバッチ処理が5日に──「10年先まで考えた」コニカミノルタのデータ基盤ができるまで

[PR／ITmedia]

PR

　「話を聞いたときは『やった！』と思いました」

　そのとき、インテック ソリューション パワーの福井謙二氏は、心の中でガッツポーズをした。コニカミノルタが、複合機のデータ分析基盤「FDAS」（Field Data Analysis Services／エフダス）をMicrosoft Azureに移行すると決め、同社に直接支援を求めてきたからだ。2016年のことだった。

　単に仕事が増えたことを喜んでいたわけではない。実は刷新するFDASは、2004年にインテック ソリューション パワーが構築したもの。以来12年間にわたって機能追加／運用を支援してきたのは福井氏のチームだった。しかし、2014年に行われたコンペでMicrosoft Azureへの移行プランを提案した同社ではなく、別のベンダーが提示したクラウド移行プランが採用された。

　ところが、そのプロジェクトがうまくいかず、今度はインテック ソリューション パワー指名で支援要請が来た。コニカミノルタから「システム刷新を手伝ってほしい」と言われたとき、福井氏も心から喜んだ。

インテック ソリューション パワーの福井謙二氏。中部支社システム一課の課長を務める

　コンペの後も、ただ指をくわえて見ていたわけではなかった。当時について福井氏はこう語る。「他ベンダーとのプロジェクトが動いている間も、『われわれもチャンスがあれば支援したい』と思っていました。だからAzureについてはずっと研究を重ね、FDASをどうするべきか検討を続けていたのです」。

　福井氏が一貫してAzureを推しているのは、以前からMicrosoft SQL Serverが「データ分析の仕組みとして適している」と考えていたからだ。興味を持って情報を集め、マイクロソフトの技術担当者に話を聞いたりするうちに、自分の中で「Azureが最適で目的・目標を達成できる」という確信ができた。マイクロソフトが描くAzureの将来ビジョンが明確だったことも後押しした。

　「拡張性がかなり高く、10年、15年先にも対応できるシステムが構築できる。そう考えました」（福井氏）

（前編）「あと半年も持たない」　データの急増に追い詰められたコニカミノルタの技術者たち、起死回生の一手

　日本有数の複合機メーカーであるコニカミノルタは、複合機の情報を集約したデータ分析基盤「FDAS」（エフダス）により、分析データから複合機の故障予測など利便性の高いサービスを提供していた。

　しかし導入から12年が経過し、さまざまな問題が生じていた。

データを滞らせないシステム

　Azure移行に当たり、コニカミノルタ側から要望されたのは、（1）指数関数的に増えていくデータ量に対処すること。（2）既存の機能は使えるようにしながら、機能を分離したシステム構成を見据え、次世代の分析環境として拡張できるようにすること。（3）データ分析の幅を広げられるシステムであること。そのためにAzure SQL Data Warehouseを置き、将来的にも使えるデータ分析基盤をデザインする。

　福井氏は、自ら提案した新たなデータ分析基盤の仕組みをこう語る。「複合機から届くマシンデータやサービスマンが入力するデータは、機械のバグや人のミスなどでデータの精度がブレるものです。そのデータのクレンジングを前段で行い、Azure SQL Data Warehouseにためます。FDASはAzure SQL Data Warehouseとデータ連携を行い、集計処理してAzure SQL Databaseに格納。これをアプリケーションから参照する仕組みです」

アーキテクチャ図（クリックで拡大。出典はインテック ソリューション パワー）

　Azure SQL Data Warehouseを活用すれば、FDASでのバッチ処理時間を大幅に短縮できると見込んだプラン。販社から送られてくるデータは、これまでは月1回のペースだが、今後はデイリーで届くようになる。このためクレンジング処理もデイリーで行い、増え続けるデータを滞りなく、より早期に処理を実現する構成にした。

　FDAS側には130ステップもの処理があり、そこに新しい要素を組み込むと負荷が高く、複雑になり過ぎる。部分的に機能を外に出すことにより、迅速かつスムーズにユーザーにデータを提供できる構成にする。そして将来的にはFDASの処理もデイリーで連携することを考えている。

参照できる情報がない

　実際の構築作業に掛けた期間は4カ月半ほど。福井氏は「IaaSで移行したので、苦労したことはそれほど多くなかった」と振り返る。信じて蓄積してきた知見と事前の綿密な調査の賜物だ。それでもすべてが順風満帆に進んだわけではなかった。

　「これまで利用してきたOracle DatabaseからSQL Serverに移行する際、コードの書き換えが必要な部分もありました。ある程度、法則性に則っていける部分と、できないものがあり、そこは苦労しました」（福井氏）

　参考になる前例がないことで苦心した部分もあった。

　「Oracle DatabaseからSQL Serverにマイグレーションするためのコード変換にあたり、出来上がったソースをデータ分析の処理をするとき、参考になる情報がなく、かなり試行錯誤しました。また単純にコード変換するだけでは目標の処理時間をクリアすることが出来ず、従来は1つのプログラムだった部分で並列分散をかけるため、前段でCSVを分割する処理を追加で入れたりなど、処理の流れを見直しています」（福井氏）

　テクニカルで地道な作業を繰り返し、データの処理にかかる時間を目標に近づけていった。増大し続け、切羽詰まっていたデータ量に対しては「ありがたいことに、プレミアムストレージでSSDのサービス（Premium SSD Managed Disks）があったので、検証の上で採用しました。ポータル上から数値を変更するだけで拡張できてしまうので、検証もしやすかったです」（福井氏）と話している。

システム移行の概要（出典はインテック ソリューション パワー）

　システムテストでは、当時のイコールデータを採用。直近1年間で1TB増加したデータを4、5年後を想定したサイズに膨らませてパフォーマンステストなどを行った。その結果、目標値に達していない部分の再チューニングはあったものの、大きく修正する必要はなかったという。

　「サーバを変えたことにより、データ分析で出てくるレポートの数値が変わってしまうとユーザーの不利益になります。そこはかなり注意してチェックしました。合わない部分の原因を調べる作業はとても苦労した部分。この調整に1カ月半ほどの時間がかかったと記憶しています」（福井氏）。それでも作業開始から半年後にはサービスインにこぎ着けた。

データ処理が短縮されて事業にも大きなメリット

　新しいシステムはコニカミノルタ社内の評価も高い。

クライアントとの意思疎通は密に行う。左はコニカミノルタの情報機器カスタマーサポート統轄部サポートシステム技術部の井上太二部長、中央がコニカミノルタでFDASのAzure移行を主導したサポートシステム技術部の川合彰係長

　コニカミノルタの川合彰氏は、「社内からのデータ利用に対する要望に応えてくれるシステム」と太鼓判を押す。「データを取り込むところから、前処理、ユーザーである社員がFDASを従来のまま使えるように今までの機能を残しつつ、新たに自由分析ができるようにもなっています。情報があれば自分たちで自由にデータ分析したいという社員もいて、そうした分析ができる環境を用意してくれました」（川合氏）

　とくに注目したのは処理時間の短縮だ。「処理時間が短縮され、欲しいデータが早く出ることになって、迅速な報告ができるようになりました。例えばある製品を出したとき、品質評価のレポートを出すのですが、以前は1カ月かかってやっと分析できていたものが、今は1週間で出てきます。3週間も早いので、使う側のメリットは大きいです」と川合氏は満足げ。

　川合氏と同じサポートシステム技術部でデータ分析を担当している安藤昌哉氏は、Azure移行の恩恵をもっとも受けた一人といえる。自身の作業が大幅に効率化したからだ。

　「以前は販社からデータが入ってくると、それをマニュアルでクレンジングし、データを修正して、それをバッチのフォルダに1つ1つ移動、処理するということをやっていました。今はほぼ自動化されています。“1カ月”が“5日”に短縮ですから、75％もの効率化です」（安藤氏）。

　現在の作業は、「届いたデータをフォルダに入れるだけ」（安藤氏）。今後、入ってくるデータがデイリーで処理できるようになれば、今は5日かかっている処理時間が3日まで短縮できる見込みだという。

　安藤氏は、空いた時間を使ってデータ分析の幅を広げようと考えている。「取れるデータと取れないデータはありますが、自由分析ができるようになっているので活用の幅は大きく広がりました。（社内の各部署が）必要なデータを自分で取り出せるようになったので、活用してほしいと思います」（安藤氏）

将来的にはサーバレスも

　福井氏と川合氏らコニカミノルタの面々は、将来的なサーバレス化も検討している。さらに運用の負荷を減らすためだ。

　「サーバレスにしていきたいという思いはすごくあります。サーバ基準でシステムを構成していくと、OSのサポート切れなどでの対応や稼働監視など、どうしても管理の作業負荷が残ってしまう部分があります。本当に動かさなくてはいけないところはバーチャルマシンでしっかり構築し、有効なサービスを利用することで可能な限り運用負荷を下げ、コストを最適化したいと思っています」（川合氏）

　さらにデータマネジメント機能やETL（抽出・変換・読み込み）機能も、要件を満たせば将来的にAzureのサービスで実現したいというコニカミノルタ。処理時間を大幅に短縮した新しいFDASと、Azureのさまざまなサービスにより、同社のデータ利活用はさらに進化していくのだろう。川合氏が語る今後のビジョンに耳を傾けながら、福井氏は小さく何度も、しかし力強く頷いた。