CEDEC 2023

データ分析の敵“汚いデータ”　やらかす人への対策、どうすればいい？（2/2 ページ）

公開 2023年09月01日 12時23分

更新 2024年02月27日 12時31分

著者

石井徹

[ITmedia]

印刷する Googleで優先するソースとして追加

“えげつない”データ加工をする人への対策は

　データ記述の“落とし穴”があれば、データ加工にも“やらかし”がある。戸崎さんは講演で、データ分析に初めて携わった人がしがちな「とんでもないデータ加工」のパターンも紹介した。

　特にBIツールからデータ分析を始めた人は、「データ型設定」の誤りをしがちという。例えば、金銭の計算に浮動小数点型（0.01→1.0×10^-2など、小数を指数などで表現すること）を用いたり、浮動小数点型同士のテーブルを結合（Join）したりするのが典型だ。計算の誤差が生じ、正しく結合できないため、こうした処理では浮動小数点型は推奨されない。

　また、日本語でフィールド名（項目名）を設定することも好ましくない。特に半角と全角のスペースが混在して、解析の支障となるという問題が生じるためだ。同様の理由で、半角マイナスではなく「＿（アンダーバー）」を使用する、半角カナの使用も避けるといった配慮も必要となる。

　では一体、とんでもないデータ加工をする人への対策はどうすればいいか。対策は至って明快で「やらかす本人にデータの基礎を学び直してもらう」ことだ。

　「そもそも、やらかす人はデータを整える考え方自体が抜け落ちているので、それを直す以外にない。それを直さずに、いわゆるデータの民主化といって、データドリブンの環境に加わってもらっても、結局はその人が汚いデータを垂れ流して、データベース側がどんどん汚くなるだけだ」（戸崎さん）

やらかす本人にデータの基礎を学び直してもらうことで対策

　そのうえで、データ分析初心者への教育が難しい場合には、外部業者の専門業者を挟むなどして、きれいなデータに修正した上で処理を行うという手段も候補になる。

　ただし、どちらの手段を選ぶにしても、データ利用を必要とする部署に対して、人材教育か金銭的負担を強いることになる。全社でのデータ活用を推進していく中では、相応の戦略が必要となるだろう。

社内のデータ活用の味方につけるべき人は？

　データ分析担当を任された人に対して、戸崎さんは社内での「味方づくり」を提案する。経理や財務、総務といった「データの正確性や清潔性が重要となる部署」のデータ分析を支援し、それを成功事例とすることで、社内でのデータ活用の機運が高まり、本丸の事業部へもスムーズに展開できるという。

データ分析の味方につける部署

　また、社内でデータ活用を推進していく上で、“巻き込んではいけない人”も挙げられた。それは「経営層」だ。戸崎さんは「彼らは、最初に数字ありきで物事を考える人たちで、各部門に数字を割り当てるのが仕事。唯一データが介入できるのは“数字を決める前”であるため、割り当て時点でデータを並べても意味がない」と指摘。