フラット ファイルのバック トゥ ザ フューチャー【パート1】

組み込みソフトウェア開発者がフラットファイルを選択した理由

私の同僚でActianマーケティング部のPradeep Bhanotが、 データヒストリアンについて大変読み応えのあるブログ記事を最近アップしました。その記事では、時系列データの処理や分析をサポートする最先端のデータベースが選択されていくことで、データヒストリアンは終わりを迎えようとしていると予測しました。しかし、いくつかの点においては、ヒストリアンはフラットファイル（世間で最も定着している組み込みデータ管理ソリューションの一つ）ほど歴史が古いものではありません。実のところ、フラットファイルがデータベースやヒストリアンと比べて、組み込みデータ管理の手段としてより広く普及しているということに疑問を持っています。ですが、その疑問を証明するのは難しいです。なぜなら、アナリストは、データベースやクラウドデータウェアハウスをデータ管理ソリューションとは異なったカテゴリとして取り扱っているように、フラットファイルを取り扱っていないからです。しかし実際はそんなことはありません。フラットファイルを積極的に利用し、単に仕様の古いファイルとしては利用していない見込み客と同じような顧客がいます。

なぜフラットファイルが一番よく選択されているのか

仮に皆さんは開発者で、センサーや他のエッジシステムから出力されたOTのデータを収集するためにコードを作成しているとしましょう。その場合恐らくですが、デバイス上のデータに直接接続する際は、C、C++、C#や他のプログラミング言語を使用していると思います。例えば、ずっと以前に私がエンジニアで、データの入出力のステートメントを作成していた頃のように。（もしくはアセンブリで登録された、とあるレジスターのシリーズを担当していた頃のように。あぁそうでした、あの頃はPTSDを患っていたようでした。）プログラム内での一時的なメモリの割り当てよりも、より恒久的な形でデータを保存する場所と方法が必要だということに、すぐに気が付くでしょう。ファイルで対応するのが一番の近道です。つまりは、ファイルを利用することが一番簡単なアプローチであり、プログラミング教室に通う人達や独学で勉強している人達のほとんどが、このファイルシステムを利用することができます。

フラットファイルは昔ながらの組み込みデータ管理には「それなりに良かった」

前述で、なぜフラットファイルを選択する可能性があるのか、ということを説明しましたが、フラットファイルがなぜ好機を得るのに向いているのかを詳しく説明していませんでした。フラットファイルがそれなりに良かった理由について、いくつか説明しましょう。

1.モノのサイロという言葉は、全てのデータ収集がそれぞれのローカル環境でのみ行われていたということを意味していたから

ファイルシステムはローカル環境でのみ利用されていたため、エッジ側にある多くのデータ組み込みアプリケーションにとっては十分すぎるほどのデータを保存していました。他の似たようなデータストリームの追加データが他の種類のデータと結合したり、ネットワークを跨いで共有されたりすることの必要性はありませんでした。そのため、ネットワーク上でデータを移動させる機能がないスタンドアロンファイルシステムは、それはそれで良かったのでした。ストリーミングデータや他のシステムへのETLで懸念される点が、特段大きな問題を引き起こすことはありませんでした。

2.それほど多くのデータやデータ処理、またはデータ分析は必要とされていなかったから

最近まで、ほとんどのOTはコンピュータリソースが非常に限られていました。例えば、32ビットもしくは16ビットのマイクロコントローラ、準MB DRAMや制限のあるフラッシュメモリにEPROMメモリなどといったリソースになります。もしこのような単語に馴染みがないのなら、お父上のオールズモビルのようなものだと考えてください。多くのソフトウェアは、特定のプロセスで利用されるデバイスを直接制御するために、限られたリソースを活用していました。収集されたデータは主にそのプロセスの開発に利用されていたのではなく、プロセスをサポートするために利用されていました。それらのデータは、プロセス運用に関する情報を提供するために行われるデータ分析のために利用されていました。

3.データを使えるのは自分のみだとして他の人には渡さなかったから

ソフトウェア開発の仕様はどんなものでしょうか？プログラム上のコメントだとして、それを必要とする人はいるでしょうか？OTの開発者たちが開発したソフトウェアを利用できるのは、その開発者たちだけになることがしばしばあります。開発者たちが作ったコードで作り出されたデータは、彼らだけが見ることができるものであり、もしかするとテスト検証やサポートサービスの専門家の何人かも見ることができるかもしれません。繰り返しになりますが、データはOTの開発者たちだけのために、開発者自身によって作り出されているので、本社のビジネスアナリストやデータサイエンティストとのデータ共有が必要になることはあまりなさそうです。データセンターにいる昔ながらのITやサイバーセキュリティの専門家が、このようなプロジェクトへの参入を依頼されることもなければ、そもそも彼ら自身にプロジェクトへ参画しようとする意欲はあまりないようです。

レガシーを尊重しつつも、未来へ進みましょう

私自身も以前は前述したようなOTエンジニアのひとりだったので、よく分かります。もし皆さんがファイルシステムを新規開発するソフトウェア開発者だとしたら、いくつかのアドバンテージがあります。ですが、現在のエッジデバイス向けの、モノ同士の強力な結びつきが増えている分野（IoTとも言い換えられます）では、より多くのリソースを得ること（本物の高価なパイよりも安価にRaspberry Piを手に入れることができます）や、ビジネスアジリティやイノベーションを促進したり、OTがより速くより安価になるために、データ共有を行ったりすることが必要です。つまりは何かしらの変化が求められています。このシリーズの次の回では、OTのソフトウェア開発者たちがなぜフラットファイルシステムを手放したがらなかったり、現代のエッジデータ管理システムに移行したりしたがらないかを説明します。

 

＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊

Actian社は、最新ビジネスに対応したオペレーショナルデータウェアハウスとエッジデータのマネジメントソリューションの分野で一歩リードしています。当社のソリューションにより、オンプレミスやクラウド、モバイル機器やIoT機器が設置されたエッジサイドのデータを管理することをサポートします。また、Actian社とエージーテックは、ビジネスアジリティのサポートに必要な技術基盤の開発をサポートします。詳しくはwww.agtech.co.jp/actian/をご覧ください。

https://www.actian.com/company/blog/its-back-to-the-future-for-flat-files-part-one/

（November 6, 2019 Lewis Carr 著）

 

Lewis Carrについて

戦略的な垂直産業、水平的ソリューション、製品マーケティング、製品管理、ビジネス開発専門の上席で、データ管理・分析、モバイル・IoT、分散クラウドコンピューティングを含むエンタープライズソフトウェアに重点的に取り組んでいる。