フラット ファイルのバック トゥ ザ フューチャー【パート3】

組み込みソフトウェア開発者がフラット ファイルのダンプを実行せざるを得なくなる前にフラット ファイルを手放すべき理由

数週間前に、フラット ファイルについて最初の記事を書き、組み込みソフトウェア開発者がためらうことなくフラット ファイルを使用する理由について述べました。そして、その次の記事では、組み込みソフトウェア開発者がデータベースを嫌がる理由について書きました。本記事では、彼らがフラット ファイルからの移行を検討したほうが良い理由についてご説明します。結論から言うと、その理由は「壊れていないものは直すな」という古い英語のことわざのとおりですが、その前に、あるオプションが他のオプションよりも優れている理由を説明します。

『チーズはどこへ消えた？』（スペンサー・ジョンソン著）のように、「現状にこだわってしまい、先へ進めない」という病的現象に悩んでいませんか？

ほとんどの場合、変化は、私たちがすぐに気付き、反応せざるを得ないと感じるような形では起こりません。。このことは、エッジ インテリジェンスとそれを動かしている要素についても間違いなく当てはまります。

 

個々の変化を検討してみましょう。変化の例を挙げると、32 ビット プロセッサから 64 ビット プロセッサへの能力の向上、DRAM の速度と規模の増大、より大勢の開発者とデータ サイエンティストのコミュニティから提供される洗練されたツールと動作環境を使用できるようになること、機械学習の実装が可能な、より複雑なアルゴリズムを使用できるようになることなどの変化がありますが、これらがフラット ファイルから他のエッジ データ管理システムへの移行の必要性を決定づけるわけではありません。

 

しかしながら、度重なる変化に見合う外需があってこそ、変化を起こす力も生まれてきます。これらの変化が合流することで、ビジネスサイドがエッジでの行動時の意思決定を自動化したり改善するための無数の新しい機会をもたらします。

 

では、フラット ファイルを使用する開発者に変化を迫るこれらすべての新しい機会と、タイトルで述べた、『チーズはどこへ消えた？』のような病的現象はどのような関係があるのでしょうか？ 答えは簡単です。フラット ファイルでも仕事をこなすことができますが、あまりいい働きはしないということです。これが、変化に立ち向かう 1 つのきっかけとなります。

 

一般的に、専門家であっても、最適ではないにしろ過去に使用実績のある方法がある場合、新しい要件に対してもその方法を正当化して使用したいと思うのは人情として致し方ありません。ここでは、なぜフラットファイルと新しいコンピューティング資源を組み合わせて処理するのが最適ではないのか、また、これからの産業分野におけるIoT（IIoT）と人工知能（AI）の融合のためにフラットファイルを活用したいという考えについて考察してみましょう。

あなたにとっては不快な臭いのチーズかもしれませんが、私にとってはお気に入りの香水です！

フラット ファイルは使いやすく、信頼でき、基本的なオペレーティング システムにバンドルされているためコストもかからないので、広く採用されているのも不思議ではありません。しかし、サイロ化された低データレートとシンプルな処理から、エッジ側で AI を使用したモノ同士が強く結びついた IIoT に移行したからといって、フラット ファイルを今後も使用する事は「嗅覚テスト」にパスしません。エッジ インテリジェンス、特に IIoT に対する需要の高まりにより、シンプルなローカルでのデータの格納と検索のニーズだけでなく、分散データ管理のニーズも高まるため。
ファイル システムとは要するにデータ ストレージのことであり、データ管理システムの基盤にはなりますが、それ自体は包括的なデータ管理システムではありません。また、最先端のファイル システムは通常、レプリケーション、デフラグメンテーション、暗号化など今日の重要なデータ管理機能を搭載している一方で、IoT ユース ケースのエッジ データ管理に必要な組み込みのインデックス付け、フィルター処理、洗練されたクエリ、クライアント/サーバー、P2P や他の重要な機能などの高度な機能を持つレコード管理システムやデータベースシステム、コンテンツ管理システムに取って代わるものではありません。

1.最先端のエッジ インテリジェンスでは、単にローカルで供給されるデータ ストリーム以上のものをベースにしたインライン分析のサポートが必要なため。

エッジ データの処理・分析が限定されてきた主な対象は 2 つあり、その 1 つは単一のデータ ストリームに対する簡単なデータ処理です。もう 1 つは、S/N比の向上させるために重要でないしきい値から逸脱していないデータを除去するために、時間フィルター処理によって時系列データ セットとして処理されるデータ型です。今後は、機械学習アルゴリズムが適用されたベースラインパターンを参照、相関させ、参照される複数のデータストリームやデータタイプが現れてくるでしょう。これらのより洗練されたアプローチでは、隣接するデバイスからのデータや、データ センター内の ERP システムのように遠く離れたシステムからの上流データが必要になるかもしれません。複数テーブルを結合するための組み込み機能、異なるデータ型のストリーミングを処理する機能、P2P およびクライアント/サーバーのためのパブリッシュ/サブスクライブといった要件は、はるかに高度な処理が必要であり、単純なインデックス作成、ソート、その他の典型的なフラットファイルの DIY アドオンが過去に作られてきたようには、新規で簡単に構築することはできません。最先端のエッジ データ管理システムにでは、これらの機能はすべて密接に結合しており、Kafka や Spark のようなストリーミング データ標準との相互運用性が必要です。

2.機械学習のライフサイクル、レポート作成および可視化ツールには、ファイル システムの標準を超える業界標準に基づいた、プラグ アンド プレイによる検索が必要なため。

これは、機械学習をサポートするためにローカルのインライン分析向けの機能をゼロから作り直すということだけでなく、機械学習のライフサイクルに、エッジからのデータ セットを使用するトレーニング アルゴリズムが含まれているということです。このアルゴリズムはトレーニングの後、新しいデータに対して機械学習の推論を実行するために、教師なしの状態でエッジに配置されます。レポート作成と可視化は、機械学習がどの程度良好に動作しているのか、また期待するビジネスの成果をどれぐらい得ているのかを分析するうえで重要です。これらのツールや目的を支援し、サポートするためのビルトイン機能もまた、最新のエッジ データ管理システムには備わっています。

 

確かに、どのような場合でもファイル システムは依然として必要とされており、ほとんどのデータベース、ヒストリアン、または他の自社開発のエッジ データ管理システムでは必ずデータ ストレージに活用されています。また、力づくでやれば、市販製品の機能をサポートするロジックを追加することで、車輪の再発明のような事も可能です。フラット ファイルによるアプローチの問題点は、機会費用、技術革新のスピードの低下、はるかに大きく洗練された車輪を再構築しなければならない事など、目的に適合しなくなることです。では、最先のエッジデータ管理システムには何が必要なのでしょうか。これについては、次回にご説明します。

 

＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊

Actian社は、最新ビジネスに対応したオペレーショナルデータウェアハウスとエッジデータのマネジメントソリューションの分野で一歩リードしています。当社のソリューションにより、オンプレミスやクラウド、モバイル機器やIoT機器が設置されたエッジサイドのデータを管理することをサポートします。また、Actian社とエージーテックは、ビジネスアジリティのサポートに必要な技術基盤の開発をサポートします。詳しくはwww.agtech.co.jp/actian/をご覧ください。

https://www.actian.com/company/blog/its-back-to-the-future-for-flat-files-part-three/

（November 25, 2019 Lewis Carr 著）

 

Lewis Carrについて

戦略的な垂直産業、水平的ソリューション、製品マーケティング、製品管理、ビジネス開発専門の上席で、データ管理・分析、モバイル・IoT、分散クラウドコンピューティングを含むエンタープライズソフトウェアに重点的に取り組んでいる。