テクニカルトーク：AI／機械学習のシステム・エンジニアリング上の課題

H・グレン・カーター

耐空性および飛行の安全性は、現在のニーズに適合するよう進化してきた確立されたプロセス、手順、ツールに従って評価されています。今日、自律性の向上やワークロードの削減などが重視されていますが、これらの実現は「AI」の手法を取り入れたソフトウェア機能の実装に大きく依存することになります。

実際には、学習済みのML（機械学習）アルゴリズムがシステムに組み込まれることを意味します。耐空性の観点から見ると、MLの性質に関連する特定の理由により、既存のプロセスではそのようなアルゴリズムを適切に評価することができません。具体的な課題としては、データセットの構築方法、アルゴリズム出力の確率的性質、学習済みアルゴリズムの係数が不透明であること、認定基準を満たさないプログラミング言語の使用などが挙げられます。

良い知らせは、既存プロセスを慎重に発展させ、ソフトウェア認定の特定部分を修正・拡張することで、これらの課題のいくつかには実際に対処可能であり、現在その定義作業が進められているものもあるということです。しかしながら、ここで述べたMLの新しい側面のいくつかは、既存の耐空性プロセスでは厳密には対応できません（例：確率的出力）。この問題への対処は、安全性分析プロセスの早い段階から始め、システム・エンジニアリング・プロセス全体を通じて継続的に行う必要があります。

説明を加えると、第一に、MLアルゴリズムの確率的出力は、その数学的・アーキテクチャ的な特性から本質的に避けられないものです。航空分野では、故障した場合に重大な結果をもたらすと評価される機能には、10のマイナス7乗からマイナス9乗飛行時間という極めて低い故障確率が求められます。したがって、95%の精度を持つMLであっても、高い安全性が要求される機能においては不十分です。

第二に、安全性分析ではMLによって実装された機能を具体的に評価しなければならず、それに伴う危険緩和策の設計は、安全性プロセスとシステム・エンジニアリング・プロセスの連携の中で明確に位置付けられる必要があります。実際には、システム設計の最上位レベルからその下位レベルに至るまで、安全性分析から導き出された具体的な要件を追加しなければならないことを意味します。これにより、要件階層の上位でMLアルゴリズムに求められる精度を設定する必要が生じる可能性があります。つまり、予備的ハザード分析の初期結果が、プラットフォーム・レベルという高いレベルでの具体的要件に反映される必要があり、それが最下位レベルの耐空性ソフトウェア認定にまで影響を及ぼす可能性があるということです。

現在、いくつかの認定戦略がすでに検討されています。一つの明白なアプローチは、新たなリスクの排除です。場合によっては、実装オプションの技術的分析により、MLが実際には不要であることが明らかになるかもしれません。必要とされる重要な機能を提供できる単純で直接的なソフトウェアであれば、既存の決定論的で厳格なプロセスで認定可能です。この単純化は、どの入力が結果に影響するかを判断するためのML入力ベクトルの評価から得られる可能性があり、その評価にはMLエンジニアリングが必要です。また、様々なMLアーキテクチャや関連アルゴリズムに伴う複雑さと不確実性は大きく異なります。より単純なMLは、非常に複雑な多層アプローチに比べて認定上の課題が少なくなります。例えば、当初は深層学習アプローチが提案されていたものの、分析の結果それが不要と判明した場合に、代わりに線形回帰（データ間の関係を直線で表す単純な統計手法）を使用するケースが挙げられます。

MLリスクを軽減するもう一つのアプローチは、アーキテクチャ上の緩和策を設計することです。例えば、重要なMLアルゴリズムが重要なサブシステムの機能の一部である場合、そのアルゴリズムの出力を監視し、慎重に設計された回復機能に切り替えたり、複数の回復メカニズムから選択したりできるランタイム・モニター（実行中のプログラムを常時監視する仕組み）を設計することが可能です。回復機能に切り替えた後も監視を継続し、航空機が安全な状態に戻った時点で制御を元のML機能に戻すことができます。このシナリオでは、モニターおよび回復用のソフトウェアとシステムは、その機能に対する安全性分析で確立された最も高い重要度レベルで認定されることになります。このソフトウェア戦略はすでに使用されており、対地衝突回避において効果的であることが実証されています。MLが実装に含まれる場合に飛行の安全を確保するための他のアプローチを考案できるかどうかは、エンジニアリング・コミュニティの創造性にかかっています。

ここで述べた課題の性質から明らかなのは、安全性、耐空性、システム・エンジニアリング、さらにはサイバーセキュリティおよび装備化に関するプロセスが並行して進む中、開発プログラムの最も早い段階からこれらを相互に連携させて検討することが不可欠だということです。そして、学習済みMLソフトウェアの使用に固有の懸念事項に可能な限り効果的かつ効率的に対処できるよう、ライフサイクル全体を通じてシステム設計と実装の手法を進化させ続ける必要があります。

H・グレン・カーターは、アラバマ州レッドストーン工廠にあるDEVCOM航空・ミサイルセンター、システム即応局ソフトウェア部門、航空機管理システム課のエンジニアです。