時系列マルチモーダルデータを収集するマルチモーダルIoTや、動画や画像から得られる特徴量と環境情報等のデータを組み合わせて機械学習を行うマルチモーダルAIに関する研究を進めています。中でも農業分野における生のマルチモーダルデータを対象とした、実践的な研究成果が増えてきています。例えば，多岐に渡る植物の栽培条件で，IoTを駆使しても栽培期間全域における生育情報を収集しきるのは現実的ではありません。もしIoTを用いて数年分の時系列データを収集できたとしても、光合成が促進される条件は限定的であったり非定常なデータがあったり収集されたデータの不均衡（imbalance）や時系列（time-series）まで考慮した前処理が重要になります。そのため実は使用可能なデータが限定的であるという課題があり、このような時系列データや画像データに対するデータ拡張（data augmentation）やデータ合成（data synthesize），生成AI（generative AI）によるデータ生成（data generation）、等の研究に取り組んでいます。ここでデータの特性を無視した機械的なデータ拡張は、性能低下に繋がることもありますので、対象AIタスクにおける生成データの現実性が重要になってきます。そのため、人の知覚類似性（perceptual similarity）を表現する評価指標を用いたデータ生成技術の研究開発も進めております。生成データ群の特徴量が形成するドメイン分布が、実データ群の形成するドメイン分布と一致することも大事で、主成分分析（principal component analysis; PCA）やt-SNE（t-distributed stochastic neighbor embedding），UMAP（uniform manifold approximation and projection）といった高次元データを次元削減して可視化する技術や、説明可能AI（explainable AI）を用いて、ドメイン適応（domain adaptation）を確認するだけでなく、最終的にはドメイン汎用（domain generalization）を目指しています。いずれにせよ、複数のグループを形成して素人発想・玄人実行で、生のマルチモーダルデータに接しながら、時系列マルチモーダルAI/IoTに関する汎用的な要素技術の研究開発に取り組んでおります。それぞれの要素技術の研究開発で得られる知見や経験は，様々な分野に応用できますので就活も安泰です。ぜひ情報科学の側面から新たな分野を切り拓いていってほしいと思います。