エクセルのウインドウをタスクバー１つに集約

ファイル＞オプション＞詳細設定＞表示＞

「すべてのウィンドウをタスクバーに表示する」のチェックを外す