OSのインストールだけ直接いじります。OS入った後はすべてsshで入って作業します。キーボードも引っこ抜いて作業します。
インストールはサーバー用途なので、最低限の構成で入れて「ベース」だけ追加しています。