SSHでログインするとちゃんとlocaleがJPなっているのにリモートで入るとUSなっているのでリモートログイン時の設定がおかしいと予想して以下のファイル確認したら日本語設定書かれていなかったので追記

/etc/xrdp/startwm.sh

$. /etc/environment

$export PATH=$PATH

$export LANG=$LANG

export LANG=ja_JP.UTF-8 ←コレを追記