TeraTermで文字コードを標準のUTF-8のままログインしているのでUTF-8日本語表示に問題がないので標準の英語から設定を変更することに。
SDから起動しているのでlocale入れても容量の心配がないし。
Ubuntuで日本語ロケール設定
こちらの情報を元にlocaleを設定しました。
# apt-get install language-pack-ja
# dpkg-reconfigure locales
# update-locale LANG=ja_JP.UTF-8
便利な世の中ですのう。