Para alterar a porta SSH edite o arquivo /etc/ssh/sshd_config
No início do arquivo você encontrará uma linha comentada como no exemplo:
#Port 22
Em seguida basta remover o # da linha e modificar o número 22 para outra porta:
Port 4455
Reinicie o SSH com o comando:
# service sshd restart