Para limitar o número de conexões a uma porta, utilize as regras abaixo:
# iptables -A INPUT -p tcp --dport PORTA -m state --state NEW -m recent --set
# iptables -A INPUT -p tcp --dport PORTA -m state --state NEW -m recent --update --seconds 120 --hitcount 5 -j DROP
Altere o parâmetro PORTA para o numero da porta que desejar, e no --hitcount o numero de tentativas de conexoes (no exemplo está 5 mas altere para o numero que desejar).
Com esta regra acima se o atacante tentar conectar, na porta especificada, mais de 5 vezes será bloqueado. Mas por apenas um período de tempo, não permanente.
É uma boa regra pra minimizar força bruta!
Agora se quiser limitar os pings disparados contra seu servidor, use esta regra:
# iptables -A INPUT -p icmp --icmp-type echo-request -m limit --limit 3/s -j ACCEPT
# iptables -A INPUT -p icmp --icmp-type echo-request -j DROP
Com esta regra se o atacante tentar dar o PING simultâneamente em seu servidor (utilizando varias janelas), será obrigado a aguardar 3 segundos para cada próxima resposta, com isso irá travar/limitar a conexão Dele e o servidor será mantido online.
Após rodar os comandos acima conforme sua necessidade, não esqueça de rodar o comando abaixo para que as regras entrem em vigor:
# service iptables save