Nur via SSH-Key anmelden

Hey,

ich habe gerade einen User für einen Kollegen an meinem VPS angelegt und einen SSH-Key hinterlegt (PuttyGen). Nun ist mir die Frage aufgekommen, ob es möglich ist, einem Benutzer nur zu erlauben, sich mit einem solchen Key anzumelden. Möglich ist sowas bestimmt aber wie kann ich die "normalen" Passwörter löschen und nur eine solche Authentifizierung erlauben?

Beste Grüße :P