Né en région parisienne, Karim Ziani a connu un début de carrière relativement classique. Repéré au Racing Club de France, il intègre le centre de formation aubois et quatre ans plus tard, signe professionnel. Sous les ordres d'Alain Perrin, il débute parmi l'élite en décembre 2001. Ce petit gabarit fait rapidement montre d'une vivacité et d'une technique au-dessus de la moyenne. La saison suivante, il est régulièrement titulaire au sein d'une équipe de l'ESTAC qui tombe en L2. Ziani poursuit alors sa progression pendant deux saisons à l'échelon inférieur. Celui qui est devenu international algérien en février 2003 décide de quitter son club formateur quelques mois plus tard. Après avoir failli rallier Sienne et l'Italie, c'est finalement à Lorient que le milieu droit est prêté en août 2003. Immédiatement devenu un pion essentiel de l'équipe de Christian Gourcuff, l'ancien troyen est transféré en Bretagne l'été suivant. Sa technique, ses accélérations et sa combativité font merveille au sein des Merlus. Il marque ainsi sept buts et offre cinq passes décisives. Le FC Lorient monte en L1 et Ziani est élu par ses pairs meilleur joueur de Ligue 2 Orange. Aujourd'hui titulaire d'une vingtaine de sélections en équipe d'Algérie, Karim Ziani (qui n'a aucun lien de parenté avec Stéphane Ziani) attisait la convoitise de nombreux clubs. C'est finalement à Sochaux qu'il a décidé de poursuivre sa carrière et de retrouver la Ligue 1. Auteur d'un excellente saison avec Sochaux, il intègre l'effectif marseillais pour la saison 2007-08.