Karim Ziani est né en région parisienne d'un père algérien [1] et d'une mère française[1]. Il est d'abord repéré par le Racing club de France qui l'intègre à ses équipes jeunes de 1995 à 1998. Il rejoint ensuite le centre de formation de Troyes, signant son premier contrat pro avec le club aubois en 2001. Sous les ordres de l'entraîneur Alain Perrin, il foule pour la première fois les pelouses en championnat de Ligue 1 en décembre 2001. Il fait ses débuts dans la sélection algérienne le 12 février 2003, à l'occasion d'un match contre la Belgique.
Un temps pressenti pour rejoindre l'Italie et le club de Sienne, il part finalement en prêt le 11 octobre 2004 au FC Lorient. Devenu un élément-clé du dispositif lorientais, l'équipe de Christian Gourcuff le recrute pour la saison 2005-2006 qui le verra s'affirmer comme l'un des grands artisans de la remontée en Ligue 1[1]. Il est d'ailleurs désigné meilleur joueur de Ligue 2 au terme de cette saison.