Florian Klein występuje na pozycji prawego obrońcy. Jest wychowankiem LASK Linz. W klubie tym przeszedł wszystkie szczeble młodzieżowe, aż w końcu w 2004 roku zadebiutował w pierwszym zespole. Po pięciu latach odszedł do Austrii Wiedeń, gdzie spędził trzy sezony. Kolejnym przystankiem w jego karierze był Red Bull Salzburg. W 2014 roku przeniósł się do niemieckiego Vfb Stuttgart w którym wciąż występuje. Florian Klein jest również reprezentantem Austrii. Po raz pierwszy w barwach narodowych zagrał w maju 2010 roku.