Białkowski trafił do Świętych w styczniu 2006 roku. W sezonie 2008/2009 był na krótko wypożyczony do Ipswich Town, a w 2009/2010 do Barnsley FC. W sezonie 2009/2010 przeżył z drużyną spadek do League One, rok później świętował powrót na zaplecze Premier League, a w minionym sezonie awans do najwyższej klasy rozgrywkowej.
Polak nie miał jednak dużego wpływu na wyniki swojego zespołu. Dla Southampton rozegrał w sumie zaledwie 38 spotkań.