W sezonie 2004 bydgoska drużyna jeździła pod nazwą Budlex-Polonia Bydgoszcz. Był to pierwszy sezon po odejściu z Bydgoszczy wychowanków klubu Tomasza i Jacka Gollobów. I pierwszy w nowych strukturach - Bydgoskiego Towarzystwa Żużlowego.
W jej składzie bydgoskiej drużyny byli Andreas Jonsson, Mirosław Kowalik, Andy Smith, Jacek Krzyżaniak, Michał Robacki, Dariusz Fijałkowski, Krystian Klecha i Grzegorz Czechowski.
Sezon poloniści zakończyli bez sukcesu w drużynowych rozgrywkach. Drużyna nie zapewniła sobie miejsca w czołowej czwórce po rundzie zasadniczej i nie walczyła o medale. Zamiast tego, rywalizowała w rundzie finałowej o miejsca 5-8. Słabo wypadała na wyjazdach, ale na swoich torach wygrała trzy spotkania i ostatecznie zakończyła sezon na szóstym miejscu w gronie ośmiu drużyn.
Mistrzem Polski została wtedy Unia Tarnów (z braćmi Gollobami w składzie), spadkowiczem była ekipa z Rybnika.
Po zakończeniu rozgrywek skład się zmienił. Jeszcze w październiku kontrakty z bydgoskim klubem na sezon 2005 podpisali Piotr Protasiewicz, Krzysztof Buczkowski i Robert Sawina.
Niedługo przed świętami Bożego Narodzenia, w klubie odbyło się wigilijne spotkanie. Pojawiły się na nim władze klubu, sponsorzy i część zawodników, m.in. Krzysztof Buczkowski, obecny lider Abramczyk Polonii Bydgoszcz.
