28 maja 1905 roku bp Tomasz Kuliński uroczyście wmurował kamień węgielny pod kościół pw. Podwyższenia Krzyża Świętego.
„Przy sprzyjającej pogodzie zaraz po nieszporach wyszła z katedry procesya na plac budowy kościoła i tam, po dokonaniu przez Najdostojniejszego Pasterza założenia i poświęcenia kamienia węgielnego i świeżo ukończonych fundamentów odprawione zostało nabożeństwo majowe” – relacjonowała wydarzenie Gazeta Kielecka (41/1905).
Na początku XX w. w rozrastających się Kielcach istniała potrzeba powołania nowej parafii. przy Biskup Tomasz Kuliński wyraził zgodę na wybudowanie kościoła usytuowanego ulicy (drodze) wylotowej z miasta w kierunku Piotrkowa, która też zyskała aprobatę mieszkańców tamtej części miasta: Starowarszawskiej (do mostu na Silnicy), Nowozagnańskiej, Niewachlowskiej, Czarnowskiej (prawa strona), Młynarskiej (do drogi na Czarnów) oraz tereny leżące na prawym brzegu Silnicy od mostu na ulicy Starowarszawskiej i przylegających do niej wiosek: Piasków, Podlasia, Kostomłotów, Miedzianej Góry, Niewachlowa, Laskowej i Gruchawki. Teren ten zamieszkało ponad 8 tysięcy ludzi.
W 1903 r. wykupiono plac pod budowę, a rok później przystąpiono do kopania rowów pod fundamenty kościoła pw. Zbawiciela w Kielcach. Zawiązany Komitet Budowy Kościoła w Kielcach rozpoczął pozyskiwania funduszy na budowę świątyni. Duży wkład finansowy włożyło małżeństwo Florentyna i Karol Malscy, właściciele majątku Rogienice, którzy przekazali na ten celu znaczną część swojego majątku. Przez cały długi okres budowy zbierane były datki i przekazywane darowizny.
Początkowo powstający kościół miał być pod wezwaniem Zbawiciela, ale parafianie, widząc zarys murów układający się w kształt krzyża łacińskiego, zaczęli mówić o nim Święty Krzyż. Ta zwyczajowa nazwa została zaakceptowana przez biskupa i ostatecznie parafia otrzymała wezwanie Podwyższenia Krzyża Świętego.
Zgodnie z wolą Karola Malskiego nowa świątynia miała wzorować się na warszawskim kościele św. Floriana, nawiązującym do gotyku nadwiślańskiego. Projekt przygotował kielecki budowniczy gubernialny Stanisław Szpakowski. Zaprojektował on okazały gmach z jednowieżową niesymetryczną fasadą, budowany z cegły. Budowa z przerwanie (ze względu na brak funduszów) trwała do 1925 r. Do tego czasu postawiono główny korpus kościoła wraz z prezbiterium i sygnaturką nad skrzyżowaniem naw, brakowało jeszcze północnej fasady z wieżą. Wtedy zwrócono się do warszawskiego projektanta Stefana Szyllera.
Powstała monumentalna katedralna dwuwieżowa fasada z późnogotyckimi portalami kamiennymi, rozeta w ścianie nawy głównej, galeria rzeźb ponad dachami i para smukłych wież zakończonych malowniczymi hełmami z wieńcem narożnych wieżyczek. Na fasadzie została usytuowana Grupa Ukrzyżowania.
Wznowione w 1926 r. prace, trwały (z przerwą w 1932 r.) równo do połowy XX stulecia. W ich trakcie zmieniono wiele szczegółów, a nowy projekt – już ostateczny – wykonał znany kielecki architekt Wacław Borowiecki.
Finalnie kościół zbudowany został z ciemnoczerwonej cegły, nieotynkowany, ma obszerne wnętrze halowe, składające się z trzech równej wysokości równoległych naw i transeptu – poprzecznej nawy oddzielającej prezbiterium od korpusu. Całą budowlę oplatają dwukondygnacyjne przypory. Duże wrażenie robi fasada wzniesiona w typie katedralnym. Szczytową ścianę środkowej nawy zamykają dwie wysokie czworoboczne, a między nimi usytuowano wielką rzeźbiarską Grupą Ukrzyżowania. Tuż pod nią na całej szerokości kościoła i dodatkowo na bocznych ścianach wież, umieszczono we wnękach dwanaście figur apostołów.
Wewnątrz kościoła architektonicznie najciekawszym elementem są sklepienia: w nawie środkowej gwiaździste, w bocznych krzyżowo-żebrowe.