Do końca XVIII wieku nie istniały plany utworzenia diecezji kieleckiej, chociaż samo miasto Kielce pełniło ważną rolę w administracji kościelnej. Tu przecież biskupi krakowscy mieli okazały pałac, w którym nie tylko odpoczywali, ale też, z którego rządzili rozległą diecezją krakowską. Przy kolegiacie istniała kapituła, a przede wszystkim funkcjonowało seminarium duchowne, w którym kształceni byli przyszli kapłani.
Sytuacja zmieniła się, gdy Polska znalazła się pod zaborami. To spowodowało, że diecezja krakowska podzielona została między zaborców. Kielce trafiły pod zabór austriacki. Zdecydowano wtedy w Wiedniu, że zostanie utworzona diecezja kielecka. Od zamysłu do realizacji upłynęło kilka lat. Najpierw w czerwiec 1801 r. gubernium lwowskie przygotowało projekt powołania diecezji kieleckiej, przy równoczesnym zniesieniu diecezji tarnowskiej. Został on po roku zatwierdzony dekretem kancelarii nadwornej w Wiedniu. Na stanowisko biskupa kieleckiego cesarz Franciszek II Habsburg wskazał ks. Wojciecha Górskiego, dotychczasowego administratora diecezji tarnowskiej i prepozyta kapituły katedralnej w Tarnowie. Podpis cesarza umożliwiał oficjalne skierowanie prośby do Rzymu o zatwierdzenie przez papieża podjętych decyzji. Stało się to 13 czerwca 1805 r., kiedy to Pius VII ogłosił bullę Indefessum personarum – dokument powołujący diecezję kielecką. W jej granicach znalazły się ziemie położone między Wisłą i Pilicą, na zachodzie sięgające po Będzin i Koniecpol.
Powołanie nowej diecezji ogłosił w katedrze kieleckiej arcybiskup Kajetan Ignacy Kicki 30 września 1807 roku. Dopiero wtedy, a ściślej pod koniec roku, przybył do Kielc biskup Wojciech de Boża Wola Górski i zamieszkał w pałacu biskupim, od 1789 należącym do skarbu państwa, a przekazanym 6 lutego 1806 roku na potrzeby biskupstwa przez Franciszka II. Biskup rozpoczął urzędowanie. Utworzył wówczas konsystorz biskupi, który był najważniejszym organem władzy ordynariusza. Powołał kapitułę katedralną, złożoną z pięciu kanonii oraz z trzech prałatur: prepozytury, dziekanii, scholasterii. Diecezję podzielił na 23 dekanaty. Zwrócił się do Wiednia o zgodę na rozbudowę seminarium duchownego, ale też zajął się reorganizacją i podniesieniem w nim poziomu nauczania. Wśród diecezjan rozwijał kult eucharystyczny.
Nowo powołana diecezja nie funkcjonowała długo. Zawirowania polityczne i decyzje podjęte na Kongresie Wiedeńskim spowodowały nowy podział administracyjny ziem polskich pod zaborami, a co za tym poszło zmiany w granicach diecezji. Nową organizację kościelną regulowała bulla Piusa VII Ex imposita nobis z 30 czerwca 1818 roku. Diecezja kielecka została zniesiona, a jej terytorium weszło w skład trzech sąsiednich diecezji: krakowskiej, lubelskiej i nowo utworzonej sandomierskiej.
Zanim oficjalnie rozwiązano diecezję kielecką już w 1814 roku biskup Wojciech de Boża Wola Górski został mianowany administratorem apostolskim diecezji krakowskiej.
Zmarł 1 lutego 1818 roku i został pochowany w podziemiach katedry w Kielcach.