Obitelj Oršić, koja je sagradila dvorac i živjela u njemu sve do 20-ih godina 20. stoljeća, prema predaji potječe od hrvatskog plemena Lapčana i Karinjana. Prvi put se spominje u jednoj ispravi iz Knina iz 1420. godine.

Kralj Matijaš Korvin daruje im 1487. Slavetić pokraj Jastrebarskog, po kojemu kasnije nose pridjevak Slavetički. U 16. stoljeću Oršići stječu daljnje posjede u drugim krajevima Hrvatske i izvan nje, te ulaze u rodbinske veze s istaknutim magnatskim obiteljima. U 17. stoljeću sva su se imanja našla u rukama jedinoga muškog potomka obitelji, Matije, krajiškog kapetana koji je svojim bogatstvom sinovima utro put do barunata. Njegov sin Ivan Franjo stječe Gornju Stubicu. Oženio se Elizabetom Petričević, kćerkom Jurja Petričevića od Miketinca, gospodara Gornje Stubice, Jakovlja i Praznoga. Elizabetin brat Franjo ubija 1658. u Stubici svoju ženu Katarinu barunicu Keglević. Ubojstvo je izazvalo veliku pozornost, a prema onodobnom običaju, njezina je obitelj kao zadovoljštinu mogla tražiti predaju ubojičina imanja.

No Petričević se sporazumijeva sa sestrinim mužem i ustupa mu svoj dio očinskih imanja u zamjenu za dobro Petrovinu u Turopolju, koje je Elizabeta donijela u miraz. Ubojica nikada nije uhićen usprkos svim nastojanjima njezine obitelji, ali su dobra zaplijenjena u korist države. Car nije htio potvrditi ugovor o zamjeni, no daje Franji Oršiću darovnicu za ta imanja, za njega i njegove potomke. Tajnim ugovorom on prepušta Stubicu na uživanje Franji Petričeviću, uz uvjet da to imanje prepusti Oršićima ako Petričević, koji je imao samo malu kćer, umre bez muškog potomka.

Franjin sin Antun oženio se vrlo mlad izvanredno lijepom i obrazovanom barunicom Marijom Terezijom Wintershoffen.

Imali su troje djece. Godine 1700. tužio ju je zbog nevjere i pokušaja da ga ubije magijskim sredstvima. Dobio je rastavu, što je u to doba bilo gotovo nečuveno, a djeca su oduzeta majci i predana na odgoj daljnjim rođacima. Oko tog događaja je izbio veliki skandal.

Antunov unuk Krsto Oršić (1718.-1782.) sagradio je novi dvorac u Gornjoj Stubici. Bio je oženjen Josipom Zichy iz bogate i ugledne mađarske obitelji.

Istaknuo se u ratovima Marije Terezije, no obavljao je i druge javne službe u Hrvatskoj. Godine 1744. dodijeljena mu je grofovska titula. Od tada se Oršići ubrajaju u najviše hrvatsko plemstvo.

Najstariji Krstin sin Adam napisao je memoare koji sadržavaju dragocjene podatke o promjenama u društvenom životu Hrvatske u drugoj polovici 18. stoljeća.

Adamov sin Jurica jedan je od malobrojnih velikaša koji od početka pruža potporu narodnom preporodu.