Báró Kray Pál táborszernagy a mai Szlovákiában, Késmárkon született 1735-ben. Kray Pál nagyapját, Kray Jakabot Rákóczi-hűségéért Heister tábornagy lefejeztette a késmárki piactéren. Apja, ifjabb Jakab azonban beállt a császár seregébe és részben visszaszerezte a család vagyonát, majd kapitányi rangot ért el. Bár Kray Pál német anyanyelvű volt, élete folyamán mindig büszkén vallotta magát magyar nemesnek. Iskoláit tekintve Kray a selmeci bányatisztképzőt látogatta, ahol széleskörű műszaki és matematikai képzettségre tett szert. Katonai pályája 1754-ben kezdődött, amikor kadétként beállt egy magyar gyalogezredbe. Szolgált a hétéves háborúban, ahol szorgalma és tehetsége révén fölhívta magára elöljárói figyelmét. 1763-ban feleségül vette a tehetős polgárlányt, Mihics Franciskát. A házasság révén katolizált és a hozományból kapitányi rangot vásárolt, de II. József császár fölfigyelt Krayra, és soron kívül őrnaggyá nevezte ki az egyik székely határőr-gyalogezredbe. Kray őrnagy tevékenyen részt vett a Horia-Closka felkelés leverésében, katonái fogták el Horiát. Ezután a császár kinevezte a 2. Oláh-határőr gyalogezred élére, immáron ezredesként. Az 1788-ban kitört török háborúban Kray az erdélyi szorosokat védte különítménye élén. 1791-től tábornok volt; a törökök fölötti győzelmeiért megkapta a Katonai Mária Terézia Rend lovagkeresztjét és a bárói címet. 1791-ben átmenetileg nyugállományba helyezték, de pártfogója, Coburg herceg tábornagy visszahelyeztette a szolgálatba, amikor Coburgot kinevezték a németalföldi sereg élére, az 1792-ben kirobbanó francia háborúk folyamán. Kray a fősereg elővédjét vezette, számtalan kisebb nagyobb ütközetben aratott győzelmet a franciák fölött, ezért 1795-ben altábornaggyá nevezték ki, és a Katonai Mária Terézia Rend parancsnoki osztályát is elnyerte. 1797-ben azonban a neuwiedi kudarc miatt hadbíróság elé állították és tíz nap elzárásra ítélték. 1799-ben az itáliai hadseregben hadosztályparancsnok volt, de fölöttese váratlan halála miatt ő állt a császári-királyi sereg élére. 1799 áprilisában visszaverte a francia offenzívát Verona térségében, ellentámadásba ment át, és április 5-én Magnanónál nagy győzelmet aratott. Sikereit Mantova visszafoglalásával koronázta meg 1799 júliusában, majd oroszlánrészt vállalt a novi sikerben. Jutalma a táborszernagyi rang és a topolyai kamarauradalom lett, melyet kedvezményes áron megvásárolhatott. 1800-ban a németországi hadsereg élére nevezték ki, de ekkor nem tudta sikereit megismételni és megalázó módon leváltották. Kray topolyai birtokára vonult vissza, ahol belefogott a kastély építésébe.

A család levelezéséből tudjuk, hogy az alapkövet 1800. október 4-én tették le és 1802/3 telén már bebútorozták és lakták is. Erre az időre elkészültek a segédobjektumok is. „A főépület olyan szép, annyira célszerűen épült, hogy szinte sajnálható, amiért egy faluban áll, mert Bécs bármelyik elővárosában is megállná a helyét.”

A korabeli leírások szerint a földszinten nyolc szoba és egy terem, az emeleten hat szoba és egy kis kabinet volt.

A kastély és a birtok 1852-ig a férfiágon kihalt Kray családtól a Zichy család grófi ágának tulajdonába került. Ezt megelőzően 1849. január 30-án a városba betörő szerb csapatok a kastélyt kifosztották, festményeket, a bútorokat, a szőnyegeket és minden mozdíthatót elraboltak. Az állatállományt elhajtották.

Az első világháború alatt a birtokos a kastélyt az egyháznak ajándékozta, parókia céljaira.

A második világháború végén ebben az épületben volt a szovjet II. ukrán hadseregének főhadiszállása, később az új hatalom államosította. Később itt volt a bank, a szövetkezet, a Munkásegyetem, a Helytörténeti Levéltár és az Art Gallery is. Ma az épületben székel Topolya Község Múzeuma, valamint a Topolyai Művésztelep irodája és anyaga is itt kap helyet. Több ezer ember látogatja évente.