Gotycki wygląd, należący do większych warowni zakonnych był siedzibą komtura. Składał się z rozmieszczonego na niższym tarasie od strony miastaprzedzamcza i położonego wyżej właściwego zamku na rzucie nieregularnego czworoboku. nieruchomości w grudziądzu otaczały to wzniesienie i należały do krzyżaków. Reprezentacyjne pomieszczenia mieściły się na piętrze w skrzydle południowym, m.in. kaplica ze słynnym malowanym Poliptykiem Grudziądzkim z końca XIV w.
Udokumentowane dzieje zamku wiążą się z przybyciem na ziemię chełmińską Krzyżaków,a w szczególności donieruchomości grudziądzkie. Pierwsze drewniane mury warowne na Górze Zamkowej, dominującej nad doliną Wisły (wysokość względna wzniesienia sięga 60 m. i przyszłym miastem wzniesiono jeszcze przed lokacją, ok. 1235 r. W połowie XIII w. rozpoczęła się budowa zamku ceglanego, który ukończono zapewne w 1299 r.
Skrzydło zachodnie, od strony wody, pełniło funkcje mieszkalne, a wschodnie gospodarcze. W narożniku północno-zachodnim była usytuowana wysoka cylindryczna wieża obronna zwana Klimkiem. Wieża miała 30 m wysokości i byłanieruchomością w grudziądzod czasów pradawnych, a wejście do niej prowadziło z muróww połowie wysokości, przez zwodzoną kładkę. Pełniła również rolę więzienia. W 1338 r. część zabudowań od strony Wisły osunęła się do rzeki.
Wygląd zamku znany jest z przekazów ikonograficznych i z opisów lustracyjnych. Pozostał też Klimek, ocalony na osobiste życzenie królowej pruskiej Luizy podczas pobytu w mieściew ucieczce przed Napoleonem w 1806 r. Już w roku następnym górna część wieży uległa popsuciupodczas francuskiego oblężenia twierdzy. W 1839 r. Górę Zamkową wydzierżawiło miasto, teren uporządkowano i założono park, natomiast wieża stała się atrakcyjnym punktem widokowym i symbolem miasta. W okresie tym lawinowo zwiększył się wynajem mieszkań w Grudziądzu co spowodowane było wzrostem zainteresowania tym pięknym miastem.