Zbudowany przez biskupów warmińskich w 1 połowie XIV wieku w stylu gotyckim, na planie zbliżonym do trapezu. Składał się ze skrzydła mieszkalnego i gospodarczego oraz dziedzińca, obwiedzionych murem. Parokrotnie niszczony i odbudowywany. Po zniszczeniach w XVII wieku przebudowany w stylu barokowym. W XIX wieku częściowo rozebrany i dostosowany do potrzeb administracyjnych. Zachowało się skrzydło zachodnie odnowione po 1945 roku, ruiny skrzydła północnego oraz piwnice ze sklepieniami gotyckimi.