Il Monastero di Olimje ha una storia interessante. Sul terreno del monastero fu costruita una fortezza intorno a 1015 di proprietà dei Conti di Pilstien. Una dei proprietari fu anche Ema di Pilstein, altrimenti nota come s. Emma di Gurk. La fortezza venne poi ristrutturata in un maniero. Nel 1550, il successivo proprietario Conte Tattenbach lo allargò e diede all'edificio un volto rinascimentale, trasformandolo in un vero e proprio castello.

Il barone Ivan Zakmardy de Dyankoch acquistò la proprietà nel 1657 e la donò ai monaci Paolini di Lepoglava in Croazia. Nel 1663 arrivarono i primi sei monaci Paolini, che cominciarono con la riorganizzazione del castello per soddisfare le esigenze di un monastero, nonché con la costruzione di una chiesa per pellegrinaggi. Così il castello divenne un monastero.

I monaci rimasero ad Olimje fino al 1782, quando l'imperatore Giuseppe II soppresse il monastero. Tornarono in Croazia e la prima parrocchia fu istituita ad Olimje presso la chiesa. Nel 1805 il monastero fu messo all'asta e, acquistato dal conte Attems, diventò di nuovo un castello.

Due anni dopo furono abbattute due ali del castello e nella terza ala: nel secondo piano il parroco ebbe la sua residenza, mentre nel primo risiedeva la guardia forestale del conte. Nel 1945, i partigiani uccisero il conte Ferdinando Attems, il proprietario del castello, e la proprietà fu nazionalizzata. Da prima del crollo della Jugoslavia egli tenta di riottenerne la proprietà. La diocesi di Maribor prese in affitto il castello e lo offrì ai frati insieme alla parrocchia. Nel 1999, la Provincia dei Frati Minori Conventuali di Slovenia fondò il convento di Olimje, che prese il nome del beato Anton Martin Slomšek. Pertanto il castello è ora diventato un convento.