Pierwsza wzmianka o zamku olsztyńskim, wtedy identyfikowanym jako zamek w Przemiłowicach, pochodzi z roku 1306 a zawarta została w aktach drugiego procesu biskupa krakowskiego Jana Muskaty, wytoczonego mu w roku 1306 przez arcybiskupa gnieźnieńskiego, Jakuba Świnkę. Z tego też powodu w 2006 roku obchodzono Jubileusz 700 lecia Zamku Olsztyńskiego.
Pierwsza wzmianka o Zbyszku, burgrabim olsztyńskim pochodzi z 1349 r. Istniejącą od drugiej połowy XIII wieku strażnicę rozbudował w XIV wieku Kazimierz Wielki jako jeden z najbardziej warownych zamków na pograniczu śląsko-małopolskim co podają Janko z Czarnkowa i Długosz.
Głównym zadaniem warowni była ochrona południowo-zachodnich rubieży Państwa Polskiego przed najazdem ze strony Śląska i Czech, a jako jedno z pierwszych tego typu i najbardziej ufortyfikowane na Jurze miejsce to cieszyło się dużym zainteresowaniem ze strony władcy, Króla Kazimierza Wielkiego który przebywał tu osobiście co najmniej pięciokrotnie, ostatni raz w roku 1369, gdy nadał tzw. prawo średzkie dla pobliskiego Przyrowa. Oprócz funkcji potężnej strażnicy granicznej zamek służył też jako więzienie dla szlachty. Według tradycji za jego panowania więziony był w zamku wojewoda poznański Maćko Borkowic, który zmarł w niej skazany na śmierć głodową za zorganizowanie spisku przeciw królowi. Według podań duch wojewody, jęki, brzęk kajdan i zawodzenia do dziś mają straszyć w okolicy zamku.
Po śmierci króla Kazimierza nowy władca Ludwik Węgierski w 1370 r. przekazał Olsztyn z ziemią wieluńską w lenno swemu siostrzeńcowi, księciu opolskiemu Władysławowi Opolczykowi. Jednak za knowania Księcia z Krzyżakami, przeciwko Polsce, oraz rozboje i łupiestwa pod koniec sierpnia 1391 r. Władysław Jagiełło po tygodniowym oblężeniu zdobył zamek i przywrócił go Koronie. Dzierżawę nad zamkiem i ziemią olsztyńską Król przekazał Janowi Odrowążowi ze Szczekocin.
Rzeczony Jan w czasie wielkiej wojny z zakonem krzyżackim nie brał udziału w wyprawie zbrojnej, ale jako komendant miejscowego garnizonu zabezpieczał wyznaczony odcinek południowej granicy kraju przed spodziewanym najazdem węgierskim Zygmunta Luksemburskiego. W latach 1406, 1411 oraz 1417 otrzymał on od króla nakaz jego modernizacji oraz łącznie 1200 grzywien, co stanowiło równowartość około 250 kg srebra. Zamek został w tym czasie znacznie rozbudowany w kierunku południowo – zachodnim.
W 1406 r. podgrodowa osada nazywana wówczas Olsztynkiem została siedzibą starostwa. W 1488 r. Kazimierz IV Jagiellończyk nadał jej prawa miejskie. W XV wieku zamek odegrał znaczącą rolę przy odpieraniu napadów ze strony książąt śląskich.
W latach 1540-51 starosta Piotr Opalińskie przebudował zamek, zapewne w części północno – wschodniej zamku górnego, rozbudowany, potem był kilkakrotnie przebudowywany z powodu kruszenia się murów wskutek osuwania się skał. W 1552 Olsztyn uzyskał przywilej na targi i jarmarki. Miasto nigdy nie rozwinęło się ze względu na nieurodzajną, piaszczystą glebę oraz położenie z dala od szlaków handlowych.
W grudniu 1587 r. atakowany był przez wojska austriackie arcyksięcia Maksymiliana, pretendenta do tronu polskiego. Dowódcą załogi był wówczas starosta Kacper Karliński. Jego porwany kilkumiesięczny syn wraz z piastunką wystawiony został pod zamek na pierwszą linię ognia. Obrona się powiodła, z poświęceniem jednak życia syna dowódcy. Doszło też do zniszczeń zamku. Wydarzenie to znalazło swój wyraz w twórczości Władysława Syrokomli i Aleksandra Fredry.
W 1656 r., w czasie potopu, Szwedzi zdobyli a następnie zrujnowali zamek i spalili miasto. Był to początek jego upadku. W latach 20. XVIII wieku rozebrano duże fragmenty dolnych partii zamku aby uzyskać materiał na odbudowę spalonego kościoła w Olsztynie. Do końca tego stulecia przetrwało starostwo olsztyńskie. Wkrótce także odebrano Olsztynowi prawa miejskie. W wieku XIX zamek był już opuszczony i w stanie ładnie mówiąc romantycznej ruiny przetrwał po dziś dzień.
Historia w pigułce – kalendarz
1306 - Pierwsza wzmianka o zamku olsztyńskim
1349 - Pierwsza wzmianka o Zbyszku, burgrabim olsztyńskim
1358 – Osadzenie w lochach Macieja Borkowic za przywództwo w buncie przeciwko władzy królewskiej
1369 - Ostatnia wizyta króla Kazimierza Wielkiego
1370 - Ludwik Węgierski przekazuje Olsztyn z ziemią wieluńską w lenno swemu siostrzeńcowi, księciu opolskiemu Władysławowi Opolczykowi.
1391 - Władysław Jagiełło po tygodniowym oblężeniu zdobył zamek i przywrócił go Koronie.
1406 - podgrodowa osada nazywana wówczas Olsztynkiem została siedzibą starostwa.
1488 - Kazimierz IV Jagiellończyk nadał jej prawa miejskie
1540-51 - starosta Piotr Opalińskie przebudował zamek
1552 - Olsztyn uzyskał przywilej na targi i jarmarki.
1587 - atakowany był przez wojska austriackie arcyksięcia Maksymiliana
1656 - w czasie potopu, Szwedzi zdobyli a następnie zrujnowali zamek i spalili miasto
1959, 1960, i 1969 - w Olsztynie prowadzono badania archeologiczne
1997 - prowadzono prace wykopaliskowe.