Zamek Smoleń wznosi się na wapiennym wzgórzu na wysokości 485 m n. p. m. porośniętym lasem. Z badań prowadzonych na tym wzgórzu wiemy, że najprawdopodobniej było zasiedlone w okresie lateńskim, o czym świadczą dwa groty włóczni znalezione tu w XIX wieku.
W kronice Macieja Stryjkowskiego z 1300 roku opisano walki o zamek Pelciszka pomiędzy Wacławem II a Władysławem Łokietkiem, jednak, wbrew temu co dawniej sądzono, być może nie chodziło o zamek Smoleń lub pobliską strażnicę na Skalę Biśnik lub Grodzisku Pańskim, lecz o inny obiekt w Ziemi Sandomierskiej. Niemniej archeolog Błażej Muzolf w odległości 2 km od zamku zlokalizował dwa punkty obronne (Biśnik i Grodzisko Pańskie) datując je na 2 połowę. XIII wieku.
Obecny zamek został z pewnością wybudowany przez Ottona z Pilicy, herbu Topór. Z czasem ród ten , od nazwy miejscowości, przyjął nazwisko Pileckich.
W 1382 roku po śmierci Ottona zamek odziedziczyła jego córka Elżbieta Pilecka-Granowska, III żona króla Władysława Jagiełły.
Z roku 1394 mamy wzmianka o zamku, w której wymieniony jest kapelan zamkowy Dominik. Dwa lata później bo w 1396 roku znaleźć możemy informacje o burgrabim zamkowym.
Rok 1414 - panem na zamku został syn Elżbiety Granowskiej - Jan z Pilczy (Jan Granowski) herbu Leliwa. Zamek na 200 lat staje się własnością rodu Leliwitów.
W kronikach z 1432 roku wymienione jest podzamcze z folwarkiem i innymi zabudowaniami gospodarczymi.1492-1515 - na zamku przebywał Biernat z Lublina, który pełnił funkcję kapelana kaplicy zamkowej oraz prywatnego lekarza i sekretarza Jana Pileckiego. Biernat z Lublina w listach bardzo chwalił ten pobyt i podziwiał bogactwo biblioteki zamkowej.
W 1577 (chociaż możemy znaleźć datę również 1570) roku zamek od Anny Pileckiej kupił kasztelan oświęcimski Wojciech Padniewski herbu Nowina i zamieszkał w dworze pod zamkiem (w wielu przewodnikach turystycznych i innych wydawnictwach pojawia się nieprawdziwa informacja, że od Pileckich nabył zamek Seweryn Boner, jednak zamek w Smoleniu nigdy nie należał do Bonerów. Po Pileckich przeszedł od razu w ręce Padniewskiego. Zamek więc rozbudowali Pileccy). Pomimo modernizacji bardzo szybko przestała wystarczać rosnącym w potęgę i bogactwo właścicielom. Ograniczona powierzchnia wzgórza utrudniała dalszą rozbudowę, zaś kiepskie połączenia komunikacyjne spowodowały, że Wojciech Padniewski najpierw zamieszkiwał w dworze u stóp zamku, a następnie postanowił przenieść się około 1610 roku do Pilicy, gdzie było dość miejsca, by wybudować nową, okazalszą siedzibę (Zamek w Pilicy).
Zamek w Smoleniu od tego czasu zaczął niszczeć, zaś jego los przypieczętowali Szwedzi, dewastując go w 1655 roku.
W 1657 roku Stanisław Warszycki planował oddanie zrujnowanego zamku na klasztor Franciszkanów. Nie doszło to jednak do skutku, a klasztor wiek później powstał w Pilicy.
W 1797 roku Austriacy przyczynili się znacząco do dewastacji zamku, używając kamienia z murów do budowy komory celnej w Smoleniu.
Podczas I wojny światowej w okolicy Smolenia toczyły się zacięte walki austriacko – rosyjskie (listopad i grudzień 1914 roku)
W latach 40. XIX wieku zamek nabył Roman Hubicki, który go uporządkował i częściowo zrekonstruował. W wyniku tych prac przy południowej ścianie zamku natrafiono na wiele ludzkich kości i militariów średniowiecznych. Wskazuje to na zbrojny atak na zamek w średniowieczu. Roman Hubicki na zamku w Smoleniu założył słynną fabrykę śrutu "Batawia".
W latach 50. i 60. XX wieku zamek zabezpieczono w postaci trwałej ruiny i wykonano wstępne badania architektoniczne. W 1972 roku rozpoczęto prace zabezpieczające mury zamkowe jako "trwałą ruinę".
W 2010 roku w wyniku złego stanu murów oraz katastrofalnej zimy powodującej złamania drzew i zawalenia się narożnika w zamku zachodnim postawiono tablice zakazujące wstępu na zamek. Wycięto kilkadziesiąt drzew w obrębie murów i ich najbliższego otoczenia.
W 2012 roku rozpoczęto postępowania przetargowe na zabezpieczenie murów zamku.
zobacz też: fotografie zamku w Smoleniu panoramy zamku w Smoleniu