Około 3 km na północny-wschód od Rakowa, na stromym, gęsto zalesionym wzgórzu u stóp bezimiennego potoku znaleźć można pozostałości zamku. Zamek, będący ośrodkiem panów z Szumska, powstał z inicjatywy rodu Odrowążów na początku XIV wieku, który po śmierci pierwotnego właściciela w roku 1357 przeszedł w posiadanie rodu Kurozwędzkich. Ponieważ budowla była niestarannie zbudowana, bez odpowiednich fundamentów, na tyle głębokich aby bezpiecznie stała na lessowym podłożu, została opuszczona i właściciele przenieśli się do nowej warowni, aktualnie po przebudowie będącej pałacem w Kurozwękach. Do budowy użyto miejscowe kamienie o czym świadczą wyrobiska na pobliskim wzgórzu oraz z wybudowanej fosy. Archeolodzy odnaleźli ślady 4 budynków, pośrodku stała wieża mieszkalno-obronna, na zewnątrz budynki mieszkalne i druga wieża. Od wchodu istniała dobudowana do muru izba zwana "kurzą stopa". W połowie XVII wieku właścicielem zamku był Jakub Sienieński - sprawujący przywództwo arian - Braci Polskich, który opuścił go i przeniósł się opodal do stojącego do dziś dworu. Po najeździe przez Szwedów w XVII, a potem jeszcze w XVIII wieku warownia popadła w kompletną ruinę. Aktualnie pozostały po niej wysokie, gdzieniegdzie na 2 metry mury i fragmenty ścian. Widać też otwory prowadzące do wnętrza ruin, niestety niejednokrotnie plądrowane. Pozostałości te wraz ze stromą górą stanowią dość ciekawe i niesamowite miejsce a w pobliskim Szumsku według przekazów znajdują się drzwi zamkowe w tamtejszym kościele należące do zamku.