Wieś Olchowa prawdopodobnie została założona na początku XIV wieku i należała do klasztoru w Tyńcu. W połowie tego stulecia przeszła w prywatne posiadanie Pełki Czarnego. W XV wieku przejęła ją rodzina Niemstów. Był to wówczas folwark rycerski. W XVI wieku i w I połowie XVII wieku Olchowa znajdowała się w rękach Brzezińskich, a następnie dziedzicem części wsi był Walerian Konarski. Odkońca XVIII wieku stanowiła własność Elżbiety Lenczewskiej - Lubienieckiej, zmarłej w 18l3 r. Następnie znalazła się w posiadaniu Teofila Dzikowskiego. W latach l831 - 1856 właścicielem Olchowej był Alojzy Jabłonowski, uczestnik powstania styczniowego, który zginął w bitwie pod Komorowem. W II połowie XIX wieku Olchową przejęli Rylscy, a pod koniec tego wieku dostała się w ręce Ludwika Dolińskiego.Do zabytków w Olchowej zaliczony został dwór wzniesiony w początkach XIX wieku dla Katarzyny i Alojzego Jabłonowskiego i był następnie własnością Rylskich i Dolińskich. Remonty i przebudowy prowadzone na koszt kolejnych właścicieli miały niewielki zakres i nie zmieniły małego, skromnego dworu w "rezydencję". W początkach XX wieku dobudowano przed elewacją frontową prostą werandę, na którą wiedzie kilka stopni schodów.