Początki osady to wiek XIV. Należała aż do końca XVI wieku - co wybrzmiewa w jej nazwie - do rodziny Konarzewskich, a później do Wilczyńskich i Radomickich. Za sprawą tych ostatnich, w końcu XVII wieku powstaje w Konarzewie pałac w stylu barkowym. Zbudowano go na planie prostokąta zachowując wszelkie ówczesne trendy. Pałac otaczał obszerny dziedziniec, a na jego tyłach stworzono ogród w stylu włoskim.
Jego pierwszy gospodarz czyli Andrzej Aleksander Radomicki, wojewoda kaliski i poznański niedługo po zamieszkaniu zdecydował się na rozbudowę w kształt litery „T”. Dzięki temu w jego wnętrzach mogła powstać obszerna i funkcjonalna sień, a na piętrze kolejna sala. Co ciekawe układ górnej kondygnacji był niemal taki sam jak pomieszczeń na parterze. Z początkiem XVIII wieku Konarzewo przechodzi w ręce Działyńskich. W tamtejszym pałacu Tytus Działyński rozpoczyna gromadzenie księgozbioru, który stał się początkiem sławnej Biblioteki w Kórniku. Tam zresztą trafiły wszystkie księgi zgromadzone przez Działyńskiego w Konarzewie.
Kolejnymi właścicielami pałacu są Dzieduszyscy, którzy odziedziczyli go po Działyńskich, a od 1889 r. Czartoryscy. Konarzew znalazł się w ich władaniu, w następstwie ślubu Jadwigi z Dziaduszyckich z księciem Witolda. Znany przedsiębiorca i społecznik bardzo cenił sobie wielkopolski pałac jednak większość życia spędził w Galicji. Był posłem na Sejm w Wiedniu, a po odzyskaniu niepodległości piastował funkcję senatora RP.
