Był człowiekiem, który starannie strzegł prywatności. Z rzadka zagłębiał się też w rodzinną przeszłość, zresztą w PRL nie bardzo mógł opowiadać o przodkach, a nawet o rodzonym bracie. W muzyce, którą komponował Witold Lutosławski, pozornie trudno doszukać się odniesień do otaczającej go rzeczywistości czy przeszłości Polski.
– Był niesłychanie dystyngowany i uprzejmy, jakby posępne doświadczenia ominęły jego życie – opowiadał mi Esa-Pekka Salonen, światowej sławy dyrygent i znawca twórczości Lutosławskiego. – A przecież w dzieciństwie stracił ojca i stryja, których rozstrzelali bolszewicy. Wypracował jednak własne mechanizmy obronne przed zewnętrznym światem. Jednym z nich była muzyka. Nie należy doszukiwać się w niej związków z jego biografią, ale znając życie Lutosławskiego, lepiej można zrozumieć, dlaczego narracja jego utworów przybiera często tak tragiczne tony. Jest w nich klimat zniszczenia, nieodwracalnej katastrofy.
Rodzinna historia związana jest z Drozdowem, wsią nad Narwią, oddaloną o około 9 kilometrów na wschód od Łomży. Od 1786 roku (jak wynika z zachowanych dokumentów) była ona w posiadaniu Lutosławskich. Pojawili się pod koniec XVIII w., kiedy za sprawą małżeńskich koligacji Franciszek Saryusz-Lutosławski herbu Jelita stał się właścicielem tutejszych włości.
Dziadek Franciszek
Nie wszystkie wydarzenia z zamierzchłej przeszłości można po latach odtworzyć. Bogato udokumentowane jest jednak życie Franciszka Lutosławskiego (1830 – 1891), dziadka Witolda. Był postacią jakby żywcem wyjętą z pozytywistycznej powieści. Wiedzę zdobywał w Instytucie Agronomicznym w podwarszawskim Marymoncie, a także w czasie zagranicznych podróży rolniczych, m.in. do Anglii i Szkocji, które opisał w wydanej drukiem książce. Poczuł się do patriotycznego obowiązku podczas Powstania Styczniowego, choć dokładnie nie wiadomo, na czym jego udział w nim polegał. Należał do stronnictwa białych, dwukrotnie znalazł się w więzieniu: raz w grudniu 1863 roku i ponownie półtora roku później. Po upadku powstania wycofał się jednak z polityki i zajął się unowocześnianiem metod gospodarowania w Drozdowie.
Okazał się znakomitym rolnikiem i gospodarzem, który rodzinny majątek doprowadził do rozkwitu. Powiększył stan posiadanej ziemi do około 2, 5 tys. ha, założył browar, a produkowane w nim ze świetnej wody źródlanej piwo drozdowskie zdobywało nagrody na licznych wystawach w Europie (Wiedeń, Paryż) i Ameryce (Filadelfia). Kiedy browar zaczynał działalność w 1864 roku, wartość rocznej produkcji wyniosła 270 rubli, w 1902 roku wzrosła do 60 tys. rubli, a zatrudnionych było ponad 50 robotników, sam browar został zaś już dawno zelektryfikowany.
Nie był to zresztą jedyny zakład przemysłowy majątku, działały również młyn elektryczny i tartak. Franciszek rozwijał nie tylko przemysł, ale także – a może przede wszystkim – hodowlę. W pobliskiej Łomży sławę zyskała jego mleczarnia. „Za cenę pomierną można tu dostać wszelkiego rodzaju nabiału od znacznych do najmniejszych ilości – pisano w wydanej w XIX w. książce „Dawna i teraźniejsza Łomża". – Porządek w mleczarni wzorowy. Masło sprzedają wyciśnięte w pięknych różnego kształtu i różnej wielkości formach i foremkach. Sprzedają tam także na porcye zsiadłe mleko, włoszczyznę, a w porze jesiennej i zimowej owoce". W 1888 roku zjechała do Drozdowa Sofia Casanova Pérez Eguia, hiszpańska poetka i pisarka, świeżo poślubiona małżonka pierworodnego syna Franciszka – Wincentego Lutosławskiego. Początkowo została przyjęta z rezerwą w tym domu prowadzonym według dość surowych zasad, szybko jednak zdobyła sympatię nowej rodziny i mieszkańców majątku.