Po kilku tygodniach spędzonych w różnych miejscach odosobnienia (Gdańsk, Spandau, Wesel) trafił do Magdeburga. Część budynków dawnej pruskiej twierdzy służyła jako więzienie dla oficerów. Trzymano tam również ważniejszych przestępców politycznych. Więzienie znajdowało się w centrum miasta na wyspie na Łabie.
Piłsudskiego trzymano w ścisłej izolacji. Mieszkał w drewnianym pawilonie ze sporym ogródkiem, w którym rosło kilka drzew owocowych i krzaków. Warunki bytowe przymusowego odosobnienia okazały się znośne. Władze więzienne traktowały go z szacunkiem. Jednak przyszły marszałek pobyt w Magdeburgu i bezczynność znosił dość ciężko. Także z powodów osobistych. W momencie aresztowania jego partnerka życiowa Aleksandra Szczerbińska była w ciąży. W lutym 1918 roku przyszła na świat córka Wanda. Telegram z informacją o tym radosnym wydarzeniu dostarczono świeżo upieczonemu – choć już niemłodemu – ojcu kilka tygodni później. Odrzucono jednak jego prośbę o zwolnienie na oficerskie słowo honoru na kilka dni.
Nadmiar wolnego czasu Piłsudski przeznaczał na spisywaniu wydanych później pod tytułem „Moje pierwsze boje” wspomnień z walk legionowych oraz grze w szachy z samym sobą. Ku jego radości w sierpniu 1918 roku dokwaterowano mu Kazimierza Sosnkowskiego. Ich plan dnia wyglądał z grubsza następująco. Rano, przy śniadaniu, studiowali oficjalne meldunki o sytuacji na frontach. Później spacerowali po ogródku lub – za zgodą władz więziennych – po mieście, względnie wędrowali wzdłuż Łaby. Po obiedzie Piłsudski pisał wspomnienia lub grał z Sosnkowskim w szachy.
Na początku listopada 1918 roku rząd niemiecki postanowił zwolnić więźniów. Wiadomość przekazał im specjalny emisariusz rządu niemieckiego hrabia Harry Kessler. Jak wspominał tę chwilę Sosnkowski, Kessler „z widocznym wzruszeniem, pomijając w pośpiechu wszelkie towarzyskie formalności, wypalił prosto z mostu z lekka przerywanym głosem: »Panowie są wolni… Mam rozkaz kanclerza Rzeszy towarzyszyć panom do Berlina… Proszę się spieszyć, nie mamy chwili do stracenia… Magdeburg zrewoltowany. Samochód czeka na panów, proszę zabierać tylko najniezbędniejsze rzeczy… Jeszcze raz powtarzam: Nie ma minuty do stracenia – inaczej za nic nie ręczę«”. Czas rzeczywiście naglił, bo nad miastem zaczęły powiewać czerwone sztandary, a władzę przejmowała rada delegatów żołnierskich. Piłsudskiego i Sosnkowskiego bezzwłocznie przewieziono samochodem do Berlina, skąd specjalnym pociągiem wyprawiono ich do Warszawy.
Marszałek w rozmowie z szefem niemieckiej dyplomacji Gustawem Stresemannem, którą odbył w grudniu 1927 roku podczas pobytu w Genewie, ciepło wspominał miesiące spędzone w mieście nad Łabą.
