Była drugą żoną Józefa Piłsudskiego. W oddziale bojowym PPS zajmowała się transportem i przechowywaniem broni, pistolety i dynamit chowała pod spódnicą. Przyszłego naczelnika państwa poznała w konspiracyjnym magazynie z bronią.
Urodziła się 12 grudnia 1882 r. w Suwałkach. Jej ojciec Piotr Szczerbiński pochodził z suwalskich mieszczan, a matka Julia ze zubożałej szlachty. Wczesna śmierć rodziców spowodowała, że wychowaniem dziesięcioletniej Oli zajęły się babka Karolina z Truskolaskich oraz ciotka Wiktoria Maria Zahorska.
W 1901 r. Ola ukończyła gimnazjum w Suwałkach. Babka powtarzała jej, że „zawsze trzeba być patriotką", a przed śmiercią zabroniła rodzinie stawać wnuczce na drodze, „cokolwiek ona postanowi". A ta postawiła na niezależność. Pojechała do Warszawy, by uczyć się w szkole handlowej Józefy Siemiradzkiej. Brała także udział w wykładach Uniwersytetu Latającego i zaczęła pracę. Była urzędniczką w fabryce wyrobów skórzanych na warszawskiej Woli, ale po pracy jeździła na Pragę, by uczyć pisać i czytać kobiety. Bliski jej był program Polskiej Partii Socjalistycznej, w 1904 r. wstąpiła więc w jej szeregi.
Brała udział w wielu demonstracjach i akcjach bojowych. W Organizacji Bojowej PPS zajmowała się transportem i nadzorowała składy broni. Ryzykując aresztowanie, przewoziła broń, pieniądze i materiały wybuchowe – także chowany podobno pod gorsetem dynamit, choć jego zapach wywoływał u niej mdłości. Do nóg przywiązywała mauzery, rewolwery zaszywała w pasie pod ubraniem. Do ciała przyklejała banknoty, w walizkach przenosiła karabiny.
Szczerbińska i Piłsudski poznali się w 1906 r., kiedy on przyjechał z wizytą do składu broni, za który ona odpowiadała. W 1907 r. została aresztowana. Zwolniona z braku dowodów, udała się do Kijowa. Tam Piłsudski wyznał jej miłość. Zakochali się, chociaż Piłsudski miał żonę Marię. Po latach Marszałek określał te relacje „tragicznym trójkątem".