Dokładnie o godz. 3 pchor. Franciszek Juszczyk, dowódca 1. kompanii grupy operacyjnej „Sumowo” Polskiej Organizacji Bojowej, nakazuje rozpocząć atak. Uzbrojony oddział karnie rusza w stronę majaczących w ciemności wież bazyliki Nawiedzenia NMP, które od końca XVIII w. górują nad Sejnami. Jest środek nocy i garnizon litewski stacjonujący w miasteczku powinien być całkowicie zaskoczony atakiem. Jednak Litwini, od dawna spodziewający się wybuchu polskiego powstania, są dosyć czujni. Już na rogatkach miasta peowiacy zostają ostrzelani przez liczne patrole przeciwnika. Zacięta wymiana ognia trwa ponad pół godziny i po obu stronach są pierwsi ranni. Polacy krok po kroku posuwają się do przodu, ale obrony litewskiej nie są w stanie przełamać.
Dwie pozostałe kompanie grupy operacyjnej „Sumowo” (drugą dowodzi pchor. Janusz Ostrowski, a trzecią pchor. Adam Alexandrowicz) podchodzą tymczasem do Sejn z innych kierunków. Całość akcji koordynuje ppor. Wacław Zawadzki. W końcu 23 sierpnia 1919 r. o godz. 5.30 rozpoczyna się koncentryczny szturm sił powstańczych od strony zachodniej, południowej i wschodniej. Litwini bronią się pół godziny, w końcu jednak wycofują się w kierunku Kalwarii i Łoździej. Polacy biorą do niewoli aż 100 jeńców. Zdobywają także tak potrzebną broń, w tym dwa karabiny maszynowe. Sejny zamieszkane są w zdecydowanej większości przez Polaków, więc akcja POW budzi wielki entuzjazm. Tadeusz Katelbach, jeden z uczestników tych wydarzeń, będzie po latach wspominał: „Entuzjazm mieszkańców był wprost nieopisany. Ze wszystkich domów przynoszono nam jedzenie. Przed komendą powstańczą na rynku zbierały się wciąż grupki ludzi, pragnące przyjrzeć się wybawcom – powstańcom”.
Pierwsze strzały sejneńskiego powstania padają jednak jeszcze wcześniej w pobliskim Krasnopolu. Samodzielna kompania POW pchor. Piotra Łankiewicza rozpoczyna akcję już o godz. 1 w nocy i po rozbrojeniu litewskiego garnizonu atakuje posterunki nieprzyjaciela rozmieszczone wzdłuż granicy powiatu sejneńskiego i Czarnej Hańczy. W czasie tego rajdu kompania „Krasnopol” zajmuje Ryżówkę, Tartak, klasztor w Wigrach, Wysoki Most, Mikołajewo, Maćkową Rudę, Pogorzelec, Białogórę i w końcu tryumfalnie wkracza do zdobytych wcześniej Sejn. Trzecia grupa operacyjna Tomasza Zana opanowuje Łoździeje i następnie dzieli się na dwie grupy. Zastępca dowódcy grupy Wojczulanis pozostaje w Łoździejach, a zasadnicza część oddziału rusza w kierunku Sejn.
W miasteczku ppor. Zawadzki uwija się jak w ukropie. Organizuje kwatery dla żołnierzy, obsadza posterunki wokół miasta, wysyła patrole, przyjmuje delegacje mieszkańców sąsiednich miejscowości. Poszczególne grupy operacyjne dysponują telefonami polowymi, więc dowódca nieźle orientuje się także w sytuacji ogólnej. Szybko dowiaduje się, że grupa bojowa „Wigrańce” pchor. Rosińskiego ma trudności z przełamaniem litewskiej obrony w miejscowości Giby. Zawadzki kieruje tam odział Zana. Ostatecznie Polacy opanowują nie tylko Giby, ale także Posejnele i Berżniki. Biorą łącznie 100 jeńców i zdobywają dużą ilość sprzętu wojskowego. Sukcesem kończy się także akcja piątego oddziału wydzielonego, czyli kompanii dowodzonej przez por. Adolfa Bóbkę, który po zaciętych walkach zdobywa miasteczko Kopciowo, biorąc do niewoli 40 żołnierzy litewskich.
W południe Litwini przeprowadzają pierwszy skuteczny kontratak, wypierając peowiaków z Łoździej. Na pomoc polskim plutonom rusza przybyła z Augustowa grupa kawalerii por. Adama Lipskiego, ale jest już za późno. Miejscowość wpada w ręce Litwinów. Wieczorem większość sił polskich koncentruje się w Sejnach, a w terenie pozostają nieliczne placówki.