Zespół założyli 9 lat temu w podwarszawskim Ostrówku Radek Łukasiewicz i Janek Piętka, którzy poznali się jeszcze w czasach podstawówki. Grupę można zaliczyć do nurtu alternatywnego rocka, choć Pustki często przełamują gatunkowe ramy, grając kawałki elektroniczne, muzykę eksperymentalną, instrumentalną, spokojne, nastrojowe melodie, a czasem nawet poezję śpiewaną – jak utwory nagrane do wierszy Wyspiańskiego.
Już debiutancką płytą "Studio Pustki" artyści pokazali, że zamierzają bezkompromisowo tworzyć oryginalne brzmienia, dotąd rzadko spotykane nad Wisłą. Przez kolejne lata wydali jeszcze 2 płyty: "8 Ohm" i "Do Mi No". Ta ostatnia w szczególności umocniła ich pozycję na polskiej scenie.
Teledysk do utworu "Słabość chwilowa" z płyty "Do Mi No"
Po wydaniu 3 krążków zespół opuścił jednak basista Filip Zawada, a później także jeden z założycieli – Janek Piętka. Była to wielka strata dla Pustek, ale grupa nie rozpadła się. Do zespołu przyszedł nowy basista - Szymon Tarkowski, a główną wokalistką została Barbara Wrońska.