Początki firmy, zwanej Big Blue, od obowiązkowego mundurka, który przez lata musieli nosić pracownicy – granatowego garnituru, białej koszuli i ciemnego krawata – sięgają 1896 r. Wtedy to w USA Herman Hollerith założył Tabulating Machine Company, które wykorzystywało perforowane karty z danymi (w tekturowych kartach w odpowiednich miejscach wycinane były dziurki). Hollerith wymyślił i opatentował karty w 1887 r. Pierwszym poważnym projektem, w którym masowo je wykorzystano, był spis powszechny, który Ameryka przeprowadziła w 1890 r.
W 1911 r. Hollerith sprzedał firmę Charlesowi Flintowi. Ten przyłączył ją do swoich spółek Time Recording Company i Scale Corporation. Nowa firma, założona w Endicott w stanie Nowy Jork, przyjęła nazwę Computing Tabulating Recording Corporation (CTR), a datę jej zarejestrowania – 16 czerwca 1911 r. – IBM uznaje za swój początek.
W 1914 r. stery przejął Thomas J. Watson (senior). Pod jego rządami rozwój przyspieszył. Nie przeszkodził w tym wybuch I wojny światowej. Już w listopadzie 1915 r. firma weszła na giełdę nowojorską. W 1917 r. otworzyła pierwszy zagraniczny oddział w Kanadzie, a zaraz potem w Brazylii.
Rok później koncern zatrudnia już 3 tys. pracowników. W 1924 r. decyduje się na zmianę nazwy na International Business Machines (IBM). Nowa ma lepiej oddawać to, czym zajmuje się firma.
Paliwem wzrostu stało się wprowadzenie w 1928 r. nowego standardu kart perforowanych. Można było na nich zakodować aż 80 bajtów informacji. Liczba olbrzymia jak na ówczesne czasy dziś wydaje się śmiesznie mała (dziś pojemność liczy się już raczej w gigabajtach: w informatyce 1 GB to 2 do potęgi 30 bajtów).
