Koncepcja ochrony pielgrzymów nie była zupełnie nowa. Od końca X wieku na Zachodzie zaczęto sporządzać listy podróżników i pielgrzymów, których według Kościoła nie należało atakować. Ponadto w 1059 roku papież Mikołaj II (1059–1061) stwierdził, że ochrona podróżników, „ludzi i ich mienia jest powinnością papieża". Także oddziały walczących rycerzy chrześcijańskich nie były niczym nowym. Podobne konfraternie działały na Zachodzie już wcześniej. W latach czterdziestych XI wieku biskup Liege, Wazo, odebrał przysięgę od grupy wojowników ślubujących mu swoje wsparcie. Także w klasztorze Grande-Sauve niedaleko Bordeaux poświęcono miecze dziesięciu rycerzy, którzy przysięgali bronić mnichów i majątku Kościoła oraz chronić pielgrzymów odwiedzających opactwo. Można więc sądzić, że z pierwszymi templariuszami było podobnie. Mogli być bractwem, do którego w 1114 roku wstąpił Hugo hrabia Szampanii, za co biskup Iwo z Chartres udzielił mu w liście ostrej reprymendy, gdyż poświęciwszy się służbie w wojsku Chrystusowym (militiae Christi), „ewangelicznym rycerstwie" (evangelicam militiam), hrabia porzucił żonę. Niektórzy widzieli w tym wydarzeniu zalążek templariuszy, ale Iwo nie wymienia nazwy bractwa. Bardziej prawdopodobne, że określenia, których użył w swym liście, dotyczą złożenia przez Hugona ślubów krucjatowych i generalnie entuzjazmu krucjatowego, choć przynajmniej w domyśle mogą odzwierciedlać rosnące uczucia religijne dużej części rycerstwa pragnącej walczyć o zapewnienie ciągłej ochrony miejsc świętych.
Ogólnie panuje przekonanie, że templariusze powstali w reakcji na ataki przeciwko pielgrzymom wędrującym do miejsc świętych. Ich zbrojna ochrona wydawała się uzupełnieniem opieki, jakiej udzielał pątnikom szpitalny zakon joannitów, którzy w jakiejś formie istnieli od 1080 roku, gdy przy klasztorze Matki Boskiej Łacińskiej w Jerozolimie zawiązało się ich bractwo. Opieka medyczna i schronienie udzielane pielgrzymom zapewniły im królewską przychylność, a w 1113 roku zostali oficjalnie uznani przez papieża. W istocie na podstawie tego, co wiadomo o początkach templariuszy, można dojść do wniosku, że oba zakony były blisko ze sobą związane, przy czym rycerze świątyni często występowali jako świadkowie podczas nadań dla szpitala. Skoro na początku templariusze polegali na związku z joannitami, aby przetrwać, to możliwe, że gdy zaczęli zyskiwać własną pozycję, ich militaryzm wpłynął z kolei na rycerzy zakonu szpitala. Frankijscy przywódcy Outremer dobrze zdawali sobie sprawę z konieczności chronienia pielgrzymów w drodze, ale nie mieli dostatecznie dużo ludzi, by temu zadaniu podołać.
Zachowane dokumenty na temat początków templariuszy nie pochodzą z tamtych czasów. Różnią się też zawartością, gdyż zazwyczaj zwracają uwagę na inny aspekt tej historii. Wilhelm z Tyru, jakobicki patriarcha Antiochii Michał Syryjczyk (zm. 1199) czy archidiakon Oksfordu Walter Map – każdy z nich wniósł coś innego do opowieści o początkach templariuszy, podobnie jak napisana w starofrancuskim historia Królestwa Jerozolimskiego przypisywana Ernoulowi, giermkowi Baliana II z Ibelinu (zm. ok. 1119). Nie wprost piszą o niej również Szymon, mnich z Saint-Bertin (w latach 1135–1137), oraz Orderyk Witalis, anglonormański mnich z klasztoru św. Ebrulfa, którego kronika powstawała w latach dwudziestych i trzydziestych XII wieku.
Najczęściej cytowaną relacją na temat początków templariuszy jest zapewne kronika Wilhelma z Tyru, choć niekiedy kwestionuje się jej chronologię. Wilhelm krytykuje templariuszy za nadużywanie przywilejów, których systematycznie zakonowi przybywało, i generalnie podziela negatywny obraz zakonu w tamtym czasie. W swych „Dziejach spraw zamorskich", przy wpisie dotyczącym roku 1118, Wilhelm relacjonuje okoliczności założenia zakonu świątyni. W tym samym roku doszło do dwóch ważnych wydarzeń: koronacji Baldwina II na króla jerozolimskiego i konsekracji nowego patriarchy Jerozolimy Gormonda z Picquigny po śmierci Arnulfa z Chocques. Oto co napisał Wilhelm:
„W tym samym roku zebrało się grono pobożnych i bogobojnych szlachetnych rycerzy, którzy wyznali szczerą wolę życia w nieodmiennym stanie ubóstwa, czystości i posłuszeństwa. Przed patriarchą złożyli śluby służenia Bogu jako kanonicy regularni. Najznaczniejszymi z owych mężów byli Hugo z Payns i Gotfryd z Saint-Omer. Ponieważ nie mieli oni ani kościoła, ani stałej siedziby, król wyznaczył im kwaterę w swym pałacu, po jego północnej stronie, obok Świątyni Pańskiej [nazwa, jaką Frankowie nadali Kopule na Skale, która znajduje się na północ od meczetu Al-Aksa]. Na ściśle określonych warunkach kanonicy Świątyni Pańskiej oddali im swój plac przy pałacu, gdzie nowy zakon mógł wypełniać swe obowiązki religijne.