Podle známé legendy položil základ kořenům tohoto bojového umění indický princ Bódhidharma. Při svém pobytu v Shao-linu zjistil, že zdejší mniši jsou slabí a nezdraví. Proto je Bódhidharma začal učit sérii zdravotních cvičení, která vycházela z dýchacích technik jógy. Unavený vzhled a fyzická slabost mnichů zmizely a staly se minulostí. Tento speciální systém dýchání a cvičení se brzy proslavil jako "18 rukou Lohan". Toto cvičení vytvořilo základ formálního systému chrámového boxu, z něhož se později vyvinul komplexní bojový systém.

Klášter začal vzkvétat a vznikaly zde různé styly, které se vyznačovaly osobitými znaky. Začali být přijímáni žáci. Ti však nejdříve museli projít zkouškou. Tyto zkoušky byly založeny na věrnosti, čestnosti, vytrvalosti, obětavosti a psychických předpokladech žáka. Když se stal žák mnichem, vyholili mu hlavu a lebku mu devětkrát popálili zapáleným kadidlem. Během řady let strávených v klášteře Shao-lin se mniši neučili jen Kung-fu, ale i léčitelství, včetně bylinkářství a akupunktury. Během dne se vzdělávali i ve filozofii a studovali buddhismus.

Bojového mistrovství mnichů využívali ve válkách i císaři. Například v roce 968 n. l. povolal císař Tchaj-cung z dynastie Tchang mnichy ze Shao-linu, aby mu pomohli ve válce proti generálovi Wang Š´-čchungovi. Císařská armáda s pomocí mnichů ze Shao-linu zvítězila, a jako projev uznání za jejich velký čin daroval císař mnichům půdu a klášteru udělil titul "První klášter pod nebesy".

Následujících 1000 let klášter Shao-lin prosperoval a čím dál víc Číňanů se obracelo k buddhismu. V roce 1647, za vlády dynastie Čching, se odehrála událost, jejíž následky jsou patrné ještě v dnešní době. Historie se opakovala. Císař období Kchang znovu požádal mnichy z kláštera, aby mu pomohli v boji proti hordám útočícím na východní hranice Číny. A mniši císaři opět pomohli k porážce nájezdníků. Avšak dvořané přesvědčili císaře, aby oddíl mnichů rozpustil, protože by vzhledem k jejich úžasným bojovým schopnostem mohli být hrozbou pro císařský trůn. Kvůli zradě jednoho z mnichů, který ukázal císařským jednotkám tajnou chodbu do kláštera, byl Shao-lin vypálen a srovnán se zemí. Zachránilo se pouze 128 mnichů. Ti byli neustále pronásledováni, a o dva roky později jich už žilo pouze pět. Těm se podařilo uprchnout, překročit Žlutou řeku a dostat se do bezpečí. Tito zachránění, známí též jako "Pět předků", se jmenovali Chung, Mo, Liou, Li a Chai. Těmto bojovníkům se připisuje založení první tajné společnosti - triády.

Během kulturní revoluce byl celý klášter zrekonstruován a v současnosti je chráněnou historickou památkou. Dnes v klášteře žije pouze pár mnichů, ale zato je kolem něho roztroušeno na desítky škol, kde se studenti podrobují bojovému výcviku.