Samotný festival se odehrává přímo ve středu vesnice na ploše dvou a půl kilometrů dlouhé a přes kilometr široké. Festival je velice známý a láká umělce i z okolních oblastí, zvláště pak z provincie Yunnan nebo Džuangské autonomní oblasti guangxi, které sousedí s provincií Guizhou.

Původ hudebního festivalu Chabai lze hledat ve strhující a krásné legendě o národnosti Bouyei. Ve starých dobách se celé této oblasti říkalo Hubachang. Hu znamená tygr a skutečně jich zde dříve žilo poměrně velké množství. Jednoho dne se dívka jménem baimei střetla s tygrem na své cestě do hor, kde sbírala chrastí. Už to vypadalo, že hezká díveka zemře, když se v posledním okamžiku objevil statečný mladík jménem Chalang, který tygra ubil k smrti a tak dívku zachránil. Později se s půvabnou Baimei oženil.

Bohužel, starosta místní vesnice si na baimei rovněž dělal zálusk, a tak nechal chalanga uvěznit , Baimei unesl a přinutil ji, aby se stala jeho ženou. Dívka to nemohla přenést přes srdce, podpálila chalupu a dobrovolně zahynula v plamenech.

Na památku věrné a krásné Baimei a statečného Chalanga změnili obyvatelé jméno vesnice z Hubachang na Chabaichang. Cha je první znak ze jména Chalanga a bai první znak ze jména Baimei. Kromě toho se stalo zvykem každého 21. dne v měsíci zpívat horské písně, aby se připomněl tento příběh. Jakmile se tato tradice ujala a lidé se začali pravidelně scházet, nebylo daleko od vzniku samotného hudebního festivalu. V r. 1982 byl 21. den 6. měsíce podle lunárního kalendáře oficiálně prohlášen za začátek hudebního festivalu Chabai. Festival kromě jiného vyjadřuje sepjetí a spolupráci mezi jednotlivými etnickými skupinami v provincii Guizhou a okolí.

Vždy, když se blíží doba festivalu, začne mít celá vesnice plné ruce prace. Starší začínají vyrábět tou-fu a spoustu dalších jídel, dívky začnou s výrobou malých vyšívaných sáčků na peníze a drobné předměty, které posléze dávají tomu, koho mají rády jako důraz své lásky a zasnoubení. Mladí mužové si pro své vyvolené připravují rozličné náramky, náhrdelníky a kotníčkové řemínky. Děti dostanou nové oblečení a nové čepice.

Samotné oslavy jsou plné soutěží ve zpěvu, zvláště pak zpěvu horských písní, a dále dobou, kdy se navštěvují příbuzní a schází se rodina. Některé vesnice navštíví v průběhu těchto svátků i přes několik set návštěvníků. Festival bývá velmi příhodnou dobou pro poznání nových přátel. Na uvítanou se hostům tradičně podává hovězí polévka dělaná podle místní recepruty. Součástí oslav je rovněž vzdání pocty Bohu hor, u kterého místní obyvatelé žádají prosperitu a štěstí na další rok.