Qi Gongova matka a teta zemřely velmi záhy po sobě. V hlubokém zármutku vyjádřil Qi Gong vděk své manželce za starostlivou péči o rodinu tím, že před ní padl na kolena.

V politickém hnutí proti pravičákům, které odehrálo v padesátých letech minulého století, byl Qi Gong očerněn a označen za "pravičáka", byl pak nucen podstoupit tak zvanou převýchovu a manuálně pracovat na zemědělském statku. A za tzv. kulturní revoluce, která trvala deset let od roku 1966 do roku 1976, se Qi Gong musel znovu podrobit politickému vyšetřování. V těchto těžkých letech paní Zhang Baochen nikdy neztratila důvěru ve svého manžele.

V roce 1975 paní Zhang Baochen těžce onemocněla. Na smrtelné posteli vzala svého manžele za ruku a prozradila mu místo, kam uschovala jeho malby, kaligrafická díla a sepsané rukopisy, které předtím pečlivě zabalila do silného papíru a plastické fólie.

Pan Qi Gong neměl syna ani dceru. Po smrti své manželky vedl vždy osamělý a prostý život. Věnoval Pekingské pedagogické universitě více než dva miliony yuanů, které získal prodejem maleb, kaligrafií a z dalších svých honorářů. Bydlel v malém a prostém bytě. V roce 1995 jistá malířka poznala, v jakých životních podmínkách žije, a se slzami v očích mu řekla: "Pane profesore, vedete příliš skromný život. Potřebujete ženu, aby o vás pečovala." Chtěla u něho zůstat , starat se o něj a doprovázet ho životem. Ale Qi Gong jí jasně sdělil: „Žádná žena nemůže nahradit postavení Baochen v mém srdci". Malířka tomu nevěřila a chtěla svou láskou rozehřát jeho chladné srdce. Každý den chodila do jeho domova, starala se o jeho domácnost, přepisovala jeho rukopisy, vyměňovala si s ním zkušenosti a poznatky o malířství.Po čtyřech měsících se ho zeptala: „Souhlasíte s tím, abych tu zůstala a starala se o vás?" Profesor však zavrtěl hlavou a řekl: „V mém srdci je pouze Baochen a není v něm místa pro žádnou jinou ženu."

V roce 1978, kdy bylo mu 66 let, vytvořil vlastní náhrobní nápis naplněný smyslem pro humor. Stojí v něm: „Byl jsem studentem střední školy, docentem. Měl jsem široké znalosti, které však nebyly hluboké. Získal jsem věhlas, který neodpovídal skutečnosti. Nebyl jsem na vysoké úrovni, ale převýšil jsem úroveň nízkou. Ochrnul jsem poněkud na levou části těla, byl jsem totiž pravičák. Měl jsem kulaté tvářičky, neměl jsem s sobě příliš drzosti. Manželka mi zemřela a neměl jsem potomky. Můj zármutek nad smrtí manželky je zcela čerstvý, nemoci v mém těle jsou staré. Je mi šestašedesát let, což není krátký věk. Chystám se k cestě na hřbitov. Celý život je třeba posuzovat se skromností.

Mé tělo a čest jsou smrtelné.