新中国成立之后，尽管中国派出代表团首次参加了1952年赫尔辛基奥运会，但是在奥运会上还是出现了“一中一台”两个中国的问题，为此，中国奥委会向国际奥委会发出抗议，要求解决这一问题。
1955年6月，当时的中国奥委会副主席和秘书长荣高棠在国际奥运会执委会与各国奥委会联席会议上，正式向国际奥委会提出，允许台湾在国际奥委会中拥有合法地位是在搞“两个中国”，这是违法的，但是布伦戴奇却以“这是政治问题”为由，没有对中国的抗议进行任何表态。
    与此同时，中国奥委会开始了第16届奥运会的备战工作，并向台湾发函，表示愿意提供一切帮助，希望台湾选派优秀的运动员来北京集训，以组建统一的代表团参加比赛。
    而国际奥委会依然在文件中不断使用“中国北京”的字样，更有甚者，布伦戴奇在给中国国际奥委会委员董守义的信中，竟然说台湾“不是中国的领土”。在国际奥委会的支持下，包括国际足联、国际田联、国际举联、国际泳联、国际篮联、国际射联、国际自联和国际摔联在内的国际单项体育联合会也承认了台湾所谓的合法地位。
    为了维护中国领土的统一和完整，中国奥委会于1958年8月19日宣布断绝与国际奥委会的关系，并从1958年6月至8月间，先后退出了15个国际单项体育组织。当时的中国国际奥委会委员董守义毅然辞去了国际奥委会委员的职务。
    在以后的20余年里，中国都无法参加许多国际体育比赛。为了打破这层坚冰，中国团结第三世界的体育力量，开始了漫长的破冰之路。第一个突破是在1962年夏天。印度尼西亚举办第四届亚运会，拒绝了台湾以中华奥委会的名义参加。为此，一些国际单项体育联合会取消了印度尼西亚的会员资格，禁止其参加奥运会。面对这样的现实，印度尼西亚总统苏加诺提议，举办新兴力量运动（GANEFO）。第一届新兴力量运动会于1962年9月在雅加达举行，来自亚洲、非洲、拉丁美洲和欧洲的48个国家和地区的2404名运动员参加比赛，中国派出了一支新中国历史上最大的体育代表团参加比赛。在本次运动会上，创造了几项世界纪录。之后，在1966年11月，首届亚洲新兴力量运动会举行，此外，中国也承办了几个单项的新兴力量运动会。
    第二个突破口是被广为流传“乒乓外交”。由于文革，中国没有参加第29届和第30届世界乒乓球锦标赛，中国在亚洲乒乓球联合会的位置被台湾占有。1972年在中国、日本和朝鲜乒乓球协会的支持下，一个名叫“亚洲乒乓球联盟”的机构成立，在其中中华中华人民共和国拥有合法的席位。这是在“两个中国”的斗争中，中国赢得的又一大胜利。
    此时，新中国与美国的关系也在逐步地改善。1970年10月25日，美国总统尼克松通过巴基斯坦总统齐亚.哈克向中国领导人表达愿意与中国方面私下接触的愿望，并在不久后的一次外交宴会上，第一次称中国为“中华人民共和国”。到了1971年，中国已经在考虑如何与美国改善关系。那么，以什么作为最好的媒介呢？
    正好第31届世界乒乓球锦标赛将于1971年3月28日—4月7日 在名古屋举行，于是中国有关领导人想到以此为契机。3月11日，由周恩来总理亲自主持，有外交部和国家体育运动委员会代表出席的特别会议举行，会议上指出，尽管中国与日本还没有建交，但是我们可以派出代表团参加比赛。在名古屋,美国乒乓球运动员与中国运动员互相交换纪念品，而双方官员之间更是进行了充分的沟通。美国运动员表示，非常希望能够访问中国。这一些情况都直接反馈给了毛泽东主席。当本届世界锦标赛结束时，毛泽东主席决定立即邀请美国乒乓球队来北京访问。
    4月17日，周恩来总理亲自在人民大会堂接见了来自美国、加拿大、哥伦比亚和尼日利亚的乒乓球运动员。就这样，乒乓球和体育为中美最后建交拉开了序幕，也为中国最后成功重返奥运会大家庭打下了基础。
    作为“乒乓外交”的硕果，1972年中国恢复了在联合国中的合法席位。同年，国际奥委会迎来了一位新主席、爱尔兰人基拉宁。国际奥委会意识到，应该尽快恢复中华人民共和国最新国际奥委会的合法地位，就必须解决台湾问题。基拉宁和国际奥委会副主席萨马兰奇在1977年9月和1978年4月两次访问中国，对中国政府加深了了解。1979年，中国奥委会向国际奥委会正式提出关于解决中国合法席位的的建议。这一建议得到了包括国际奥委会主席基拉宁在内的大多数人的赞同。同年11月，国际奥委会以通讯表决方式让国际奥委会全体委员投票，结果以62票赞成，17票反对，2票弃权通过了国际奥委会执委会于10月25日在日本名古屋做出的有关恢复中华人民共和国在国际奥委会合法席位的决议。这一著名的名古屋决议指出：中国奥委会在参加奥运会时使用中华人民共和国的国旗和国歌，同时允许台湾作为我国的一个地方性组织在国际体育组织中占有席位，以“中国台北奥林匹克委员会”出现。
    国际奥委会的这一决定，最终扫清了中国重返奥林匹克大家庭的障碍。从此，中国奥委会与国际奥委会建立了良好的、密切的合作关系。
    中国在1979年重返奥运大家庭之后，就开始积极备战奥运会。
    1980年2月，在国际奥委会中恢复席位的中国体育代表团首次出现在奥运会赛场上——参加了第13届冬季奥运会。
    1984年，第23届奥运会在美国洛杉矶举行。中国有史以来第一次派出大型代表团参加这项体坛盛事。开赛第一天，射击选手许海峰在男子自选手枪慢射比赛中勇夺得冠军，从而实现了中国在奥运会历史上零的突破。而在2002年盐湖城冬奥会上，中国女选手杨扬又为中国队实现了在冬季奥运会上金牌零的突破。
    中国运动员在奥运赛场上的出色发挥，证明了我国竞技体育的实力和水平。从1979年恢复席位以来到2003年，中国体育健儿已经参加了5届夏季奥运会，获得了80枚金牌、79枚银牌和64枚铜牌。中国还参加了7届冬季奥运会，一共赢得了2枚金牌，12枚银牌和8枚铜牌。现在，中国体育健儿的目光紧紧盯着将于2004年8月在希腊雅典举办的第28届奥运会，希望中国的五星红旗可以更多次地飘扬在雅典的体育场馆上空。
    在新中国体育健儿扬威奥运会赛场的同时，有三名中国人先后当选了国际奥委会委员。1981年中国的体育领导人何振梁当选为国际奥委会委员，他还于1989-1993年担任国际奥委会副主席，并多次担任执委。1996年当时的国际羽毛球联合会主席吕圣荣也以国际单项体育联合会主席的身份当选为中国第一位国际奥委会女委员。2000年国家体育总局副局长于再清以国家奥委会主席的身份当选为国际奥委会委员，成为中国活跃在国际奥委会舞台上的又一中坚力量。
    中国重返奥运大家庭，参加奥运会和将举办2008年奥运会，标志着新中国体育的又一次腾飞，同时也为奥林匹克运动注入了新的活力。