中国与奥林匹克运动的联系最早可以追溯到1894年。当时，中国清政府曾经接到了希腊王储和近代奥运会发起人皮埃尔?德?顾拜旦代表国际奥委会发出的邀请书。但由于昏庸的清政府不知"体育"为何物而未作答复。
    1904年许多中国报刊曾报道过第三届奥运会消息。
    1906年中国的一家杂志介绍了奥林匹克历史。
    1907年10月24日著名教育家中国奥委会第一任主席张伯苓先生在天津学界运动会发奖仪式上，以奥林匹克为题发表了著名的演说。他指出，虽然许多欧洲国家获奖机会甚微，但仍然派出选手参加奥运会。他建议中国组队参加奥运会。
    1908年伦敦奥运会后，天津一家报纸再次介绍了奥林匹克运动的历史，还提出要争取这一盛会在中国举行。天津体育界人士用幻灯展示了伦敦奥运会的盛况，举办了奥林匹克专题演讲会。
    1910年10月18日至22日，在"争取早日参加奥运会"和"争取早日在中国举办奥运会"口号的鼓舞下，在南京举办了中国历史上第一次全国运动会--"全国学校区分队第一次体育同盟会"。
    1913年开始举办的远东运动会（最初名为"远东奥林匹克运动会"），是奥林匹克运动在亚洲的先驱，中国是发起者之一。在远东运动会上中国运动员取得了较好的成绩，表现了良好的体育道德。
    1915年国际奥委会致电远东运动会组委会，承认了远东体协，并邀请中国参加下届奥运会和奥委会会议。
    1922年，我国的王正延当选为国际奥委会委员。
    1924年中华全国体育协进会成立后，中国陆续加入了田径、游泳、体操、网球、举重、拳击、足球、篮球等8个国际单项体育联合会。 在第8届奥运会上，我国3名选手参加了表演赛。
    1928年第9届奥运会上，我国派观察员宋如海参加，并进行了考察工作。
    1931年，当时的中华全国体育协进会被国际奥委会承认为"中国奥林匹克委员会"。中国正式参加奥运会的历史由此开始。
    1932年，第10届奥运会在美国洛杉矶举行。我国本不想派选手参加，仅由全国体育协进会总干事沈嗣良前往观礼。而日本帝国主义扶持的伪满，为了骗取世界各国的承认，竟然电告国际奥委会：拟派刘长春、于希渭作为"满州国"选手参加奥运会。举国一片哗然，刘长春也予以拒绝。在强大的舆论压力下，国民党政府决定，刘长春、于希渭作为运动员，宋君复为教练员，沈嗣良为领队，代表中国参加奥运会。在开幕式上，刘长春执旗前导，沈嗣良、宋君复以及中国留学生和美籍华人刘雪松、申国权、托平等6人组成了中国代表团。于希渭因日方阻挠破坏，未能成行。刘长春在100米、200米预赛中位于小组的第五、六名，未能取得决赛权，但他以我国第一位参加奥运会的选手而留名于中国奥运会史。
    1936年，第11届奥运会在德国柏林举行。中国派出了140人组成的代表团，其中运动员69人，参加篮球、足球、游泳、田径、举重、拳击、自行车等7个项目的比赛。另外，还有11人的武术表演队和34人组成的体育考察团。其中篮球比赛胜过法国队，撑竿跳选手符宝卢取得复赛权。中国武术队的多次表演轰动了欧洲。
    1945年抗日战争胜利后，中国第一位国际奥委会委员王正延和体育家袁敦礼、董守义等人提出请求第15届奥运会（1952年）在中国举行，引起了国人的兴奋。
    1948年，第14届奥运会在英国伦敦举行。我国派出了33名男运动员参加了篮球、足球、田径、游泳和自行车等5个项目的比赛，但没有一人进入决赛。奥运会结束后，代表团在当地华侨总会的帮助下，解决了路费，运动员才得以返回祖国。
    1952年，第15届奥运会在芬兰的赫尔辛基举行。中国正式接受邀请较晚，只派出了40人的代表团，可当代表团到达赫尔辛基时，比赛已接近尾声。只有吴传玉参加了百米仰泳比赛，但是将五星红旗升起在赫尔辛基奥林匹克体育场，就是新中国的骄傲。
    1954年在雅典举行的国际奥委会第50届全会上，国际奥委会以23票赞成21票反对通过决议，接受中国奥委会，中华人民共和国在国际奥委会中的合法地位得到承认。但是，与此同时，以当时的国际奥委会主席美国人布伦戴奇为首的少数人的操纵之下，却又将台湾所谓的“中华奥委会”继续保留在国际奥委会承认的成员名单上，继续搞“两个中国”。中国奥委会于1958年8月19日宣布断绝与国际奥委会的关系。
    1956年到1979年间，中国奥委会没有派代表参加奥运会。但是中国台北选手杨传广在1960年罗马奥运会上夺取十项全能比赛的银牌。他是第一位获得奥运会奖牌的中国运动员。1968年墨西哥城奥运会上，台北女选手纪政获80米栏铜牌，她是第一位获得奥运会奖牌的中国女子运动员。