1894年6月，"国际体育代表大会"决定于1896年在希腊雅典举办第一届现代奥林匹克运动会，从此奠定了现代奥运会的基础。

　　自1840年世界第一枚邮票在英国诞生以来，集邮逐渐在各国开展起来，希腊也有一大批集邮者和集邮协会，协会负责人集邮家迪米特厄斯和约翰·萨考拉夫斯建议希腊政府发行一套纪念邮票，把出售邮票所得部分资金用于奥运会，希腊政府接受了这一建议。1896年4月5日，希腊奥运会开幕之日，希腊邮政部门发行了一套12枚邮票，这是世界上第一套奥运会邮票，也是世界第一套体育邮票。

　　希腊发行第一套奥运会邮票开创了在奥运会发行邮票的先例。1920年，比利时发行第7届奥运会邮票一套3枚，出售时加附捐，用于慰劳在第一次世界大战中受伤的战士。1924年法国为第8届奥运会举办发行一套4枚邮票，同时发行2套奥运会邮资明信片，即为世界上首次发行的邮资明信片。1928年第9届奥运会在荷兰阿姆斯特丹举行，荷兰发行8枚一套的奥运会邮票。1932年美国为第10届奥运会发行两枚一套奥运会邮票。

　　1936年第11届奥运会在德国柏林举办，德国邮政局发行一套8枚带"+"标志的附捐邮票，这是第一次发行在邮票上直接用"+"表示的奥运会附捐邮票。同时还发行与邮票同图、同邮资、同附捐值的2枚小全张（各含4枚票）。

　　1948年英国为第14届奥运会发行了4枚一套奥运会邮票。1952年芬兰为在赫尔辛基举办的第15届奥运会发行了4枚一套的附捐邮票，为奥运会集资。澳大利亚从1954至1956年为第16届奥运会发行6枚奥运会邮票。1959-1960年意大利为第17届奥运会发行两套共14枚邮票。日本为第18届奥运会在东京举办前后发行6组共20枚附捐邮票，并同时发行同图案、同面值的小全张6枚。1964年9月，又发行邮票一套5枚，并发行同图案小全张1枚。

　　第19届奥运会在墨西哥举行，这是第一次在第三世界国家举办奥运会。墨西哥发行邮票4套10枚，小型张1枚和小全张15枚（内含邮票38枚）。第20届奥运会在联帮德国慕尼黑举行。其邮政部门发行邮票3套12枚、小全张1枚（内含邮票4枚）和小型张1枚。第21届奥运会在加拿大举办，加拿大邮政部门从1974-1976年共发行邮票12套总计35枚。前苏联为在莫斯科举办的第22届奥运会发行邮票14组共73枚，小型张6枚。为历届奥运会邮票数量之最。美国为在洛杉矶举办第23届奥运会，发行邮票5组，每组4枚共20枚。到第24届奥运会，韩国又掀起邮票发行高潮。从1985-1988年，共发行邮票21组计28枚，同时发行附捐小型张24枚。西班牙为第25届奥运会发行邮票10组，共29枚。美国为第26届奥运会发行两组邮票分别为20枚和1枚，共21枚，均以小全张形式出现。
    此外，从1932年第三届冬季奥运会起，各主办国均发行纪念本届冬奥会的邮票。发行套数和数量也逐渐增多。至1998年第18届冬奥会，各主办国为夏、冬季奥运会共发行邮票400余枚，小型张64枚。至于非奥运主办国发行的奥运会邮票更是不计其数。初步统计，已达万余枚，已从早期的一、二个国家发行邮票发展到现在的上百个国家为每届奥运会发行邮票。

　　至2000年，夏季奥运会共举办了24届，（有3届因世界大战而未办），有19个主办国发行了奥运会邮票，其中有8个主办国在邮票上加附捐为奥运会集资，第一届奥运会雅典奥运会邮票虽未在邮票上注明，但也将出售邮票部分资金资助奥运。已举办的18届冬奥会，有16个主办国发行了邮票，其中有7个主办国在其发行的冬季奥运会邮票上加附捐为冬奥会集资。