现代业余拳击运动于1904年在美国圣路易举行的第3届奥运会上成为正式比赛项目。第5届奥运会由于瑞典人认为拳击运动有损人的健康，没有设此项目。第6届、12届、13届奥运会因为第一、二次世界大战而没有举行。至2004年雅典奥运会，拳击比赛共参加了21届奥运会。

　　拳击运动进入现代奥运会时，由于竞赛规则和裁判法不完善，很多是借鉴当时职业拳击比赛的规则。比赛的级别是按照当时职业拳赛的7个级别进行划分的，并且允许在自己级别夺冠的运动员参加重于自己体重的另一级别的比赛。

　　第4届奥运会拳击比赛的级别减为5个，比赛办法同第3届，运动员可以跨级比赛。从1920～1948年，奥运会拳击比赛的级别为8个；1952～1964年，奥运会拳击比赛级别为10个。1968～1976年，奥运会拳击比赛的级别又增加了48公斤级，使拳击比赛级别增加至11个；而且从本届奥运会起不再使用原来的轻量级、中量级等称呼，而是变更为数字。1980～2000年，奥运会拳击比赛级别又增至12个；2004年，国际业余拳击联合会根据新形势的变化，将业余拳击比赛的级别从12个缩减到了11个。

　　由于拳击运动的竞争性较强，从古代奥运会到现代奥运会拳击比赛只设男子比赛项目，没有设女子比赛项目。