En 1901 el naciente Comité Olímpico Internacional (COI) determinó que además de los Juegos, que habrían de celebrarse cada cuatro años en diferentes ciudades, habría otros juegos cuatrienales que siempre se celebrarían en Atenas. Ambas modalidades no debían coincidir en el calendario y entre unos y otros habría siempre un lapso de dos años.
La primera edición se debía llevar a cabo en 1902; pero como la fecha estaba muy próxima, se programó para 1906. Pierre de Coubertin no estaba de acuerdo con la celebración de estos juegos intermedio, pero el COI prestó todo su apoyo a las autoridades griegas. El encuentro resulto mucho más exitoso que los Juegos de 1900, 1904 y 1908. Su organización fue mejor y su duración se concentró en pocos días, lo que permitió conseguir un mejor control en general.
La segunda edición estaba planeada para 1910, pero no fue posible llevarla a cabo por los problemas bélicos en la región de los Balcanes. Por otra parte, los organizadores notaron que un intervalo de dos años entre una y otra celebración era demasiado corto. La posibilidad de celebrarlos en 1914 tuvo muy poco apoyo en una Europa llena de tensiones, apunto de vivir la Primer Guerra Mundial. Cuando esta concluyo, la idea de los juegos intermedios quedó del todo descartada.
En la actualidad el COI no reconoce oficialmente la edición de competencias de Atenas 1906, ni sus récords o medallas. Sin embargo los historiadores del olimpismo señalan que la buena organización de ellos sentó bases importantes para las ediciones regulares y permitió que los Juegos se consolidaran en las décadas posteriores.