Уничтожив могущество Афин, спартанцы получили гегемонию над всей Грецией. Везде спартанцы свергали демократический строй и приводили к власти олигархов, которые жестоко расправлялись с народом.
Греческие государства очень тяготились гегемонией Спарты и ждали возможности сбросить с себя её иго.
Воспользовавшись затруднительным положением Спарты, занятой в начале IV в. до н. э. войной с персами, афиняне сделали попытку освободиться от её гегемонии. С этой целью они провели ряд мер. Так как старое войско из ополчения граждан распадалось, афиняне составили новую, большую армию из наёмников. Кроме того, они восстановили афинские укрепления и построили новый флот.
Но афинянам не удалось освободиться от спартанского владычества (гегемонии). Спарта договорилась в это время с персидским царём Артаксе́рксом и заключила с ним мир (387 г. до н. э.). По этому миру запрещалось создавать какие-либо новые союзы в Греции. Это расстроило планы Афин, которые хотели образовать союз против Спарты для борьбы с ней.
Вторую попытку освободиться от господства Спарты сделали демократы в Фивах, где спартанцы также установили олигархическое правление. Изгнанные фиванские демократы нашли приют в Афинах. В 379 г. до н. э. небольшой отряд их во главе с вождём Пелопи́дом, переодетым в крестьянское платье, проник в Фивы. Там этот отряд соединился со своими сторонниками и перебил олигархов. Демократия поддержала Пелопида, и спартанский гарнизон был вынужден покинуть город. Фивы стали играть большую роль в Греции. При поддержке Фив многие греческие города мечтали освободиться от своей зависимости от Спарты. Это сблизило Фивы с Афинами, которые ждали случая выступить против Спарты. Но дело не ограничилось союзом между этими государствами против Спарты.
Афиняне сделали попытку восстановить прежнее могущество. В 378 г. до н. э. они привлекли на свою сторону многих из своих бывших союзников и восстановили Афинский союз. Это был Второй афинский союз. В результате объединения сил Спарте наносится удар за ударом. В особенности выдвинулся в это время талантливый вождь Эпамино́нд. Он стоял во главе фиванской армии и наносил спартанцам одно поражение за другим. Очистив от спартанцев всю Беотию, Эпаминонд двинулся на Пелопоннес. Он подошёл даже к самой Спарте. В истории Спарты это был первый случай, когда враг стоял у ворот города.
Взять город не удалось, ибо силы фиванского войска были надломлены. Видя возвышение Фив, афиняне испугались и изменили им. Они встали на сторону Спарты. К этому времени Афинский союз стал распадаться. Вместо совместной борьбы против Спарты союзники перессорились между собой.
В результате долгой борьбы и Фивы, и Афины, и Спарта оказались настолько истощёнными, что неспособны были более к руководству греческими городами.