Първата група изгнаници се завръща от Вавилон през 536 г. пр.н.е. и започва да възстановява храма. Очевидно пророк Агей е бил част от тази група. След като полагат основите, изгнаниците се оттеглят, когато враговете им ги заплашват. Възстановяването на храма беше важна задача за еврейския народ. Храмът представлява тяхната връзка с Бог. Това беше централната точка на тяхното поклонение и общение с Бог, който ги призова да бъдат Негов избран народ. Но други неща бяха попречили на завършването на тази задача, подобно на други добри неща, които пречат да вършим Божията воля днес.