申请回避的时间应当在申请提出的三日内，以口头或者书面形式作出决定。申请人对决定不服的，可以在接到决定时申请复议一次。复议期间，被申请回避的人员，不停止参与本案的工作。人民法院对复议申请，应当在三日内作出复议决定，并通知复议申请人。

根据《民事诉讼法》第四十六条的规定：当事人提出回避申请，应当说明理由，在案件开始审理时提出;回避事由在案件开始审理后知道的，也可以在法庭辩论终结前提出。