在不同的訴訟階段，對不同的辦案人員，決定其是否回避的人或者單位也各不相同。根據法律的規定，在案件的偵查階段，當事人及其法定代理人申請偵查人員回避或者偵查人員自行提出回避的，由公安機關負責人決定；當事人及其法定代理人申請公安機關負責人回避或者公安機關負責人自行提出回避的，由同級人民檢察院檢察委員會討論，按照多數人的意見決定。在案件的審查起訴階段，當事人及其法定代理人申請檢察人員回避或者檢察人員自行提出回避的，由人民檢察院檢察長決定；當事人及其法定代理人申請人民檢察院檢察長回避或者人民檢察院檢察長自行提出回避的，由人民檢察院檢察委員會討論，按照多數人的意見決定。在案件的審判階段，當事人及其法定代理人申請審判人員回避或者審判人員自行提出回避的，由人民法院院長決定；當事人及其法定代理人申請人民法院院長回避或者人民法院院長自行提出回避的，由人民法院審判委員會討論，按照多數人的意見決定。對公安機關負責人是否回避，之所以要由同級人民檢察院檢察委員會決定，這主要是因為公安機關屬于行政機關，實行首長負責制，公安機關的各項工作都由其負責人決定和承擔責任，是否回避如果由其本人決定，那么這一程序就成了形式。此外，實踐中需要特別注意，書記員、翻譯人員和鑒定人的回避，與審判人員的回避一樣，應當由人民法院院長決定。刑事訴訟法修改后，對一些刑事案件的審理，曾經發生過一些地方的人民法院審判長或者合議庭直接就作出書記員、翻譯人員和鑒定人員的回避決定的情況。出現這種偏差的主要原因是，一些審判人員認為書記員、翻譯人員和鑒定人員不是合議庭的組成人員，他們的回避不是什么重要的原則問題，規定由人民法院院長來決定，程序過于繁瑣，會影響法庭審理正常、及時地進行。這種做法是不符合法律規定的。書記員、翻譯人員和鑒定人員的回避也直接關系到案件的審理結果，也可能影響案件的公正審理。因此，書記員、翻譯人員、鑒定人員的回避，直接關系到案件能否公正辦理，意義重大，必須嚴格依照法律規定進行。對于書記員、翻譯人員和鑒定人員的回避，不論是決定回避還是不回避，都只能由人民法院院長決定，而不能由審判長或者合議庭直接決定。

從當事人及其法定代理人提出回避申請或者辦案人員自行提出回避，到作出該辦案人員是否應當回避的決定，中間要經過一段時間。在這期間，除偵查人員外，其他辦案人員在當事人及其法定代理人提出回避申請或者自行提出回避后應當立即停止繼續辦理案件，等待決定作出后再作處理。但偵查人員在回避作出決定前，不能停止對案件的偵查。也就是說，即使當事人及其法定代理人認為某偵查人員與案件有利害關系而提出回避申請，在作出該偵查人員回避的決定前，該偵查人員還要繼續辦理案件，不能停止對案件的偵查活動。之所以這樣，主要是為了保證偵查活動的順利進行，防止犯罪嫌疑人逃跑和證據滅失，這是符合偵查活動特點和辦理刑事案件需要的。

當事人及其法定代理人提出回避申請后，司法機關應當根據刑事訴訟法關于回避條件的規定和程序作出批準或者駁回的決定。如果司法機關決定駁回當事人及其法定代理人的回避申請，當事人及其法定代理人不服的，可以向作出決定的機關申請復議一次。申請復議時，申請人可以重申過去提出的理由，也可以增加新的理由。