依据我国刑事诉讼法的规定，书记员需要回避的应该由负责审理案件的人民法院的院长作出决定。审判人员、检察人员、侦查人员的回避，应当分别由院长、检察长、公安机关负责人决定；院长的回避，由本院审判委员会决定；检察长和公安机关负责人的回避，由同级人民检察院检察委员会决定。
【法律依据】
《刑事诉讼法》第三十一条规定，
审判人员、检察人员、侦查人员的回避，应当分别由院长、检察长、公安机关负责人决定；院长的回避，由本院审判委员会决定；检察长和公安机关负责人的回避，由同级人民检察院检察委员会决定。
对侦查人员的回避作出决定前，侦查人员不能停止对案件的侦查。
对驳回申请回避的决定，当事人及其法定代理人可以申请复议一次。
