根據《工傷保險條例》規定：單位工傷保險參保人員的平均數不足五人時，單位應按工傷保險金額的5‰繳納工傷保險殘疾人就業保障金。由此可見，單位參保人數達到5人時才需要繳納殘保金。 拓展知識：殘保金是指單位按工傷保險金額的固定比例繳納的保險金，用于支持殘疾人就業、自主創業，補償殘疾人的就業損失，以改善他們的生活條件。