會計人員需要遵守回避制度的原因主要有以下幾點：
1. 保持客觀性：會計人員在履行職責時需要保持客觀中立，不受任何利益干擾，遵守回避制度可以幫助他們避免利益沖突，保持客觀性。
2. 維護職業道德：作為會計人員，其職業道德要求他們誠實、公正、保密，遵守回避制度是維護職業道德的重要體現。
3. 避免違法風險：會計人員在處理會計事務時需要遵守相關法律法規，遵守回避制度可以避免違法風險，降低法律風險。
4. 保護企業利益：遵守回避制度可以防止會計人員因私利而損害企業利益，保護企業利益。

總之，遵守回避制度是會計人員履行職責的基本要求，也是維護職業道德、保護企業利益、避免違法風險的必要措施。