根據(jù)《中華人民共和國增值稅暫行條例》第七十八條規(guī)定：發(fā)票和財務(wù)資料發(fā)生變更或者錯誤，發(fā)票領(lǐng)用人應(yīng)當在發(fā)票上注明變更情況或者錯誤情況，經(jīng)發(fā)票銷售方單位審核后據(jù)實開具紅字發(fā)票。因此，公司在要求對方退回原發(fā)票所有聯(lián)次時，只要讓對方按照法定規(guī)定核實變更或者錯誤情況后開具紅字發(fā)票即可，無需要求回原發(fā)票所有聯(lián)次。同時，《中華人民共和國增值稅暫行條例》規(guī)定，紅字發(fā)票持有人應(yīng)當采取遺失發(fā)票的處理措施，進行注銷登記，保證紅字發(fā)票的安全使用。因此，作為發(fā)票領(lǐng)用人，公司應(yīng)對對方開具的紅字發(fā)票負責，以保證發(fā)票安全使用，避免重復抵扣發(fā)生。