根據我國稅收法律法規的相關規定，納稅人確實可以依法申請撤銷已經設立的稅務保證。但是，這一過程并非隨意為之，而是需要滿足一定的條件，并依照法定程序進行。

首先，納稅人如果希望撤銷已設立的稅務保證，應當向原審批機關提出書面申請，并說明理由。這里所說的“原審批機關”，通常是指最初接受并同意設立該稅務保證的稅務機關或其授權機構。在提交申請時，納稅人需要提供足夠的證據材料來證明存在合理且合法的理由支持撤銷行為。

其次，在收到納稅人的撤銷請求后，審批機關將對相關情況進行審查核實。這一環節可能包括但不限于：評估當前是否存在繼續維持稅務保證的必要性；考察納稅人在過去一段時間內的納稅遵從情況等。如果經過審核確認符合撤銷條件，則審批機關會作出同意撤銷決定，并通知納稅人及相關方。

需要注意的是，在稅務保證被正式撤銷之前，納稅人仍然需要遵守原有的稅務保證義務。此外，即使最終成功撤銷了稅務保證，也不意味著可以免除因違反稅法而產生的法律責任或者欠繳的稅費及滯納金等費用。

總之，雖然法律賦予了納稅人在特定情況下申請撤銷已設立稅務保證的權利，但這一過程涉及較多程序性要求和實質性條件限制，因此建議納稅人謹慎對待，并在必要時尋求專業律師的幫助。