確實，新成立的公司在完成稅務登記以及在銀行開立基本戶后，對方可以給該公司開具正規發票。首先公司必須將稅務登記表和資料提交給有關稅務機關審核，審核通過后才能得到一份稅號給開具發票；而銀行賬號則是用來存錢，收款等，就算開設基本戶也不能開發票；要開具正規發票，還需要在稅務機關登記經營和開票信息，確認后方可開具正規發票。 拓展知識：發票是一種稅務憑證，可以憑發票來進行繳納稅款，只有經過以上正規程序辦理完成，才能保證發票的正規性，以及為后續的報稅和審核提供可靠的業務資料憑證。