行政机关作出行政处罚决定决定后，如果想撤销行政处罚决定，应该向行政处罚相对人出具撤销行政处罚决定书。
根据《行政处罚法》
第三十二条
当事人有权进行陈述和申辩。行政机关必须充分听取当事人的意见，对当事人提出的事实、理由和证据，应当进行复核；当事人提出的事实、理由或者证据成立的，行政机关应当采纳。行政机关不得因当事人申辩而加重处罚。
第三十五条
当事人对当场作出的行政处罚决定不服的，可以依法申请行政复议或者提起行政诉讼。
第四十五条
当事人对行政处罚决定不服申请行政复议或者提起行政诉讼的，行政处罚不停止执行，法律另有规定的除外。
