被行政相对人提起行政诉讼，执法机关应当按照法律规定和法院要求的内容和方式进行举证(以行政处罚为例)。
1.提供实体和程序两类证据
人民法院对处罚行政案件的审查主要是合法性审查。被诉行政处罚决定的合法性有两大内容，即处罚实体内容合法和处罚操作程序合法。为了证明这两大类内容合法，行政执法机关应当向人民法院提供被处罚人实施违法行为的事实证据材料和作出行政处罚决定的程序证据材料，以证明行政处罚决定在实体上和程序上都是合法的。
在实践中，原告在行政诉讼中即使没有提出行政处罚程序问题，人民法院也要审查处罚程序是否合法，如果发现程序严重违法，在原告没有提出程序问题的情况下，也应当撤销行政处罚决定。因此，行政执法机关在应诉时必须提供处罚程序合法的证据材料。
2.提供据以处罚的证据材料
行政诉讼只要求提供证据材料和法律依据，而没有要求提供整个案卷材料。除非人民法院因特别需要而要求予以调阅案卷外，被告行政执法机关只需提供证据材料和法律依据，不需提供其他材料，如调查报告、合议笔录等。行政执法机关在举证时，也不一定将所有证据材料都提供给人民法院，只要提供“据以处罚”的证据材料即可。只有经过审查被采用的、作为支持行政处罚决定的证据才是“据以处罚”的证据。当然，有些证据材料虽未采用，但对维持行政处罚决定有利的，也可以提供，为胜诉提供有利条件，但是否采纳，由人民法院决定。
3.在收到起诉状副本之日起十日内提供证据
根据《关于行政诉讼证据若干问题的规定》第一条规定，当药品监督管理机关作为行政诉讼被告时，应当在收到人民法院起诉状副本之日起十日内，提供据以作出被诉行政处罚决定的全部证据和所依据的规范性文件。这是举证期限的规定。
被告不提供或者无正当理由逾期提供证据的，视为被诉具体行政行为没有相应的证据。由此可见，行政执法机关即使有足够证据，但在收到起诉状副本之日起十日内不提供，也会被人民法院视为被诉行政处罚决定没有相应证据，那么，行政处罚决定就会被撤销。但是，人民法院因这种理由撤销行政处罚决定，仅仅是诉讼程序上不提供证据造成的。因为被处罚人的违法事实及其证据仍然存在，所以，执法机关在被人民法院判决撤销行政处罚决定后，仍可以重新做出与被撤销的行政处罚决定内容相同的处罚决定。
执法机关有不可抗力或者客观上不能控制的其他正当事由，不能在收到起诉状副本之日起十日内提供证据的，应当在此期限内向人民法院提出延期提供证据的书面申请。这里的“不可抗力”，一般是指人力不可抗拒的地震、台风等情况。“客观上不能控制的其他正当事由”是很多的，不能举例穷尽，但总是指非人的主观意志所能克服的事情。执法机关应当在正当事由消除后十日内提供证据。如果再逾期提供的，视为被诉行政处罚决定没有相应的证据。
