选项D，实行定期定额方式缴纳税款的纳税人，可以实行简易申报、简并征期等申报纳税方式。

除按照规定不需要发给税务机关登记证件的外，纳税人办理下列事项时，必须持税务登记证件：

（1）开立银行账户；（选项A）

（2）领用发票。（选项C）

综上所述，选项A、C属于必须持税务登记证件的情形，当选。选项B、D、E不属于必须持税务登记证件的情形，不当选。

除机动车销售统一发票、农产品销售发票（选项A）、通行费发票（选项D）、收费公路通行费增值税电子普通发票，以及国内旅客运输服务的增值税电子普通发票、航空运输电子客票行程单（选项B）、电子发票（铁路电子客票）和公路、水路等其他客票、农产品收购发票（选项E）外，增值税普通发票不能作为抵扣增值税进项税额的凭证。