除按照规定不需要发给税务机关登记证件的外，纳税人办理下列事项时，必须持税务登记证件：

（1）开立银行账户；（选项A）

（2）领用发票。（选项C）

综上所述，选项A、C属于必须持税务登记证件的情形，当选。选项B、D、E不属于必须持税务登记证件的情形，不当选。

纳税人在办理注销登记前，应当向税务机关结清应纳税款（选项C）、滞纳金（选项B）、罚款（选项A）、缴销发票、税务登记证件和其他税务证件。

领取加载统一社会信用代码证的企业（选项A、D）、农民专业合作社（选项B）、个体工商户及其他组织无须单独到税务机关办理税务登记，其领取的证件作为税务登记证件使用。

“多证合一”改革以外的其他组织，如事业单位（选项C）、社会组织、境外非政府组织等，应当依法和税务总局规定向税务机关办理税务登记。

常用增值税普通发票主要有：增值税纸质普通发票、机动车销售统一发票、电子发票（普通发票）、收费公路通行费增值税电子普通发票、增值税普通发票（卷式）、增值税普通发票（折叠票）、门票（选项A）、过路（过桥）费发票、定额发票（选项E）、二手车销售统一发票（选项B）和印有本单位名称的增值税普通发票等。选项D，农产品销售发票也属于增值税普通发票。