@Telmina@s2.libera.blue @tateisu v3.1.4であれば、この記事に記載した方法で対応してください。
https://noellabo.qrunch.io/entries/ahOc4tr5rQXZhtJo

v3.1.3以前については、この記事の前に対処方法が書いてあります。

結果として、該当の配送ジョブを強制的に成功させることができて、即座に消えていきます。