フォロー
「源泉徴収をなくす」とは言ってないのがキモですね
源泉徴収はそのままで、還付申告だけ確定申告にする
↓
面倒くさい人は還付申告しない
↓
還付ゼロの人が大幅増
↓
税金取りすぎにより税収UP
が狙いです 
あと年末調整の前に会社辞めた人は、自分で税務署に確定申告に行こうね。
保険料とか、会社の年末調整と同等の還付が受けられます
今だって、サラリーマンは年末調整の後に「サラリーマン還付申告」をすれば更に税金返って来るが、ほとんどの人はやってないだろ？
(サラリーマンも1年間の病院代、ドラッグストアで買った薬代、通院に掛かった交通費、ユニセフや赤十字への寄付などの領収書をちまちま全部取っておいて集計して税務署に持って行くと税金が戻ってきます)
(※還付に該当するかどうかは給与額と医療費累計額、寄付額による)