Withholding Allowance(W-4)

初めまして。こちらのサイトではいつもいろいろと勉強させていただいております。

今日はWithholding Allowanceについて質問があります。
先日、夫の給料明細を見ていたらM-XX（私はパート、ジョイントでタックスリターンをしています）のXXの数字を２人目の子供が産まれた後も変更していなかったことに気づきました。私の理解が正しければ、この数字が高いほど毎月引かれる税額が減る…んですよね？しかしこの数字を変更しなくてもタックスリターン時の調整（Refundの額や追加で払う税金）によって、年間支払うトータルの税額は変わらないと考えていいのでしょうか？それとも私たちは今まで支払う義務のない税金まで払っていたのでしょうか？

大変、初歩的な質問で恥ずかしいのですがよろしくお願いいたします。