Taxの控除不足によるペナルティはいくらからかかるの？

いつも勉強させていただいております。今年もよろしくお願いします。

さて、もうすぐTax　Returnのシーズンですが、巷でよく聞くのが「Tax withholdの額が少なすぎるとペナルティを課される」ということです。これってどのくらい少ないとペナルティの対象になるんでしょうか？

というのも、私は２０１０年は日本にいたのですが、税理士に「州Taxのwithholdは止めておいたほうがいい、Tax returnのとき全額refundとなると必ず監査が入るから」といわれて、２０１０年は州Taxのwithholdをしませんでした。もしペナルティの対象になったら？とちょっとドキドキしています。税理士は「日本にいたのだから州Taxの対象にならない（永住権があるのでFederal　Stateは対象になるのでwithholdしています）」というのですが、このペナルティがいつ発生するのかがわからないので、ここらへんのルールについてどなたかご存知の方、教えていただければうれしいです。