保険解約によって発生した解約返戻金の申告について

先日、日本に休暇で行ったときに、自分自身の生命保険の一部を解約しました。解約にあたって、解約返戻金（英語だとSurrender Valueがそれに相当すると思います）を受け取ったのですが、申告方法がわかりません。　調べた限りでは、返戻金の額が支払った保険料以下であれば収入ではないということで課税はされないようなのですが、IRSに対してまったく申告をしなくてもいいのでしょうか？

実際に保険の解約で払い戻しを受けられた方が見えましたら、どのように処理されたのか教えていただけると助かります。