ヘッドフォンアンプ購入 

audio-technica のAT-PHA30i
対応は、iPodのみですが、iPhone 4でも、
接続時にエラーが出る以外は、動いてます。

ただ、無音時に内部のノイズを拾ってるのか、
微かな音がする事がありますね。
iPhoneは対応品に入ってないので、しょうが無いのでしょう。