ANSIエスケープシーケンスが処理されないのが原因でESCとか^[とか表示されてしまうので,ページャにlessを使ってる場合は-Rオプションを付けて起動するとなんとかなるらしい.何をしているのか説明できないけど,Re: (Newbie) perldoc ESC display troubleによれば.zshrcに
export LESS=mqeisz-2XR
と追加すればいいらしい.
ページャにlvを使うようにしている場合は-cオプションを付けて起動すればいいらしいので,例えば.zshrcに
export PAGER="lv -cOu8"
などとしておけば文字化けしなくなる.