結論
下の画像を見て頂ければ分かるかと思います。
つまり
「配送情報」には住所の非公開の設定は適用されません。ましてや外部の配送業者ならばなおさらです*1。
ただし、分かってしまう住所は市区町村や配送センターの位置ぐらいですし、実際に購入しなければ配送情報は分からないため、そこまで気にすることではないのかもしれません。とはいえ、ある程度は留意しておいた方がよいかなと思います。
ヤマトの追跡システムでは「Yahoo!地図」と連携するようになったため、クリックひとつで地図も見ることができてしまいます。
補足
購入先*2や配送業者によって、配送情報は異なってくると思います。