中性的な服しか着ないわけじゃない

性別表現を超えていくの補足になるのですが、

誰だって好きな服を着たいのが人間です。

それはどんな性別の人だって同じ。

Xジェンダーの方もそうで、性自認が男性か女性かにかかわらず、
男性表現が強い服装が好きな無性の方がいたり、
スカートが好きな両性の方がいることもあります。

何より性自認にかかわらず、その時の体に似合う服装をしている人もいるでしょう。

性を構成する要素として、身体の性、性自認（こころの性）、
性的指向（恋愛対象に対する好み）、
性別表現（服や振る舞いから考えられる性）の4つがあると言われていますが、
そのすべてが違っていてもいいのなら、性自認がXでも性別表現が男、あるいは女という人はいると思います。

そういう場合、あまりに片方の性別に寄った服装をしている時は"女装"あるいは"男装"という意識になるのでしょうか。

このあたりは当事者がどう考えているかになるでしょうが、
Xジェンダーの方は「自分らしさ」を理解している人が多いので、
あくまでも自分らしい服装が少し女性（あるいは男性）寄りな服装なだけという認識になっているのかもしれません。