Согласно толковому словарю Ефремовой неглиже́ — это:

устар. Утреннее лёгкое домашнее одеяние.

устар. Едва прикрывающий наготу (об утреннем домашнем одеянии).

устар. Ни на что не обращая внимание; небрежно, невнимательно.

устар. О полуодетом виде кого-либо.

Соответственно, ходить в неглиже — это ходить в полуодетом виде или в домашней одежде, не присущей светскому этикету. Но никак не голышом!