Слово в единственном числе изменяется по родам. Можно ли только по этому признаку сказать, что это имя прилагательное, да или нет, почему

Нет нельзя. По такому признаку еще подходит имя существительное и глагол в прошедшем времени

Прилагательное может изменятся не только по родам, а также по числам и падежам. Также по родам может изменятся глагол, числительное и местоимение. Только существительное не меняет свой род.