De ruige dwergvleermuis lijkt sterk op de gewone dwergvleermuis, maar de staartvlieghuid is aan de bovenkant vanaf de basis tot de helft behaard, en de vleugels zijn bij de aanhechting behaard. Daarnaast is de vacht vaak iets warriger, is er iets meer contrast tussen rug en buik, en is de haarbasis lichter. De ruige dwergvleermuis is net iets groter dan de gewone dwergvleermuis en heeft een kop-romplengte tot 55 mm, een spanwijdte tot 25 cm en een gewicht tot 15,5 g (Schober & Grimmberger 1998). De echolocatie is in vergelijking met de gewone dwergvleermuis wat lager en langzamer. De sociale roep is karakteristiek vanwege de triller aan het einde (Russ et al. 1998) en mannetjes zijn daaraan zelfs individueel herkenbaar (Jahelková et al. 2008, Russ & Racey 2007).