De kleine dwergvleermuis heeft een bruine rug en een iets lichter gekleurde buik. De snuit en andere zichtbare huid is vrij lichtbruin van kleur. De soort lijkt op de gewone dwergvleermuis, maar deze is iets groter, donkerder en uniformer van kleur. De kop-romplengte bedraagt tot 48 mm, de spanwijdte tot 24 cm en het gewicht tot 7 g. In het veld zijn kleine dwergvleermuizen te onderscheiden van de gewone dwergvleermuis door de hogere frequentie van de echolocatiegeluiden en de sociale roep die uit drie lettergrepen bestaat (Dietz et al. 2011).