Mali žolni imajo raznoliko prehrano. Jedejo žuželke, kot so žuželke, lesena ličinke, gusenice, meterlice, mravelji, skakavci, muhe, ose, pajki, stožastonožke in desetonožke. Jedejo tudi sadje in bobiče, vključno z bučevo, borovnicami, malinami, jabolki, hruškami, ličjem, jelko, črnožiljem in črešmi. Orehi in semena, kot so sončnična semena, arašidi, žirji, bukovni orehi in hišnikovi orehi, so del njihove prehrane, v zimi pa občasno pijejo drevesni sok.