"Shiba" se nanaša na vrsto majhnih čopičev, ki jih najdemo v gorskih regijah Japonske. Beseda "shiba" se uporablja za opis nečesa majhnega, kompaktnega ali rustikalnega. V primeru Shiba Inu se verjetno nanaša na majhno velikost psa in njegovo povezanost s podeželskimi območji.
"Inu" v japonščini preprosto pomeni "pes". To je pogosta beseda, ki se uporablja za katero koli vrsto psa, ne glede na pasmo.
Torej, beseda "Shiba Inu" dobesedno pomeni "Brushwood Dog" ali "Majhnega rustikalnega psa." To ime odraža izvor psa in njegovo povezanost s podeželskimi območji Japonske, kjer je bilo vzrejeno.