Voor onze jaartelling moeten er al honden hebben bestaan die op de Shiba leken. Men heeft namelijk resten van dergelijke honden gevonden die dateren het van zogenaamde Jōmon-tijdperk, een tijdvak dat volgens de westerse tijdrekening in de tweede helft van de laatste 1000 jaar voor Chr. moet worden geplaatst. Het is echter meer dam waarschijnlijk dat ze al lang voor die tijd op de Japanse eilanden aanwezig waren. In ieder geval is voor deze hond een doorlopende geschiedenis van bijna 3000 min of meer aangetoond.
Theorieën over de afstamming van de Shiba Inu, over zijn voorouders en waar die vandaan kwamen, moeten met de nodige voorzichtigheid worden geïnterpreteerd. Vaak citeert de ene schrijver de andere, zonder dat er oorspronkelijke bronnen bestaan. Afstammingstheoretici beweren echter dat de Shiba en zijn directe verwanten afkomstig moeten zijn uit het zuiden van China. De overeenkomst met de in die streek levende Pariahonden en ook zijn gelijkenis met de Mongoolse en Chinese wolf (Canis Lupus chano) doen in ieder geval vermoeden dat deze hond zijn oorsprong ergens in China moet hebben gehad. Hij zou dan samen met binnentrekkende volken via Korea Japan hebben bereikt. Dat was de gebruikelijke weg voor veel van de Japanse cultuurgoederen zoals religie, schrift en wapentechnologie. De Shiba ziet er met zijn schuine ogen inderdaad nogal primitief uit. (Inu is trouwens het Japanse woord voor hond). Ook andere uiterlijke kenmerken wijzen op een oorspronkelijke hond en veronderstellen een grote verwantschap met de Pariahonden uit Zuidoost-Azië.
Uit diverse bewijzen kan worden opgemaakt dat hij een van de oudste Japanse rassen is. Dit valt bijvoorbeeld af te leiden uit de gebieden waarover hij verspreid voorkwam. De Shiba leefde voornamelijk in het centrale en westelijke deel van het hoofdeiland Honsjoe, en dat vooral in vaal bergachtige en sterk beboste streken. Iedere streek herbergde al sinds mensenheugenis haar eigen regionale variëteit, die ook een eigen lokale naam bezat. Het ras was uit die verschillende variëteiten opgebouwd en stond bekend onder namen als Sanin Shiba, Mino Shiba en Shinshuh Shiba. Uiteindelijk is voor de meest algemene naam Shiba (kleine hond) gekozen.
De Shiba is een typische vertegenwoordiger van de Aziatische keesachtigen, honden die over het algemeen (en de Japanse in het bijzonder) uitstekend als waakhond en met name als jachthond fungeerden. Dat geldt ook voor de Shiba, die veel voor de jacht op vogels werd gebruikt. Een van zijn specialismen was het opsporen van de yamadori, een soort bergfazant. Hij werd echter ook voor de jacht op groter wild ingezet. Zo was deze kleine hond vertrouwd met de jacht op hazen, vossen en dassen, en wat gezien zijn afmeting minder in de lijn der verwachtingen ligt eveneens met de jacht op beren wilde zwijnen en herten. Uit het feit dat hij zulk uiteenlopend wild aankon blijkt wel dat de Shiba geen alledaagse jachthond was. Dat was ook de reden waarom er in de streken van herkomst weinig andere honden werden ingevoerd. De Shiba werd dus in hoge mate zuiver gefokt.
In de jaren 1910-1920 kende Japan een grote opbloei in de belangstelling voor (huis)dieren van eigen bodem. Deze dieren werden bestudeerd, hun belang werd vastgesteld, men nam pogingen om de betreffende dieren te behoeden voor een eventueel verval en richtte diverse verenigingen op dat gebied op. Deze initiatieven werden officieel ondersteund door de Japanse overheid. Dat mondde zelfs uit in een wet waarin de van oorsprong inheemse rassen werden beschermd en tot nationaal beschermd erfgoed werden verklaard. In dat kader werd in 1936 ook de Shiba in bescherming genomen tegen enig verval, een unieke situatie in de wereld van de kynologie. De Shiba nam weliswaar in het geheel genomen slechts een bescheiden plaats in de Japanse cultuur in, maar hij werk toch als bijzonder onderdeel van die cultuur beschermd op een manier die menig liefhebber van zeldzame rassen jaloers zou maken. De fokkerij werd trouwens op dezelfde basis voortgezet als voorheen. Dat betekende dat het fokken van deze honden binnen een bepaalde families een traditie bleef. Het leven van de gehele familie was op die traditionele taak afgestemd. Ondanks al deze voorzorgsmaatregelen en tradities raakte de Shiba na de Tweede Wereldoorlog toch in verval. Als gevolg daarvan trokken kynologen erop uit om in de gebieden van oorsprong nog levende, authentieke exemplaren van het ras op te sporen. Zij troffen vooral in de dorpen en het centrale deel van het eiland nog enkele meest getypeerde hondjes aan, en met behulp van exemplaren werd het ras nieuw leven ingeblazen.
Tegenwoordig is de Shiba in de streken waar hij oorspronkelijk vandaan komt, weer bijzonder populair als jachthond en dan met name voor de jacht op veerwild. Hij wordt echter ook wel als waakhondje ingezet. Vanwege zijn geringe schouderhoogte heeft hij er nog een nieuwe taak bij gekregen, namelijk die van gezelschapshond. Dit heeft grote gevolgen voor het ras gehad, in die zin dat de Shiba inmiddels een van de populairste gezelschaps- en tentoonstellingshonden van Japan is. Hij is sinds de jaren '70 ook in Europa ingeburgerd. Daar beschouwt men zijn vervlechting met de traditionele Japanse cultuur als een van de grootste charmes van de Shiba. Evenals de Japanse cultuur is deze hond meer dan alleen een stijl of mode. De Shiba weerspiegelt in uiterlijk en gedrag de Japanse manier van leven.