V technologickém průmyslu můžete sotva konverzovat, aniž by se někdo nezmínil o odvození, umělé inteligenci (AI) a strojovém učení (ML). Je však důležité poznamenat, že i když jsou všechny tyto pojmy propojeny, také se výrazně liší.
V tomto článku vysvětlíme základní rozdíly a zdůrazníme důležitost používání technologie okrajové umělé inteligence-založené na zpracování tenzoru, zejména v okrajových a vestavěných systémech. Ve srovnání s řešeními založenými na grafických procesorových jednotkách (GPU) nabízejí jednotky tensor Processing (TPU) efektivnější a nákladově-efektivnější výkon. Poskytneme také několik příkladů použití ilustrujících, kde se v budoucnu můžete setkat s řešeními edge AI.
Základy ML a inference
ML odkazuje na metodologii trénovacích modelů využívajících reprezentativní data, která umožňují strojům naučit se provádět úkoly. Tento proces může být vysoce výpočetně náročný a generovat biliony operací na nový tréninkový datový bod. Iterativní povaha školicího procesu v kombinaci s obrovskými trénovacími datovými sadami potřebnými k dosažení vysoké přesnosti podněcuje poptávku po extrémně vysokém-výkonném zpracování s plovoucí desetinnou čárkou-. Školení ML se nejlépe implementuje jako infrastruktura datových center, kde lze vysoké kapitálové a provozní náklady ospravedlnit jejich amortizací napříč mnoha zákazníky.
Inference zahrnuje použití trénovaných modelů ke generování potenciálních shod pro nová data relevantní pro reprezentativní data, na základě kterých byl model trénován. Inference si klade za cíl poskytovat rychlé odpovědi během milisekund. Příklady odvození zahrnují rozpoznávání řeči,-překlad jazyků v reálném čase, strojové vidění a rozhodnutí o optimalizaci vkládání reklam. Zatímco odvození vyžaduje pouze zlomek výpočetního výkonu potřebného pro školení, stále daleko převyšuje to, co mohou poskytnout tradiční systémy založené na centrálním procesoru (CPU)-, zejména pro aplikace počítačového vidění. To je důvod, proč se tolik společností obrací na tenzorová -řešení akcelerace-, ať už jako IP na SoC nebo jako -systémové akcelerátory-, aby dosáhly sub{10}}doby odezvy požadované na okraji. Realita je taková, že strávit byť minutu nebo několik sekund zpracováním snímků v systému vidění není příliš užitečné. Systémy průmyslového vidění požadují rychlost zpracování{13}}na úrovni milisekund.
Oddělování školení a závěrů
Implementace stejného hardwaru, který se používá pro školení ke zvládnutí zátěže odvození, může vést k nadměrnému{0}}poskytování odvozených strojů s akcelerátory a hardwarem CPU. Řešení GPU vyvinutá pro ML v posledním desetiletí nemusí být nutně optimální volbou pro rozsáhlé-nasazování technologií odvození ML. Níže uvedený diagram dokonale ilustruje srovnání mezi TPU akcelerátory a GPU akcelerátory. Jasně ukazuje, že akcelerátory TPU poskytují nižší spotřebu energie, nižší náklady a vyšší účinnost ve srovnání s řešeními AGX založenými na GPU-, přičemž stále poskytují přesvědčivé úrovně výkonu pro aplikace odvozené od odvození.
Dalším důležitým aspektem při přístupu k řešením školení a odvození ML je softwarové prostředí. Dnes se používá mnoho populárních knihoven, jako je CUDA pro GPU NVIDIA, rámce ML jako TensorFlow a PyTorch, optimalizované knihovny multiplatformních modelů jako Keras a další. Tyto sady nástrojů jsou nezbytné pro vývoj a trénování modelů ML, ale inferenční aplikace vyžadují jinou, menší sadu softwarových nástrojů.
Sady nástrojů Inference se zaměřují na spouštění modelů na cílových platformách. Podporují portování trénovaných modelů na platformy, což může zahrnovat některé transformace operátorů, kvantování a služby integrace hostitelů. To však představuje relativně přímočarou sadu funkcí ve srovnání s funkcemi potřebnými pro vývoj modelu a školení.
Nástroje pro odvození těží z toho, že začínají se standardizovanou reprezentací modelu. Open Neural Network Exchange (ONNX) je standardní formát pro reprezentaci modelů ML. Jak název napovídá, jedná se o otevřený standard řízený jako projekt Linux Foundation. Technologie jako ONNX umožňují oddělení školicích a inferenčních systémů a poskytují vývojářům svobodu vybrat si různé optimalizované platformy pro každý z nich.
Příklad vizuálních aplikací
Vzhledem k tomu, že technologie ML a inferenčních procesorů pokračují vpřed a vyvíjejí se, aplikace se množí. Níže uvádíme jen několik míst, kde byste se s touto technologií mohli v budoucnu setkat.
Edge servery v podnicích, jako jsou továrny, nemocnice, maloobchody a finanční instituce. Například v průmyslovém prostředí může umělá inteligence pomoci se správou zásob, detekcí závad a dokonce i prediktivní údržbou, než nastanou problémy. V maloobchodě umožňuje funkce, jako je odhad pozice, pomocí počítačového vidění zjišťuje a analyzuje lidské držení těla. Údaje z této analýzy pomáhají kamenným-a{4}}prodejcům lépe porozumět lidskému chování a pěšímu provozu v jejich prodejnách, což jim umožňuje optimalizovat rozvržení prodejny pro maximální prodej a spokojenost zákazníků.
Vysoce{0}}přesné/vysokokvalitní{1}}zobrazování pro aplikace včetně robotiky, průmyslové automatizace/kontroly, lékařského zobrazování, vědeckého zobrazování, kamer pro sledování a rozpoznávání objektů a fotoniky. Například metody strojového učení prokázaly schopnost odhalit rakovinu zpracováním digitálního rentgenového záření. Tento proces zahrnuje vývoj modelu ML navrženého pro zpracování rentgenových snímků, obvykle pomocí trénovaných algoritmů sémantické segmentace k identifikaci rakovinných lézí. Během školení se snímky rakoviny identifikované radiology používají k tomu, aby se síť naučila, co není rakovina, co je rakovina a jak se různé typy rakoviny objevují. Čím více je model ML trénován, tím lepší se stává při maximalizaci správných diagnóz a minimalizaci chybných diagnóz. To znamená, že strojové učení se nespoléhá pouze na inteligentní návrh modelu, ale stejně tak na obrovské množství (desítky tisíc až miliony) pečlivě upravených příkladů dat, kde byla odborně identifikována rakovina.
Chytré nákupní košíky-Několik společností vyvíjí a zavádí inteligentní nákupní systémy, které nerozpoznají produkty podle čárových kódů UPC, ale podle vzhledu samotného obalu. Tato funkce umožňuje nakupujícím jednoduše vkládat položky do košíku nebo do pokladního systému, aniž by museli hledat kód UPC a skenovat jej laserovým skenerem UPC. Díky této technologii je nákupní proces přesnější, rychlejší a pohodlnější.
Učinit správné rozhodnutí
Společnosti musí dnes vyhodnotit všechna dostupná řešení a vybrat to optimální na základě konkrétního případu použití. Nemohou také jednoduše předpokládat, že všechna řešení AI jsou nejlépe implementována na zařízeních GPU, protože řešení založená na TPU-nabízejí vyšší efektivitu zpracování a nižší využití křemíku, čímž snižují spotřebu energie a náklady.