bMyVision v1.0 - prototyp 2024

Program bMyVision v1.0 je prototyp mobilního systému, který byl navržen a vytvořen na Technické univerzitě v Liberci v roce 2024 pro nevidomé osoby na mobilních telefonech iPhone od firmy Apple. Program je vytvořen v programovacím jazyku Swift pro operační systém iOS. Mobilní telefony značky iPhone byly vybrány, jelikož převážná většina nevidomých osob, které jsme oslovili, a které nám pomáhají s testováním a vývojem aplikace, používají mobilní telefony iPhone s operačním systémem iOS, na kterém je defaultně vytvořená asistenční podpora pro nevidomé osoby.

Princip fungování verze 1.0 je uveden na obrázku výše. Obraz z prostředí, ve kterém se pohybuje nevidomá osoba, je snímán kamerou mobilního telefonu. V obraze jsou rozpoznávány různé objekty. Výstup z rozpoznávače vstupuje do jazykového modelu, který umožňuje skloňování číslovek a slov (rozpoznaných objektů). Výsledný text poté projde modulem řečové syntézy (TTS) a je poslán na výstup audio zařízení (reproduktor mobilního telefonu).

Systém v současné době umožňuje poměrně spolehlivě rozpoznat cca 80 různých objektů. Pro rozpoznávání objektů byl využit poměrně velký model natrénované umělé konvoluční neuronové sítě (CNN).

Celý program je vyvíjen jako multilinguální, kde v nastavení systému lze vybrat, zda má systém s nevidomou osobou komunikovat česky nebo anglicky. V budoucnu bude možné přidávat další jazyky.