Новото око на Microsoft автоматично разпознава картинки

Новото око на Microsoft автоматично разпознава картинки

  Новото око на Microsoft има за цел автоматично да надписва изображения в документи и имейли, така че специализираният говорещ софтуер да може да прочита информацията. 

Изследователи от Microsoft разясниха своя машинен обучителен модел в статия за preprint repository arXiv.  

 

Моделът използва софтуера (VIVO), включващ голям масив сдвоени данни от маркери на изображения, за да бъде съставен визуален речник.

  На разположение е и втори набор от данни на коректно надписани изображения, което помага на AI да научи как най-добре да опише снимките.

„В идеалния случай всеки би включил алтернативен текст за всички изображения в документи, в мрежата, в социалните медии - тъй като това дава възможност на незрящи потребители да имат достъп до съдържанието и да участват в дискусии.  Но, уви, хората не го правят ”, споделя Сакиб Шайк, мениджър на софтуерните инженери в групата на платформата AI на Microsoft.

Като цяло изследователите очакват AI да осигури двойно по-висока производителност, в сравнение със съществуващата система за надписи на Microsoft.

За да направят максимално добро представяне на новото си око изследователите го включиха в предизвикателството „nocaps“. Що се отнася до отзивите "Окото на Microsoft"вече е на първо място в категорията си.

„Предизвикателството nocaps е да опишеш в обучителните данни съвсем нови обекти, които не си виждал  преди", коментира Лиджуан Уанг, главен научен ръководител в изследователската лаборатория на Microsoft.

  Разработчиците, желаещи да вградят в приложенията си Microsoft’s auto-captioning AI на Microsoft, вече могат да го направят, тъй като е наличен в пакета Computer Vision на Azure Cognitive Services.

    Приложението Microsoft’s impressive SeeingAI на Microsoft което описва околната среда в помощ на незрящите посредством компютърно зрение ще бъде актуализирано с функции, използващи новото око. 

  „Надписването на изображения е една от основните способности на компютърното зрение и внедряването й  може да бъде предпоставка за предлагането на широк спектър от услуги“, каза Xuedong Huang, главен технически директор на Microsoft в Azure AI Cognitive Services.

„Ние възприемаме успеха с AI като възможност за обслужване на по-широк кръг клиенти“, добавя Хуанг. „Това не е само изследователски пробив. Краткото време, необходимо на Azure за преминаване към цикъл на реално прилагане също е постижение. "

    Очаква се подобрената функция за автоматично надписване да бъде налична в Outlook, Word и PowerPoint по-късно тази година.

 

Превод: 

Александър Велков

Дата на публикация:

19 октомври 2020 г.

 

Източник:

https://artificialintelligence-news.com/2020/10/19/microsoft-new-ai-auto-captions-images-visually-impaired/