Microsoft telah melancarkan alat pengenalan imej yang cuba menggambarkan kandungan gambar. Alat perisikan buatan ini masih dalam peringkat pembangunan dan sentiasa belajar daripada gambar yang dimuat naik oleh pengguna.

Setakat ketepatannya, kadang-kadang penerangannya agak tepat manakala kadang-kadang CaptionBot menawarkan deskripsi yang tidak ada hubungannya dengan apa yang digambarkan. Terdapat juga kes-kes apabila aplikasinya tidak dapat memberikan gambaran sama sekali, disebabkan oleh keadaan kasar-sekitar-tepi.

Microsoft direka CaptionBot untuk belajar dengan lebih banyak pengalaman, dengan harapan bahawa keterangannya akan menjadi lebih tepat dari masa ke masa. Lebih banyak gambar yang dimuat naik oleh pengguna, lebih baik app menjadi, seperti CaptionBot menerangkan dirinya sendiri:

Saya dapat memahami kandungan mana-mana imej dan saya akan cuba untuk menggambarkannya serta mana-mana manusia. Saya masih belajar jadi saya akan memegang gambar anda tetapi tiada maklumat peribadi.

CaptionBot menggunakan tiga teknologi untuk menerangkan apa yang digambarkan dalam gambar: Visi Komputer Microsoft, Emosi dan Imej Bing. API Wawasan Komputer mengekstrak maklumat yang kaya dari imej untuk mengkategorikan dan memproses data visual bersama mengenal pasti dan mengekstrak teks dari imej. API Emosi, seperti namanya, menganalisis wajah untuk mengesan pelbagai perasaan, segala-galanya dari kemarahan, penghinaan, jijik, ketakutan, kebahagiaan, berkecuali, kesedihan dan kejutan. Imej Bing mencari web untuk imej.

Kami menguji CaptionBot dan keputusannya adalah tepat dalam 50% kes. Sebagai contoh, kami memuat naik dua gambar: satu yang menggambarkan tetikus permainan, yang satu lagi timbunan kad. Dalam kedua-dua kes, alat itu mencadangkan ia adalah telefon bimbit. Sebaliknya, CaptionBot dengan tepat mengesan manusia dan wajah.

Ternyata, CaptionBot mempunyai obsesi dengan telefon bimbit. Seorang pengguna Twitter melaporkan aplikasi itu memikirkan Michelle Obama adalah telefon bimbit. Untuk lebih banyak kapsyen CaptionBot lucu, lihat laman Twitter ini.

Anda juga boleh menguji CaptionBot di sini. Cubalah: anda sama ada akan membantu alat memperbaiki atau anda akan tertawa dengan baik!