Shahar hokimiyati avtomobillarni silueti, markasi va chiroqlari bo‘yicha taniydigan neyron tarmog‘ini ishga tushiradi. Bu haqda Moskva transport va yo‘l infratuzilmasi departamentining Yo‘l harakati boshqaruvi markazi xabar berdi.

“Aqlli” tizim operatorlarga yuklamani kamaytirishi va yo‘l harakati qoidalarini buzganliklarni avtomatik qayd etish vositalari orqali qayd etilgan qoidabuzarliklarni oldindan ko‘rib chiqish jarayoni sifatini oshirishi kutilmoqda. Neyron tarmoq kameralardan olingan suratlarni qayta ishlovchi maʼlumotlarni qayta ishlash markazining foto-video qayd etish markazida qoʻllaniladi. Aytgancha, u erda har kuni 400 minggacha materiallar olinadi.

Bu boradagi mutaxassisning fikricha zamonaviy texnologiyalar Andrey Mixaylyuk, Moskva - zamonaviy texnologiyalarni qo'llash bo'yicha etakchi. Uning qo‘shimcha qilishicha, kamera avtomobilning davlat raqamini taniy olmaydigan holatlarni boshqarish uchun neyron tizim zarur.

Ba'zida avtomashina egalari jarimaga tortilmasligi uchun davlat raqamining bir yoki bir nechta raqamlarini yopishadi, deydi ekspert. - Bunday suratlar ishlov berish uchun xodimlarga boradi.

Shu bilan birga, inson resurslari cheklangan. Mixaylyukning fikricha, bu funktsiyani kompyuterga o'tkazish juda mantiqiy.

Bu muammoni odam emas, balki mashinani o‘rganish tizimi hal qilishi kerak”, — dedi u.

Mutaxassis, shuningdek, uning fikricha, neyron tarmoq uchun bunday vazifa ancha sodda ekanligini qo'shimcha qildi. Gap shundaki, avtomobil modellarining soni cheklangan va avtomobilning barqaror xususiyatlari avtomobilning o'zi va uning chiroqlari shakliga bog'liq.

Shunday qilib, uning fikricha, neyron tarmoqqa yuklangan vazifa juda oddiy. Texnik jihatdan, bunday tizim bir necha oy ichida ishlab chiqilishi mumkin, mavjud fotosuratlar yordamida tarmoqni o'rgatish uchun ko'proq vaqt kerak bo'ladi.

Mutaxassisning ta'kidlashicha, Rossiya jarima solishning zamonaviy texnologiyalaridan foydalanish bo'yicha dunyoning boshqa davlatlaridan sezilarli darajada oldinda. Uning fikricha, hammasi bizning mentalitetimizga bog'liq.

Mamlakatimizda yo‘l harakati qoidalari boshqa davlatlarga qaraganda ancha tez-tez buziladi”, — deya tushuntirdi Andrey Mixaylyuk. - Yevropada kamera o‘rnatilsa, har oyda bittadan jarima yozib qo‘yadi, haydovchilar ham bundan xabardor bo‘lsa, hech kim uni umuman buzmaydi. Bu erda Rossiyada vaziyat butunlay boshqacha.

Hozirda Moskvada qoidabuzarliklarni qayd etuvchi 1,5 ming statsionar kamera mavjud. 2016-yilda foto-video qayd etishdan foydalangan holda 11,7 million, 2017-yilda 24,6 million, 2018-yilning o‘n oyida esa 25 milliondan ortiq jarima to‘langan. Qayd etish joizki, Yo‘l harakati boshqaruvi markazida 280 nafar xodim ma’lumotlarni tekshirish, xatolarni tuzatish, foto va videoyozuv sifatini nazorat qilish bilan shug‘ullanadi.

Yana bir "baxt maktubi" ni olgan zamonaviy avtomobil egasi har doim qora va oq fotosuratni sinchkovlik bilan o'rganishga harakat qiladi va keyingi kamera osilgan ustunni batafsil eslaydi. Biroq, har doim ham yangi jarimalardan qochish mumkin emas. Xo'sh, "katta aka" xizmatida qanday kuch va vositalar bor, ularni qanday hisoblash va boshqa jarima solmaslik uchun tezda zarur choralarni ko'rish kerak? "Izvestiya" huquqbuzarlik to'g'risidagi qaror qanday paydo bo'lishini, qanday turdagi foto-video qayd etish tizimlari mavjudligini aniqladi, shuningdek, agar jarima noto'g'ri chiqarilgan bo'lsa, nima qilish kerakligini aniqlashga harakat qildi.

Ularning ismi legion

Bugungi kunga kelib, Moskvada jami 167 mingga yaqin kameralar o'rnatildi, ulardan deyarli 2 mingtasi yo'l harakati qoidalari buzilishini avtomatik tarzda qayd etish tizimi yo'l harakati holatini kuzatib boradi va ularning soni doimiy ravishda o'sib bormoqda. Ayni paytda yer usti transportida o‘rnatilgan 1,5 ming statsionar, 30 dan ortiq ko‘chma, 400 ga yaqin ko‘chma va yana 110 ga yaqin komplekslar qoidabuzarlarni jarimaga tortishda yordam bermoqda. Shubhasiz, yo‘l harakati xavfsizligi holatini yaxshilash bo‘yicha keng ko‘lamli ishlar amalga oshirilmoqda: 2017 yilning o‘zida foto va video qayd etish moslamalari yordamida 83 milliondan ortiq huquqbuzarliklar aniqlangan (bir yil avval – 60 milliondan sal ko‘proq), lekin ko‘pincha shunday bo‘ladiki avtomatik tizimlar halokatga uchradi va begunoh avtoulovchilar azoblanadi.

Yo'l harakati qoidalarini buzish uchun birinchi statsionar foto-video qayd etish tizimlari 2006-2007 yillarda "2006-2010 yillarda yo'l harakati xavfsizligini oshirish" federal maqsadli dasturi doirasida poytaxtning chiqish yo'llarida paydo bo'lgan. O'shandan beri yo'llardagi vaziyat sezilarli darajada yaxshilangani sababli, yo'l harakati kameralarini o'rnatish davom etadi.

Zamonaviy tizimlar nafaqat tezlikni oshirish, yo‘l chetida harakatlanish yoki jamoat transporti bo‘laklariga kirishni aniqlash, balki shahar bo‘ylab avtotransport vositalarini majburiy sug‘urtalashsiz harakatlanayotgan, avtomobilisiz harakatlanish qiyin bo‘lgan joylarda to‘xtab qolgan yoki to‘xtab qolgan qoidabuzarlarni ham aniqlashi mumkin. yoki nogironlar, yo'l belgilari va belgilarining talablarini e'tiborsiz qoldiradigan joylarda va hokazo. Yaqinda poytaxtda to‘xtash chizig‘ini kuzatuvchi yo‘l kameralari paydo bo‘ldi. Va allaqachon 2019-yilda “Yo‘l harakatini tashkil etish markazi” davlat davlat muassasasi (TsODD) tomonidan yo‘l harakatining eng zaif ishtirokchilari xavfsizligini nazorat qilish uchun 200 ta tizim o‘rnatiladi – kameralar zebra o‘tish joylarida piyodalarning o‘tishiga yo‘l qo‘ymaydigan haydovchilarga yo‘naltiriladi. Eslatib o'tamiz, bunday huquqbuzarlik uchun Ma'muriy javobgarlik to'g'risidagi kodeksning 12.18-moddasiga binoan jarima miqdori 1,5 mingdan 2,5 ming rublgacha.

Avtoulovchilar uchun mutlaqo yangi jarima paydo bo'lishi yaqin orada - bu haqda 12 noyabr kuni yo'l politsiyasi boshlig'i Mixail Chernikov ma'lum qildi. Inspeksiya xavfli transport vositalarini boshqarish uchun jazo choralarini qo‘llash niyatida. Foto va video qayd etish tizimlariga, ehtimol, shashka o'yini muxlislari uchun ehtiyotsiz xatti-harakatlarni kuzatish va qarorlar qabul qilish ishonib topshiriladi.

Orqa tomondan o'q uzildi

Moskvani "aqlli shahar"ga aylantirish kontseptsiyasi doirasida 2011 yildan beri poytaxtda yo'l tarmog'ining yuki va holati to'g'risida ma'lumot to'playdigan va tahlil qiladigan intellektual transport tizimini (ITS) faol ravishda joriy etmoqda. ITSning "qo'llari va ko'zlari" - bu ma'lumotlarni to'plash, qayta ishlash, saqlash va ularni yangilab turishni ta'minlaydigan yo'l kameralari va boshqa dasturiy va apparat vositalari.

Rossiyada uch turdagi tizimlar qo'llaniladi: radar, lazer va video yozish. Ular ham statsionar, ham mobil bo'lishi mumkin. Radar tizimlarini farqlash mumkin ko'rinish(ularning har birida ikkita "ko'z" bor - radar sensori va kamera linzalari uchun) va video yozib olish bumga bir nechta kameralarni o'rnatishni o'z ichiga oladi (har bir chiziq uchun bittadan).

O'rtacha, kamera tajovuzkorni "tutib oladigan" fokus uzunligi 50 m dan 500 m gacha, ammo qurilma tomonidan qayd etilishi mumkin bo'lgan maksimal tezlik chegarasi sezilarli darajada oshdi: zamonaviy tizimlarning diapazoni 0-. Avvalgidek 0–180 km/soat emas, 250 km/soat.

Zamonaviy tizimlar hatto iflos yoki deformatsiyalangan avtomobil raqamlarini tanib olishni o'rgandi va xato qilish ehtimoli kamroq bo'ldi. Misol uchun, tezlikka qarab Moskvada mashhur bo'lgan Avtouragan komplekslarining xatosi transport vositasi faqat 1-2 km / soat, Strelka majmuasining turli xil modifikatsiyalari 2 km / soat dan oshmaydi. Aytgancha, ikkinchisi maxsus "farzand" bilan jihozlangan - agar kir bo'lsa, kameraning ko'zini mustaqil ravishda tozalaydigan qurilma.

Bundan tashqari, endi qurilma nafaqat avtomobilni old tomondan suratga olishi, balki ob'ekt kameradan uzoqlashayotgan tezligini aniqlashi, harakat traektoriyasini kuzatishi, ma'lum bir hududda transport vositasining o'rtacha tezligini o'lchashi, yoki hatto "pit-stop" tamoyili bo'yicha ishlaydi. Ikkinchi holda, huquqbuzarning ma'lumotlari to'xtash talabi bilan eng yaqin yo'l harakati politsiyasining navbatchi brigadasiga o'tkaziladi.

2018-yil sentabr oyidan boshlab Moskvada test rejimida neyron tarmoq ishga tushirildi, u ichki ishlar vazirligining barcha roʻyxatga olingan avtomobillar haqidagi maʼlumotlar bazasi bilan bogʻlangan. Avtotransport niqobi deb ataladigan narsa jamoat mulkida saqlanadi va avtomobilning markasi va modeli, kuzov rangi va davlat raqami haqidagi ma'lumotlarni o'z ichiga oladi.

Poytaxt transport boshqarmasi boshlig‘i Maksim Liksutovning so‘zlariga ko‘ra, shaharda neyron tarmog‘ining joriy etilishi firibgarlik, ya’ni davlat raqamlarini almashtirish yoki transport vositasini o‘g‘irlash holatlarini aniqlash imkonini beradi. Tizim avtomashina va unga o‘rnatilgan davlat raqamlari o‘rtasidagi nomuvofiqlikni avtomatik tarzda aniqlash va politsiya xodimiga avtomobilni tekshirish zarurligi haqida signal berish imkoniyatiga ega.

Qanday qilib kameraga tushmaslik kerak?

Avvalo, jarimani olmaslik uchun, albatta, buzilmasligingiz kerak: yo'l harakati qoidalariga rioya qiling, tezlik chegarasiga rioya qiling, asfaltdagi belgilar va belgilarga rioya qiling. Bundan tashqari, siz radar detektori yoki radar detektorli videoregistrator yordamida o'zingizni qo'shimcha himoya qilishingiz mumkin: bu qurilmalar real vaqt rejimida vaziyatni kuzatib boradi, yo'l politsiyasi kameralaridan signallarni oladi va haydovchini audio signal bilan xabardor qiladi.

Android yoki Apple-ga asoslangan qurilmalar bozorida shunga o'xshash funksiyalarga ega bo'lgan juda ko'p sonli ilovalar mavjud. Bunday ilovalarning narxi, ularning imkoniyatlari va aniqligiga qarab, 100 dan 1650 rublgacha. Yoki sozlamalarda kameralar va boshqa yo'l hodisalari haqida ovozli xabar berish funksiyasini oldindan faollashtirgan holda bepul navigatordan foydalanishingiz mumkin. Biroq, masalan, yangi kameralar yoki yo'l politsiyasining mobil postlari haqidagi ma'lumotlar siz bilan bir xil foydalanuvchilar tomonidan kiritilganligini hisobga olish kerak.

Sizning haqligingizni qanday isbotlash mumkin?

Kameralar tomonidan qayd etilgan yo'l harakati qoidalarini buzganlik uchun noto'g'ri berilgan jarimalarga e'tiroz bildirish mumkin va kerak. Biroq, buni faqat siz buzmaganligingizga amin bo'lsangiz va buni muhim dalillar bilan qo'llab-quvvatlasangiz amalga oshirilishi kerak.

Qarorlar ustidan shikoyat qilish mexanizmi quyidagicha:

Jarima olgan paytdan e'tiboran shikoyat qilish uchun 10 kun (Ma'muriy Kodeksning 30.3-moddasi);

Shikoyat shaxsan (Moskva transport xizmat ko'rsatish markazlariga yoki MADI qabulxonasiga) yoki elektron shaklda (Avtokod portali yoki Moskva hukumatining elektron qabulxonasi orqali) topshirilishi mumkin;

Hujjatlar to'plamida o'z qo'lingiz bilan imzolangan shikoyatning o'zi ham, murojaatingizdagi ma'lumotlarni tasdiqlovchi qo'shimcha materiallar (foto, video yoki boshqa hujjatlar) bo'lishi kerak;

Agar shikoyat berilgan vaqtga kelib, Ma'muriy javobgarlik to'g'risidagi kodeksda belgilangan 10 kun o'tgan bo'lsa, hujjatlar to'plamiga ma'muriy huquqbuzarlik to'g'risidagi qaror ustidan shikoyat qilishning o'tkazib yuborilgan muddatini tiklash to'g'risidagi iltimosnoma ilova qilinishi kerak. shaxsan imzolanishi;

Shikoyatda u berilgan organning nomi, qarorning sanasi, raqami va ayblovning noqonuniyligini isbotlovchi dalillar ko'rsatilishi kerak. Ko'proq batafsil ko'rsatmalar shikoyat matnlari misollari bilan Moskva merining rasmiy veb-saytida e'lon qilindi.

Shikoyatni ko'rib chiqish uchun 10 kun ajratilgan, shuning uchun siz hali ham jarimani to'lashingiz kerak, hatto u noto'g'ri berilgan bo'lsa ham. Bundan tashqari, qaror yuqori organlarga - avval yo'l politsiyasida, keyin esa sudda e'tiroz bildirilishiga tayyorlanishga arziydi. Sayohatingizdan keyin dashcam tasvirlarini kamida bir necha hafta saqlashni qoidaga aylantiring.

Yandex kompaniyasi matbuot xizmatiga ko'ra, neyron tarmog'idan foydalanib, u eng mashhurlaridan biri bo'lgan o'nta sovet multfilmining o'lchamlarini sezilarli darajada oshirishga va tasvir sifatini yaxshilashga muvaffaq bo'ldi.

Oxirgi bir necha yil ichida olimlar turli xil neyron tarmoqlarni yaratmoqdalar, bu imkoniyat kompyuterlarning hisoblash quvvatining oshishi va matematikaning rivojlanishi tufayli mavjud bo'ldi. Neyron tarmoqlar - bu ahamiyatsiz muammolarni hal qila oladigan sun'iy intellekt tizimlari. Bunday murakkab neyron tarmoqlarning ba'zilari hatto qutidan tashqarida o'ylashlari va shu bilan mustaqil ravishda yangi san'at asarlarini yaratishlari va innovatsion texnologiyalarni rivojlantirishlari mumkin.

Yandex-dan neyron tarmog'i DeepHD deb ataladi. Ilgari u Ulug 'Vatan urushi haqida hikoya qiluvchi filmlar sifatini yaxshilash uchun ishlatilganda o'zini yaxshi ko'rsatgan edi. Keyin ettita film o'zgarishlarga duch keldi. Endi navbat sovet animatsiyasi: Qor malikasi, Qizil gul, Vuf ismli mushukcha Umka o'z do'stini qidirmoqda, Dyumbelina va boshqalar.

Maxsus sun'iy intellekt tizimi faqat sifatni yaxshilash bilan shug'ullanadi va multfilm kadrlariga mutlaqo o'zgartirish kiritmaydi. Uning vazifasi rassom tomonidan mo'ljallangan, ammo multfilmlarni kinodan raqamli formatga o'tkazish paytida yo'qolgan tafsilotlarni tiklashdir. DeepHD neyron tarmog'ining tavsifi mavjud sahifada uning xususiyatlari haqida so'z boradi. Hammasi bo'lib to'rtta bunday xususiyat mavjud: nuqsonlar va shovqinlarni olib tashlash, kattalashtirishda tafsilotlarni saqlash, video oqimlari va individual tasvirlar bilan mukammal ishlash, real vaqtda ishlash qobiliyati.

DeepHD texnologiyasining asosi generativ raqib neyron tarmoqlaridir. Dastlabki bosqichda bitta neyron tarmoq videoni siqish paytida paydo bo'ladigan nuqsonlarni bartaraf etish bilan shug'ullanadi. Ikkinchi bosqich tasvirni kattalashtirish, shuningdek, bunday o'zgarishlar vaqtida tafsilotlarning ravshanligini saqlash uchun mas'ul bo'lgan boshqa neyron tarmoq tomonidan amalga oshiriladi. DeepHD neyron tarmog'ining batafsil ishi bilan uning yaratuvchilarining rasmiy blogida tanishishingiz mumkin.

Ta'kidlash joizki, DeepHD-da bugungi kunda tomoshabinlar nafaqat eski filmlar va multfilmlarni, balki yangi badiiy va animatsion filmlarni ham ko'rishlari mumkin. Siz ularni "DeepHD" qo'shilishi bilan qidiruv so'rovi orqali topishingiz mumkin. Bugun siz hatto yuqori sifatli televizion kanallarni tomosha qilishingiz mumkin, bu neyron tarmoqning real vaqt rejimida ishlash qobiliyati tufayli mavjud bo'ldi.

Bu yangilik sizga yoqdimi? Keyin bosing.

Bugun biz yangi "Palekh" qidiruv algoritmini e'lon qildik. U biz oxirgi paytlarda ishlayotgan barcha yaxshilanishlarni o'z ichiga oladi.

Misol uchun, qidiruv endi birinchi marta neyron tarmoqlardan hujjatlarni so'rovda va hujjatning o'zida ishlatiladigan so'zlar bo'yicha emas, balki so'rovning ma'nosi va sarlavhasi bo'yicha topish uchun foydalanadi.

Ko'p o'n yillar davomida tadqiqotchilar semantik qidiruv muammosi bilan kurashib kelmoqdalar, unda hujjatlar so'rovga semantik aloqadorligi asosida tartiblanadi. Va endi bu haqiqatga aylanmoqda.

Ushbu postda men buni qanday amalga oshirganimiz va nima uchun bu boshqa mashinani o'rganish algoritmi emas, balki kelajakka muhim qadam ekanligi haqida bir oz gapirishga harakat qilaman.

Sun'iy intellektmi yoki mashinani o'rganishmi?

Bu zamonaviylikni deyarli hamma biladi qidiruv tizimlari mashina o'rganish yordamida ishlash. Nega uning vazifalari uchun neyron tarmoqlardan foydalanish haqida alohida gapirishimiz kerak? Nega endi, bu mavzu atrofidagi shov-shuv bir necha yillardan beri to'xtamagan? Men sizga masalaning tarixi haqida aytib berishga harakat qilaman.

Internetda qidiruv uzoq vaqt oldin paydo bo'lgan murakkab tizimdir. Avvaliga bu shunchaki sahifalarni qidirish edi, keyin u muammoni hal qiluvchiga aylandi va endi u to'liq huquqli yordamchiga aylandi. Internet qanchalik katta bo'lsa va odamlar qancha ko'p bo'lsa, ularning talablari qanchalik baland bo'lsa, qidiruv shunchalik qiyinlashadi.

Oddiy qidiruv davri

Avvaliga shunchaki so'z qidirish bor edi - teskari indeks. Keyin sahifalar juda ko'p edi, ularni tartiblash kerak edi. Turli xil asoratlar hisobga olindi - so'z chastotasi, tf-idf.

Havolalar davri

Keyin har qanday mavzuda juda ko'p sahifalar bor edi, muhim yutuq yuz berdi - ular havolalarni hisobga olishni boshladilar, PageRank paydo bo'ldi.

Mashinani o'rganish davri

Internet tijoriy ahamiyatga ega bo'ldi va ko'plab firibgarlar o'sha paytda mavjud bo'lgan oddiy algoritmlarni aldashga harakat qilishdi. Ikkinchi muhim yutuq yuz berdi - qidiruv tizimlari qaysi sahifalar yaxshi va qaysi biri yomon ekanligini tushunish uchun foydalanuvchilarning xatti-harakatlari haqidagi bilimlaridan foydalanishni boshladilar.

Qaerdadir, bu bosqichda, inson ongi endi hujjatlarni qanday tartiblashni tushunish uchun etarli emas edi. Keyingi o'tish sodir bo'ldi - qidiruv tizimlari mashinani o'rganishdan faol foydalana boshladi.

Mashinani o'rganishning eng yaxshi algoritmlaridan biri Yandex - Matrixnet-da ixtiro qilingan. Aytishimiz mumkinki, reytingga foydalanuvchilarning umumiy aqli va "olomonning donoligi" yordam beradi. Saytlar va odamlarning xatti-harakatlari haqidagi ma'lumotlar ko'plab omillarga aylantiriladi, ularning har biri Matrixnet tomonidan reyting formulasini yaratish uchun ishlatiladi. Aslida, reyting formulasi mashina tomonidan yozilgan (taxminan 300 megabayt bo'lib chiqdi).

Ammo "klassik" mashinani o'rganishning chegarasi bor: u faqat ma'lumotlar ko'p bo'lgan joyda ishlaydi. Kichik bir misol. Millionlab foydalanuvchilar xuddi shu saytni topish uchun [VKontakte] so'roviga kirishadi. Bunday holda, ularning xatti-harakati shunchalik kuchli signalki, qidiruv odamlarni natijalarga qarashga majburlamaydi, balki so'rovni kiritishda darhol manzilni so'raydi.

Ammo odamlar murakkabroq va ular o'zlarining izlanishlaridan ko'proq narsani xohlashadi. Endi barcha so'rovlarning 40% gacha noyobdir, ya'ni ular butun kuzatish davrida kamida ikki marta takrorlanmaydi. Bu shuni anglatadiki, qidiruvda foydalanuvchi xatti-harakatlari haqida etarli ma'lumotlar yo'q va Matrixnet qimmatli omillardan mahrum. Yandex-dagi bunday so'rovlar "uzun quyruq" deb nomlanadi, chunki ular birgalikda bizning qidiruvimizga tashrif buyurganlarning katta qismini tashkil qiladi.

Sun'iy intellekt davri

Va endi so'nggi yutuq haqida gapirish vaqti keldi: bir necha yil oldin kompyuterlar etarlicha tezlashdi va neyron tarmoqlardan foydalanish uchun etarli ma'lumotlar mavjud edi. Ularga asoslangan texnologiyalar mashina intellekti yoki sun'iy intellekt deb ham ataladi - chunki neyron tarmoqlar miyamizdagi neyronlar tasvirida qurilgan va uning ayrim qismlari ishiga taqlid qilishga harakat qiladi.

Mashina razvedkasi odamlar qila oladigan vazifalarni bajarishda, masalan, nutqni aniqlash yoki tasvirlardagi naqshni aniqlashda eski usullardan ancha yaxshi. Ammo bu qidiruvga qanday yordam beradi?

Qoida tariqasida, past chastotali va noyob so'rovlarni qidirish juda qiyin va ular uchun yaxshi javob topish ancha qiyin. Buni qanday qilish kerak? Bizda foydalanuvchilardan hech qanday maslahat yo'q (qaysi hujjat yaxshiroq va qaysi biri yomonroq), shuning uchun qidiruv muammosini hal qilish uchun biz ikkita matn: so'rov va hujjat o'rtasidagi semantik yozishmalarni yaxshiroq tushunishni o'rganishimiz kerak.

Aytishga oson

To'g'ri aytganda, sun'iy neyron tarmoqlari mashinani o'rganish usullaridan biridir. Yaqinda Kichik ShAD doirasida ularga ma'ruza bag'ishlandi. Neyron tarmoqlar tabiiy axborot - tovush va tasvirlarni tahlil qilish sohasida ajoyib natijalarni ko'rsatadi. Bu bir necha yildan beri sodir bo'lmoqda. Lekin nima uchun ular shu paytgacha qidiruvlarda faol foydalanilmagan?

Oddiy javob shundaki, ma'no haqida gapirish rasmdagi tasvir yoki tovushlarni dekodlangan so'zlarga aylantirishdan ko'ra ancha qiyin. Biroq, ma'no izlashda sun'iy intellekt haqiqatan ham uzoq vaqtdan beri qirol bo'lgan hududdan - tasvirlarni qidirishdan kela boshladi.

Bu rasm qidirishda qanday ishlashi haqida bir necha so'z. Siz tasvirni olasiz va uni N o'lchovli fazoda vektorga aylantirish uchun neyron tarmoqlardan foydalanasiz. So'rovni oling (u matn shaklida yoki boshqa rasm shaklida bo'lishi mumkin) va u bilan ham xuddi shunday qiling. Va keyin siz bu vektorlarni solishtirasiz. Ular bir-biriga qanchalik yaqin bo'lsa, rasm so'rovga qanchalik mos keladi.

OK, agar u tasvirlarda ishlayotgan bo'lsa, nega veb-qidiruvda bir xil mantiqni qo'llamaysiz?

Shayton texnologiyada

Keling, muammoni quyidagicha shakllantiramiz. Bizda foydalanuvchi so'rovi va kirishda sahifa sarlavhasi mavjud. Ularning bir-biriga qanchalik mos kelishini tushunishingiz kerak. Buning uchun so'rov matnini va sarlavha matnini shunday vektorlar ko'rinishida ko'rsatish kerak, ularning skalyar ko'payishi kattaroq bo'lsa, berilgan sarlavhali hujjat so'rovga qanchalik mos keladi. Boshqacha qilib aytganda, biz neyron tarmoqni shunday o'rgatmoqchimizki, ma'nosi yaqin bo'lgan matnlar uchun u o'xshash vektorlarni hosil qiladi, ammo semantik jihatdan bog'liq bo'lmagan so'rovlar va sarlavhalar uchun vektorlar boshqacha bo'lishi kerak.

Ushbu vazifaning murakkabligi neyron tarmog'ini o'qitish uchun to'g'ri arxitektura va usulni tanlashdadir. Muammoni hal qilishning bir nechta yondashuvlari ilmiy nashrlardan ma'lum. Bu erda eng oddiy usul bu word2vec algoritmidan foydalangan holda matnlarni vektor sifatida ko'rsatishdir (afsuski, amaliy tajriba shuni ko'rsatadiki, bu muammoni hal qilish uchun juda yomon echimdir).

DSSM

2013 yilda Microsoft Research tadqiqotchilari chuqur tuzilgan semantik model deb nomlangan yondashuvlarini tasvirlab berishdi.

Model kiritish so'rovlar va sarlavhalar matnidir. Modelning hajmini kamaytirish uchun ular ustida operatsiya bajariladi, mualliflar buni so'z xeshlash deb atashadi. Matnga boshlanish va tugatish belgilari qo'shiladi, shundan so'ng u harf trigrammalariga bo'linadi. Masalan, [palex] so'rovi uchun biz [pa, ale, lekh, ex] trigrammalarini olamiz. Turli trigrammalar soni cheklanganligi sababli, biz so'rov matnini o'lchamdagi bir necha o'n minglab elementlarning vektori sifatida ko'rsatishimiz mumkin (bizning alifbomizning o'lchami 3-darajali). So'rovning trigrammalariga to'g'ri keladigan vektor elementlari 1 ga teng bo'ladi, qolganlari - 0. Aslini olganda, biz trigrammalarning matndan barcha ma'lum trigrammalardan iborat lug'atga kiritilishini shunday belgilaymiz. Agar siz bunday vektorlarni taqqoslasangiz, faqat so'rov va sarlavhada bir xil trigramlar mavjudligi haqida bilib olishingiz mumkin, bu alohida qiziqish uyg'otmaydi. Shuning uchun, endi ularni boshqa vektorlarga aylantirish kerak, ular allaqachon bizga kerak bo'lgan semantik yaqinlik xususiyatlariga ega bo'ladi.

Kirish qatlamidan so'ng, chuqur arxitekturada kutilganidek, so'rov va sarlavha uchun bir nechta yashirin qatlamlar mavjud. Oxirgi qatlam 128 ta elementdan iborat bo'lib, taqqoslash uchun ishlatiladigan vektor bo'lib xizmat qiladi. Modelning chiqishi oxirgi sarlavha va so'rov vektorlarini skaler ko'paytirish natijasidir (aniq bo'lsa, vektorlar orasidagi burchakning kosinusu hisoblanadi). Model shunday o'qitilganki, ijobiy o'qitish misollari uchun chiqish qiymati katta, salbiy uchun esa kichik. Boshqacha qilib aytganda, oxirgi qatlam vektorlarini taqqoslash orqali biz bashorat qilish xatosini hisoblashimiz va modelni xato kamayishi uchun o'zgartirishimiz mumkin.

Biz Yandex kompaniyasida sun'iy neyron tarmoqlarga asoslangan modellarni ham faol tadqiq qilmoqdamiz, shuning uchun biz DSSM modeliga qiziqib qoldik. Keyinchalik biz ushbu sohadagi tajribalarimiz haqida gapiramiz.

Nazariya va amaliyot

Ilmiy adabiyotlarda tavsiflangan algoritmlarning xarakterli xususiyati shundaki, ular har doim ham qutidan tashqarida ishlamaydi. Gap shundaki, "akademik" tadqiqotchi va sanoat tadqiqotchisi sezilarli darajada farq qiladi. Ilmiy nashr muallifi o'z yechimini solishtiradigan boshlang'ich nuqta (asosiy chiziq) qandaydir taniqli algoritm bo'lishi kerak - bu natijalarning takrorlanishini ta'minlaydi. Tadqiqotchilar ilgari chop etilgan yondashuv natijalarini olishadi va ulardan qanday qilib oshib ketish mumkinligini ko'rsatadilar. Misol uchun, original DSSM mualliflari NDCG metrikasi yordamida o'z modellarini BM25 va LSA algoritmlari bilan solishtiradilar. Haqiqiy qidiruv tizimida qidiruv sifatini o'rganuvchi amaliy tadqiqotchiga kelsak, boshlang'ich nuqta bitta aniq algoritm emas, balki butun reytingdir. Yandex ishlab chiqaruvchisining maqsadi BM25 dan o'zib ketish emas, balki ilgari kiritilgan omillar va modellarning barcha to'plami fonida yaxshilanishga erishishdir. Shunday qilib, Yandex-da tadqiqotchi uchun baza juda yuqori va ilmiy yangilikka ega bo'lgan va "akademik" yondashuv bilan yaxshi natijalarni ko'rsatadigan ko'plab algoritmlar amalda foydasiz bo'lib chiqadi, chunki ular haqiqatan ham qidiruv sifatini yaxshilamaydi.

DSSM holatida biz bir xil muammoga duch keldik. Odatdagidek, "jangovar" sharoitda maqoladagi modelni aniq amalga oshirish juda oddiy natijalarni ko'rsatdi. Amaliy nuqtai nazardan qiziqarli natijalarni olishimizdan oldin bir qator muhim "fayllarni o'zgartirish" talab qilindi. Bu erda biz uni yanada kuchliroq qilishimizga imkon bergan asl modelning asosiy modifikatsiyalari haqida gapiramiz.

Katta kirish qatlami

Asl DSSM modelida kirish qatlami harf trigramlari to'plamidir. Uning o'lchami 30 000 trigramma yondashuvi bir nechta afzalliklarga ega. Birinchidan, ular nisbatan kam, shuning uchun ular bilan ishlash katta resurslarni talab qilmaydi. Ikkinchidan, ulardan foydalanish matn terish xatolari va noto'g'ri yozilgan so'zlarni aniqlashni osonlashtiradi. Biroq, bizning tajribalarimiz shuni ko'rsatdiki, matnlarni trigramlarning "sumkasi" sifatida ko'rsatish tarmoqning ekspressiv kuchini sezilarli darajada kamaytiradi. Shuning uchun biz kirish qatlamining hajmini tubdan oshirdik, jumladan, harf trigrammalariga qo'shimcha ravishda yana 2 millionga yaqin so'z va iboralar. Shunday qilib, biz so'rov va sarlavha matnlarini so'zlar, so'z bigrammalari va harf trigrammalarining qo'shma "sumkasi" sifatida ifodalaymiz.

Katta kirish qatlamidan foydalanish model hajmini, o'qitish vaqtini oshirishga olib keladi va sezilarli darajada ko'proq hisoblash resurslarini talab qiladi.

O'rganish qiyin: neyron tarmoq o'zi bilan qanday kurashgan va xatolaridan saboq olgan

Asl DSSM ni o'rgatish tarmoqni ko'plab ijobiy va salbiy misollarga ta'sir qilishdan iborat. Ushbu misollar qidiruv natijalaridan olingan (ko'rinishidan, buning uchun Bing qidiruv tizimi ishlatilgan). Ijobiy misollar bosilgan qidiruv hujjatlarining sarlavhalari, salbiy misollar bosilmagan hujjatlarning sarlavhalaridir. Ushbu yondashuv ma'lum kamchiliklarga ega. Gap shundaki, bosishning yo'qligi har doim ham hujjatning ahamiyatsizligini ko'rsatmaydi. Qarama-qarshi bayonot ham to'g'ri - chertishning mavjudligi hujjatning dolzarbligini kafolatlamaydi. Aslida, asl maqolada tasvirlangan tarzda o'rganish orqali biz sarlavhalarning jozibadorligini taxmin qilishga intilamiz, agar ular qidiruv natijalarida mavjud bo'lsa. Bu, albatta, yomon emas, lekin bu bizning asosiy maqsadimiz - semantik yaqinlikni tushunishni o'rganish bilan juda bilvosita bog'liq.

Tajribalarimiz davomida, agar salbiy misollarni tanlashda boshqa strategiyadan foydalansak, natija sezilarli darajada yaxshilanishi mumkinligini aniqladik. Maqsadimizga erishish uchun yaxshi salbiy misollar so'rov uchun ahamiyatsiz bo'lishi kafolatlangan hujjatlardir, lekin ayni paytda neyron tarmoqqa so'zlarning ma'nosini yaxshiroq tushunishga yordam beradi. Ularni qayerdan olsam bo'ladi?

Birinchi urinib ko'ring

Birinchidan, salbiy misol sifatida tasodifiy hujjat sarlavhasini olaylik. Masalan, so'rov uchun [Palekh rasmi] tasodifiy sarlavha "Rossiya Federatsiyasining 2016 yilgi yo'l qoidalari" bo'lishi mumkin. Albatta, milliardlab hujjatlardan tasodifiy tanlangan hujjat so'rovga tegishli bo'lishini butunlay istisno qilib bo'lmaydi, ammo buning ehtimoli shunchalik kichikki, uni e'tiborsiz qoldirish mumkin. Shunday qilib, biz juda ko'p salbiy misollarni juda oson olishimiz mumkin. Ko'rinishidan, endi biz tarmoqimizga o'zimiz xohlagan narsani - foydalanuvchilarni qiziqtiradigan yaxshi hujjatlarni so'rovga hech qanday aloqasi bo'lmagan hujjatlardan ajratishni o'rgatishimiz mumkin. Afsuski, bunday misollar bo'yicha o'qitilgan model juda zaif bo'lib chiqdi. Neyron tarmoq aqlli narsa va har doim o'z ishini soddalashtirish yo'lini topadi. Bunday holda, u so'rovlar va sarlavhalarda xuddi shu so'zlarni qidira boshladi: bor - yaxshi juftlik, yomon emas. Ammo biz buni o'zimiz qila olamiz. Tarmoqning aniq bo'lmagan naqshlarni ajratishni o'rganishi biz uchun muhimdir.

Yana bir urinish

Keyingi tajriba so'rovdagi so'zlarni salbiy misollarning sarlavhalariga qo'shish edi. Masalan, so'rov uchun [Palekh rasmi] tasodifiy sarlavha [Rossiya Federatsiyasining 2016 yilgi yo'l qoidalari] rasmiga o'xshardi. Neyron tarmoq biroz qiyinroq edi, ammo shunga qaramay, u tezda tabiiy juftlarni qo'lda tuzilganlardan yaxshi ajratishni o'rgandi. Bunday usullar yordamida muvaffaqiyatga erisha olmasligimiz ayon bo'ldi.

Muvaffaqiyat

Ko'pgina aniq echimlar ular kashf etilgandan keyingina aniq bo'ladi. Bu safar ham shunday bo'ldi: biroz vaqt o'tgach, bu aniqlandi Eng yaxshi yo'l salbiy misollarni yaratish tarmoqni o'ziga qarshi "kurashga" majburlash, o'z xatolaridan saboq olish demakdir. Yuzlab tasodifiy sarlavhalar orasida biz hozirgi neyron tarmoq eng yaxshi deb hisoblagan sarlavhani tanladik. Biroq, bu sarlavha hali ham tasodifiy bo'lgani uchun, u so'rovga mos kelmasligi ehtimoli yuqori. Aynan mana shu sarlavhalarni biz salbiy misol sifatida ishlata boshladik. Boshqacha qilib aytganda, siz tarmoqqa eng yaxshi tasodifiy sarlavhalarni ko'rsatishingiz, uni o'rgatishingiz, yangi eng yaxshi tasodifiy sarlavhalarni topishingiz, tarmoqni yana ko'rsatishingiz va hokazo. Ushbu protsedurani qayta-qayta takrorlab, biz modelning sifati sezilarli darajada yaxshilanganini ko'rdik va tobora ko'proq tasodifiy juftliklarning eng yaxshilari haqiqiy ijobiy misollarga o'xshash bo'ldi. Muammo hal qilindi.

Ilmiy adabiyotlarda shunga o'xshash ta'lim sxemasi odatda qattiq salbiy kon deb ataladi. Shuni ham ta'kidlash kerakki, shunga o'xshash echimlar ilmiy hamjamiyatda haqiqiy ko'rinishdagi tasvirlarni yaratish uchun keng tarqaldi;

Turli maqsadlar

Microsoft Research tadqiqotchilari hujjatni bosish orqali ijobiy misol sifatida foydalanishdi. Biroq, yuqorida aytib o'tilganidek, bu sarlavhaning so'rovga semantik muvofiqligi haqida juda ishonchsiz signal. Oxir-oqibat, bizning maqsadimiz qidiruv natijalarida eng ko'p tashrif buyurilgan saytlarni tartiblash emas, balki haqiqatan ham foydali ma'lumotlarni topishdir. Shuning uchun biz o'quv maqsadi sifatida foydalanuvchi xatti-harakatlarining boshqa xususiyatlaridan foydalanishga harakat qildik. Misol uchun, modellardan biri foydalanuvchining saytda qolishi yoki ketishini bashorat qilgan. Yana biri - u qancha vaqt saytda qoladi. Ma'lum bo'lishicha, agar siz bunday maqsadli ko'rsatkichni optimallashtirsangiz, natijalarni sezilarli darajada yaxshilashingiz mumkin, bu foydalanuvchi kerakli narsani topganligini ko'rsatadi.

Foyda

OK, bu bizga amalda nima beradi? Neyron modelimizning xatti-harakatlarini va so'rov so'zlari va matn o'rtasidagi yozishmalarga asoslangan oddiy matn omilini solishtiramiz - BM25. Bu bizga reyting oddiy bo'lgan paytlarda kelgan va endi uni asosiy daraja sifatida ishlatish qulay.

Keling, misol sifatida [Kells kitobi] so'rovini olaylik va omillar turli sarlavhalarda qanday ahamiyatga ega ekanligini ko'rib chiqamiz. Buni nazorat qilish uchun sarlavhalar ro'yxatiga aniq ahamiyatsiz natijani qo'shamiz.

Yandex-dagi barcha omillar intervalgacha normallashtiriladi. BM25 so'rov so'zlarini o'z ichiga olgan sarlavhalar uchun yuqori qiymatlarga ega bo'lishi kutilmoqda. Va bu omil so'rov bilan umumiy so'zlarga ega bo'lmagan sarlavhalarda nol qiymatini olishini oldindan aytish mumkin. Endi neyron modeli qanday harakat qilishiga e'tibor bering. U so'rovning Vikipediyadagi tegishli sahifaning rus tilidagi sarlavhasi bilan ham, maqola nomi bilan ham bog'liqligini yaxshi tushunadi. Ingliz tili! Bundan tashqari, model Kells kitobini eslatib o'tmagan, ammo shunga o'xshash iborani ("Irlandiya xushxabarlari") o'z ichiga olgan so'rov va sarlavha o'rtasidagi bog'liqlikni "ko'rgan" ko'rinadi. Muhim bo'lmagan nom uchun modelning qiymati sezilarli darajada past.

Keling, so'rovni uning ma'nosini o'zgartirmasdan qayta shakllantirsak, bizning omillarimiz qanday harakat qilishini ko'rib chiqamiz: [Kells xushxabari].

BM25 uchun so'rovni qayta shakllantirish haqiqiy falokatga aylandi - tegishli sarlavhalarda omil nolga aylandi. Va bizning modelimiz islohotga mukammal qarshilik ko'rsatadi: tegishli sarlavhalar hali ham yuqori omil qiymatiga ega, ahamiyatsiz sarlavha hali ham past omil qiymatiga ega. Aftidan, biz matn semantikasini “tushunish”ga qodir bo‘lgan narsadan aynan shu xatti-harakatni kutgandik.

Yana bir misol. So'rov [kapalak ezilgan hikoya].

Ko'rib turganimizdek, neyron modeli so'rov bilan umumiy so'zlarning to'liq yo'qligiga qaramay, to'g'ri javob bilan sarlavhani yuqori baholay oldi. Bundan tashqari, so'rovga javob bermaydigan, ammo ma'nosi bilan bog'liq bo'lgan sarlavhalar juda yuqori omil qiymatiga ega ekanligi aniq ko'rinib turibdi. Go'yo bizning modelimiz Bredberining hikoyasini "o'qib" va so'rovda aynan shu narsa haqida gapirayotganini "bilar"!

Keyingisi nima?

Biz uzoq va juda qiziqarli sayohatning boshida turibmiz. Ko'rinishidan, neyron tarmoqlar reytingni yaxshilash uchun katta imkoniyatlarga ega. Faol rivojlanishga muhtoj bo'lgan asosiy yo'nalishlar allaqachon aniq.

Misol uchun, sarlavhada hujjat haqida to'liq bo'lmagan ma'lumotlar borligi ko'rinib turibdi va to'liq matndan foydalangan holda model qurishni o'rgansangiz yaxshi bo'lardi (ma'lum bo'lishicha, bu mutlaqo ahamiyatsiz ish emas). Bundan tashqari, biz DSSM ga qaraganda ancha murakkab arxitekturaga ega modellarni tasavvur qilishimiz mumkin - shu tarzda biz ba'zi tabiiy til konstruksiyalarini yaxshiroq boshqarishimiz mumkinligiga ishonish uchun asos bor. Biz uzoq muddatli maqsadimizni so'rovlar va hujjatlar o'rtasidagi semantik yozishmalarni odamnikiga o'xshash darajada "tushunishi" mumkin bo'lgan modellarni yaratishda ko'ramiz. Ushbu maqsadga erishish yo'lida ko'p qiyinchiliklar bo'ladi - undan o'tish qanchalik qiziqarli bo'ladi. Biz bu boradagi ishlarimiz haqida gapirishga va'da beramiz. Keyingi nashrlarni kuzatib boring.

Fantast-yozuvchi Sergey Lukyanenko Yandex neyron tarmog'i bilan birgalikda "Dikanka yaqinidagi fermada oqshomlar" seriyasi uslubida asar yaratdi. Yozuvchi qahramonlar va asosiy voqealar liniyalarini ishlab chiqdi, keyin neyron tarmoq shu asosda jamoat mulki bo'lgan "Yomon shartnoma" hikoyasini yaratdi.

Rivojlanish xususiyatlari

Loyiha g'oyasi TV-3 kanaliga tegishli. Ushbu voqea "Gogol" filmining namoyishi bo'ldi. Dahshatli qasos", Rossiyada premyerasi 2018 yil 30 avgustga rejalashtirilgan. Prodyuser Valeriy Fedorovichning ta'kidlashicha, hikoyani yaratish jarayoni Gogolning asarlarida qanday ishlaganiga mos keladi. Ammo agar Nikolay Vasilyevichning onasi xalq afsonalarini yozib, ularni xatlar bilan yuborgan bo'lsa, unda bu holda ma'lumot neyron tarmog'i tomonidan qayta ishlanadi va folklor "ovqati" yozuvchi tomonidan taqdim etiladi.

Dastur "Yomon shartnoma" hikoyasiga ko'plab tafsilotlarni, syujet chiziqlarini qo'shdi va Gogolga o'xshash hikoya tilini taqdim etdi. Bunday natijaga umuman rus nasri, undan keyin esa, xususan, yozuvchining asarlari bo'yicha dastlabki tayyorgarlik tufayli erishildi.

Yozuvchining fikri

Sergey Lukyanenko natijani ikki xil baholadi hamkorlik Yandex bilan. Bir tomondan, u neyron tarmoqlar va sun'iy intellektning jadal rivojlanishiga qaramay, ijodiy ishning asosini yaratish uchun inson kerakligidan mamnun. Boshqa tomondan, yozuvchi ba'zi zamonaviy kitoblar mashina tomonidan yaratilgan hikoyadan ham yomonroq yozilganidan xafa bo'ladi.