Қала билігі көліктерді силуэт, бренд және шамдар бойынша танитын нейрондық желіні іске қосады. Бұл туралы Мәскеу қаласының көлік және жол-көлік инфрақұрылымы басқармасының жол қозғалысын басқару орталығында хабарлады.

«Ақылды» жүйе операторларға жүктемені азайтады және жол қозғалысы саласындағы құқық бұзушылықтарды автоматты түрде тіркеу құралдары арқылы тіркелген бұзушылықтарды алдын ала өңдеу сапасын арттырады деп болжануда. Нейрондық желі камералардан алынған фотоларды өңдейтін ЦОДД фото-бейне жазу орталығында қолданылатын болады. Айтпақшы, онда күніне 400 мыңға дейін материал түседі.

Заманауи технологиялар саласындағы сарапшы Андрей Михайлюктің айтуынша, Мәскеу заманауи технологияларды қолдану саласында көшбасшы болып табылады. Ол камера нөмірді тани алмайтын жағдайларды шешу үшін нейрондық жүйе қажет екенін айтты.

Кейде көлік иелері айыппұл салмау үшін нөмірдегі бір немесе бірнеше цифрларды жауып тастайды, дейді маман. – Мұндай суреттер қызметкерлерге өңдеуге жіберіледі.

Бұл ретте адам ресурсы шектеулі. Михайлюк бұл функцияны компьютерге беру өте қисынды деп санайды.

Мұндай міндетті адам емес, машиналық оқыту жүйесі шешуі керек, – деп атап өтті ол.

Сарапшы сонымен қатар, оның пікірінше, нейрондық желі үшін мұндай тапсырма өте қарапайым екенін айтты. Мәселе мынада, автомобиль модельдерінің саны шектеулі, ал автомобильдің тұрақты ерекшеліктері автомобильдің пішініне және оның шамдарына өте тәуелді.

Осылайша, ол нейрондық желіге жүктелген тапсырма өте қарапайым деп санайды. Техникалық тұрғыдан мұндай жүйені бірнеше ай ішінде жасауға болады, ал желіні бар фотосуреттерді пайдалана отырып үйрету үшін біраз уақыт қажет.

Сарапшы Ресей айыппұл шығарудың заманауи технологияларын қолдану жағынан әлемнің басқа елдерінен айтарлықтай алда екенін атап өтті. Оның айтуынша, бәрі біздің менталитетімізге байланысты.

Біз жол ережесін басқа елдерге қарағанда әлдеқайда жиі бұзамыз, - деп түсіндірді Андрей Михайлюк. -Егер Еуропада камера ілінсе, онда ол айына бір айыппұлды шартты түрде бекітеді, ал жүргізушілер де білсе, оны ешкім бұзбайды. Бізде Ресейде мүлде басқа жағдай бар.

Мәскеуде қазіргі уақытта бұзушылықтарды түзететін 1,5 мың стационарлық камералар бар. 2016 жылы фото-бейне жазбаның көмегімен 11,7 миллион, 2017 жылы 24,6 миллион, 2018 жылдың он айында 25 миллионнан астам айыппұл салынған. Айта кету керек, Жол қозғалысын басқару орталығында 280 қызметкер ақпаратты тексеру, қателерді түзету және фото және бейне жазба сапасын бақылаумен айналысады.

Кезекті «бақыт хатын» алған заманауи автокөлік иесі әрқашан ақ-қара фотосуретті мұқият зерделеуге тырысады және келесі камера ілулі тұрған бағанды ​​егжей-тегжейлі есте сақтайды. Дегенмен, жаңа айыппұлдардан құтылу әрқашан мүмкін емес. Ендеше, «үлкен ағаның» қызметінде қандай күштер мен құралдар бар, оларды қалай есептеп, тағы да айыппұл алмас үшін қажетті шараларды қалай тез қабылдау керек? «Известия» құқық бұзушылық туралы шешімнің қалай пайда болатынын, фото және бейне түсіруге арналған жол кешендерінің қандай түрлері бар екенін анықтады, сондай-ақ айыппұл қате шығарылған жағдайда не істеу керектігін анықтауға тырысты.

Олардың аты легион

Бүгінгі күні Мәскеуде барлығы 167 000-ға жуық камера орнатылды, оның ішінде жол қозғалысы ережелерін бұзуды автоматты түрде тіркейтін 2 мыңға жуық кешен жол қозғалысы жағдайын бақылайды және олардың саны үнемі өсіп келеді. Қазіргі уақытта қоғамдық көліктерде орнатылған 1,5 мың стационарлық, 30-дан астам жылжымалы, 400-ге жуық жылжымалы және тағы 110 кешен тәртіп бұзушыларға айыппұл салуға көмектесуде. Сөзсіз, жол қозғалысы қауіпсіздігін қамтамасыз ету бойынша жағдайды жақсарту бойынша ауқымды жұмыстар жүргізілуде: тек 2017 жылы ғана фото және бейне жазба құралдарын қолдану арқылы 83 миллионнан астам құқық бұзушылық анықталды (бір жыл бұрын 60 миллионнан сәл астам), бірақ бұл жиі солай болады автоматты жүйелерсәтсіздікке ұшырап, кінәсіз көлік жүргізушілеріне зиян келтіреді.

«2006-2010 жылдардағы жол қозғалысы қауіпсіздігін арттыру» федералды мақсатты бағдарламасы аясында 2006–2007 жылдары елорданың шығатын магистральдарында жол қозғалысы ережелерін бұзуды фото және бейнетіркеуге арналған алғашқы стационарлық кешендер пайда болды. Содан бері жолдардағы жағдай айтарлықтай жақсарғандықтан, жол қозғалысын бақылау камераларын орнату жалғасады.

Заманауи кешендер жылдамдықты арттыруды, жол жиегімен жүруді немесе қоғамдық көліктерге арналған жолақтарға шығып кетуді жазып қана қоймайды, сонымен қатар қалада ОСАГО-сыз жүретін, көлік жүргізу қиын жерлерде тоқтайтын немесе тоқтайтын тәртіп бұзушыларды есептей алады. өз көлігінде немесе мүгедектерге арналған орындарда жол белгілері мен таңбаларының талаптарын елемеуге және т.б. Жақында елордада тоқтау сызығын бақылайтын жол қозғалысын бақылау камералары пайда болды. Ал қазірдің өзінде 2019 жылдың өзінде «Жол қозғалысын ұйымдастыру орталығы» ММ (ЖҚКО) ең осал жол қозғалысына қатысушылардың қауіпсіздігін қадағалайтын 200 кешен орнатады - камералар жаяу жүргіншілерді зебрамен өткізбейтін жүргізушілерге бағытталады. . Еске салайық, мұндай құқық бұзушылық үшін айыппұл Әкімшілік құқық бұзушылық туралы кодекстің 12.18-бабына сәйкес 1,5 мыңнан 2,5 мың рубльге дейін.

Жүргізушілер үшін мүлдем жаңа айыппұлдың пайда болуы жақын жерде - бұл туралы 12 қарашада жол полициясының бастығы Михаил Черников. Инспекция қауіпті көлік жүргізу үшін санкция енгізуді көздеп отыр. Шахмат ойынының жанкүйерлеріне, ең алдымен, жүгіруді бақылау және шешім қабылдау үшін фото және бейне жазба кешендері сеніп тапсырылады.

Артқы жағынан ату

Мәскеуді «ақылды қалаға» айналдыру тұжырымдамасы аясында 2011 жылдан бастап елордада жол желісінің жүктемесі мен жағдайы туралы ақпаратты жинайтын және талдайтын интеллектуалды көлік жүйесі (ITS) белсенді түрде енгізілуде. ITS-тің «қолдары мен көздері» трафик камералары және деректерді жинайтын, өңдейтін, сақтайтын және оларды жаңартып отыратын басқа бағдарламалық және аппараттық құралдар болып табылады.

Ресейде жүйелердің үш түрі қолданылады: радиолокациялық, лазерлік және бейнефиксация. Олар стационарлық және жылжымалы болуы мүмкін. Радиолокациялық жүйелерді ажыратуға болады сыртқы түрі(олардың екі «көзі» бар - радар сенсоры үшін және камера объективі үшін) және бумға бірнеше камераларды орнатудың бейне жазбасы (әр жолақ үшін бір).

Орташа алғанда, камераның бұзушыны «ұстап алатын» фокустық арақашықтығы 50 м-ден 500 м-ге дейін.Бірақ құрылғымен жазылатын максималды жылдамдық шегі айтарлықтай ұлғайтылды: қазіргі заманғы жүйелердің диапазоны 0-250 км. / сағ, және бұрынғыдай 0-180 км/сағ емес.

Заманауи кешендер тіпті лас немесе деформацияланған сандарды тануды үйренді және қателесу ықтималдығы аз болды. Мысалы, жылдамдыққа байланысты Мәскеуде танымал Автохураган кешендерінің қатесі көліктек 1-2 км / сағ құрайды, ал Стрелка кешенінің әртүрлі модификациялары 2 км / сағ аспайды. Соңғысы, айтпақшы, арнайы «сүрткішпен» жабдықталған - егер кір кірсе, камераның көзін өздігінен тазалай алатын құрылғы.

Сонымен қатар, қазір құрылғы көліктің толық бетін суретке түсіріп қана қоймай, объектінің камерадан алыстау жылдамдығын анықтай алады, қозғалыс траекториясын бақылай алады, көліктің орташа жылдамдығын өлшей алады. белгілі бір аумақта немесе тіпті «пит-стоп» принципі бойынша жұмыс істейді. Соңғы жағдайда тәртіп бұзушының деректері тоқтау туралы өтінішпен жақын маңдағы жол полициясының кезекші бригадасына беріледі.

2018 жылдың қыркүйегінен бастап Мәскеуде тестілік режимде нейрондық желі іске қосылды, ол Ішкі істер министрлігінің деректер базасына қосылған, онда барлық тіркелген автокөліктер туралы ақпарат сақталады. Көлік маскасы деп аталатын нәрсе қоғамдық доменде сақталады және көліктің маркасы мен моделі, шанақ түсі, мемлекеттік нөмір нөмірі туралы мәліметтерді қамтиды.

Елордалық көлік басқармасының басшысы Максим Ликсутовтың айтуынша, қалада нейрондық желіні енгізу алаяқтық, яғни нөмір ауыстыру, көлік ұрлау фактілерін анықтауға мүмкіндік береді. Жүйе автокөлік пен оған орнатылған нөмірлер арасындағы сәйкессіздікті автоматты түрде түзетіп, полиция қызметкеріне көлікті тексеру керектігі туралы белгі бере алады.

Қалай камераның астына түспеу керек?

Ең алдымен, айыппұл алмау үшін, әрине, бұзбау керек: жол ережесін сақтау, жылдамдықты сақтау, асфальтқа қойылған белгілер мен белгілерді сақтау. Сонымен қатар, сіз антирадар немесе антирадары бар DVR көмегімен өзіңізді қосымша қорғай аласыз: бұл құрылғылар жағдайды нақты уақыт режимінде бақылайды, жол полициясының камераларынан сигнал алады және жүргізушіге дыбыстық сигналмен хабарлайды. .

Android немесе Apple негізіндегі құрылғылар нарығында ұқсас функционалдығы бар қосымшалардың үлкен саны бар. Мұндай қосымшалардың бағасы олардың мүмкіндіктері мен дәлдігіне байланысты 100-ден 1650 рубльге дейін. Немесе параметрлерде камералар және басқа жол қозғалысы оқиғалары туралы дыбыстық хабарландыру функциясын іске қосқаннан кейін тегін навигаторды пайдалануға болады. Рас, деректерді, мысалы, жаңа камералар немесе жол полициясының мобильді посттары туралы сіз сияқты пайдаланушылар енгізетінін есте ұстаған жөн.

Сіздің ісіңізді қалай дәлелдеуге болады?

Камераға түсірілген жол қозғалысы ережесін бұзғаны үшін қате шығарылған айыппұлдарға дау айту мүмкін және қажет. Дегенмен, бұл сіз бұзбағаныңызға толық сенімді болсаңыз ғана жасалуы керек және сіз мұны нақты дәлелдермен растай аласыз.

Шағымдану механизмі келесідей:

Айыппұлды алған күннен бастап шағымдануға 10 күн уақытыңыз бар (ӘҚБтК-нің 30-бабының 3-тармағы);

Шағымды жеке өзі де (Мәскеу көлік қызмет көрсету орталықтарына немесе MADI қабылдау бөлмесіне) және электронды түрде (Автокод порталы немесе Мәскеу үкіметінің электронды қабылдау бөлмесі арқылы) беруге болады;

Құжаттар жинағында өз қолымен қойылған шағымның өзі де, өтініште көрсетілген ақпаратты растайтын қосымша материалдар да (фотосуреттер, бейнематериалдар немесе басқа құжаттар) болуы тиіс;

Егер шағым берілген уақытқа дейін ӘҚБтК-де белгіленген 10 күн өтіп кетсе, құжаттар топтамасына әкімшілік құқық бұзушылық туралы қаулыға шағымданудың өткізіп алған мерзімін қалпына келтіру туралы өтінішхатты қоса беру қажет. жеке қол қоюға;

Шағымда ол берілген органның атауы, шешімнің күні, нөмірі және айыптың заңсыздығын дәлелдейтін дәлелдер көрсетілуі тиіс. Көбірек егжей-тегжейлі нұсқауларМәскеу мэрінің ресми сайтында жарияланған шағым мәтіндерінің мысалдарымен.

Шағымды қарауға 10 күн уақыт берілген, сондықтан қате болса да айыппұл төлеу керек. Сондай-ақ, шешімге жоғары сатыларда - алдымен жол полициясында, содан кейін сотта шағымдануға тура келетініне дайындалған жөн. Саяхаттан кейін кем дегенде екі апта бойы DVR жазбаларын сақтауды ережеге айналдырыңыз.

Яндекс компаниясының баспасөз қызметінің хабарлауынша, ол нейрондық желінің көмегімен ең танымал он кеңестік мультфильмнің ажыратымдылығын айтарлықтай арттырып, сурет сапасын жақсарта алды.

Соңғы жылдары ғалымдар әртүрлі нейрондық желілерді құруда, олар компьютерлердің есептеу қуатының артуына және математиканың дамуына байланысты мұндай мүмкіндікке ие болды. Нейрондық желілер – тривиальды емес мәселелерді шеше алатын жасанды интеллект жүйелері. Осы күрделі нейрондық желілердің кейбірі тіпті қораптан тыс ойлай алады, сол арқылы өз бетінше жаңа өнер туындыларын жасайды, инновациялық технологияларды дамытады.

Яндекстің нейрондық желісі DeepHD деп аталады. Бұрын ол Ұлы Отан соғысы туралы фильмдердің сапасын жақсартуға дағдыланғанда өзін жақсы көрсете білген. Содан кейін жеті фильм өзгерістерге ұшырады. Енді кезек кеңестік анимацияға келді: Қар ханшайымы, Алқызыл гүл, Вуф, Умка атты котенка дос іздейді, Дюймовочка, т.б.

Арнайы жасанды интеллект жүйесі тек сапаны жақсартумен айналысады және мультфильмдердің кадрларына ешқандай өзгеріс енгізбейді. Оның міндеті - суретші ойлаған, бірақ мультфильмдер фильмнен цифрлық форматқа көшу кезінде жоғалған бөлшектерді қалпына келтіру. DeepHD нейрондық желісінің сипаттамасы бар бетте оның мүмкіндіктері туралы айтылады. Барлығы төрт осындай мүмкіндіктер бар: ақаулар мен шуды жою, кеңейтудің ұлғаюымен бөлшектерді сақтау, бейне ағындарымен және жеке суреттермен тамаша жұмыс және нақты уақытта жұмыс істеу мүмкіндігі.

DeepHD технологиясы генеративті қарсылас нейрондық желілерге негізделген. Бастапқы кезеңде бір нейрондық желі оны қысу кезінде бейнеде пайда болатын ақауларды жоюмен айналысады. Екінші кезең кескінді үлкейтуге, сондай-ақ мұндай өзгерістер кезінде бөлшектердің анықтығын сақтауға жауап беретін басқа нейрондық желі арқылы жүзеге асырылады. DeepHD нейрондық желісінің егжей-тегжейлі жұмысымен оны жасаушылардың ресми блогында таныса аласыз.

Айта кету керек, DeepHD-де көрермендер бүгінде ескі фильмдер мен мультфильмдерді ғана емес, сонымен қатар жаңа көркем және анимациялық фильмдерді де көре алады. Сіз оларды «DeepHD» қосымшасымен іздеу сұрауы арқылы таба аласыз. Бүгін сіз тіпті жоғары сапада телеарналарды көре аласыз, бұл нейрондық желінің нақты уақыт режимінде жұмыс істеу мүмкіндігінің арқасында қол жетімді болды.

Сізге бұл жаңалық ұнады ма? Содан кейін басыңыз.

Бүгін біз «Палех» жаңа іздеу алгоритмін жарияладық. Ол біз соңғы уақытта жұмыс істеп жатқан барлық жақсартуларды қамтиды.

Мысалы, іздеу қазір нейрондық желілерді алғаш рет құжаттарды сұрауда және құжаттың өзінде қолданылған сөздермен емес, сұраныс пен тақырыптың мағынасы бойынша табу үшін пайдаланады.

Ондаған жылдар бойы зерттеушілер семантикалық іздеу мәселесімен күресіп келеді, онда құжаттар сұранысқа семантикалық сәйкестікке негізделген. Ал қазір бұл шындыққа айналуда.

Бұл постта мен мұны қалай жасағанымыз туралы және неге бұл машинаны оқытудың кезекті алгоритмі емес, болашаққа жасалған маңызды қадам туралы аздап айтуға тырысамын.

Жасанды интеллект немесе машиналық оқыту?

Мұны барлығы дерлік біледі іздеу жүйелерімашиналық оқытумен жұмыс істеу. Неліктен оның міндеттері үшін нейрондық желілерді пайдалану туралы бөлек айту керек? Неліктен қазір ғана, өйткені бұл тақырып төңірегіндегі хайп бірнеше жылдар бойы басылмады? Мен сізге мәселенің тарихы туралы айтып беруге тырысамын.

Интернетте іздеу - өте ұзақ уақыт бұрын пайда болған күрделі жүйе. Алғашында бұл жай ғана бет іздеу болды, кейін ол мәселені шешушіге айналды, енді ол толыққанды көмекшіге айналуда. Интернет неғұрлым үлкен болса және ондағы адамдар неғұрлым көп болса, соғұрлым олардың талаптары жоғары болса, соғұрлым іздеу қиынға соғады.

Аңғал іздеу дәуірі

Бастапқыда тек сөз іздеу болды - инверттелген индекс. Содан кейін тым көп беттер болды, оларға рейтинг қажет болды. Әртүрлі асқынулар ескеріле бастады - сөздердің жиілігі, tf-idf .

Сілтемелер дәуірі

Содан кейін кез келген тақырып бойынша тым көп беттер болды, маңызды серпіліс болды - олар сілтемелерді ескере бастады, PageRank пайда болды.

Машиналық оқыту дәуірі

Интернет коммерциялық маңызды болды және сол кезде бар қарапайым алгоритмдерді алдауға тырысатын көптеген алаяқтар болды. Екінші үлкен жетістік болды - іздеу жүйелері қай беттер жақсы және қайсысы дұрыс емес екенін түсіну үшін пайдаланушылардың мінез-құлқы туралы білімдерін пайдалана бастады.

Осы кезеңде адамның санасы құжаттарды қалай дәрежелеу керектігін анықтау үшін жеткіліксіз болды. Келесі ауысу орын алды - іздеу жүйелері машиналық оқытуды белсенді қолдана бастады.

Ең жақсы машиналық оқыту алгоритмдерінің бірі Яндекс - Matrixnet-те ойлап табылған. Пайдаланушылардың ұжымдық интеллектісі мен «көпшілік даналығы» рейтингке көмектеседі деп айтуға болады. Веб-сайттар мен адамдардың мінез-құлқы туралы ақпарат көптеген факторларға түрлендіріледі, олардың әрқайсысын Matrixnet рейтинг формуласын құру үшін пайдаланады. Шын мәнінде, рейтинг формуласы машинамен жазылған (ол шамамен 300 мегабайт болып шықты).

Бірақ «классикалық» машиналық оқытудың шегі бар: ол деректер көп жерде ғана жұмыс істейді. Шағын мысал. Миллиондаған пайдаланушылар сол сайтты табу үшін [vkontakte] сұрауына кіреді. Бұл жағдайда олардың мінез-құлқы соншалықты күшті сигнал болып табылады, бұл іздеу адамдарды мәселені қарауға мәжбүрлемейді, бірақ сұрауды енгізу кезінде дереу мекенжайды ұсынады.

Бірақ адамдар күрделірек және олар іздеуден көп нәрсені қалайды. Қазір барлық сұраныстардың 40%-ға дейіні бірегей болып табылады, яғни олар бүкіл бақылау кезеңінде кемінде екі рет қайталанбайды. Бұл іздеуде жеткілікті мөлшерде пайдаланушы әрекеті туралы деректер жеткіліксіз екенін және Matrixnet құнды факторлардан айырылғанын білдіреді. Яндекстегі мұндай сұраулар «ұзын құйрық» деп аталады, өйткені олар бірге біздің іздеуге сұраныстардың айтарлықтай бөлігін құрайды.

Жасанды интеллект дәуірі

Міне, соңғы серпіліс туралы айтатын кез: бірнеше жыл бұрын компьютерлер жеткілікті жылдамдыққа ие болды және нейрондық желілерді пайдалану үшін жеткілікті деректер бар. Оларға негізделген технологияларды машиналық интеллект немесе жасанды интеллект деп те атайды – өйткені нейрондық желілер біздің миымыздағы нейрондардың бейнесінде салынған және оның кейбір бөліктерінің жұмысын еліктеуге тырысады.

Машиналық интеллект адамдар жасай алатын тапсырмаларды орындаудағы ескі әдістерге қарағанда әлдеқайда жақсырақ, мысалы, сөйлеуді немесе кескіндердегі үлгілерді тану. Бірақ бұл іздеуге қалай көмектеседі?

Әдетте, төмен жиілікті және бірегей сұрауларды табу өте қиын - олар үшін жақсы жауап табу әлдеқайда қиын. Бұны қалай істейді? Бізде пайдаланушылардан ешқандай кеңес жоқ (қай құжат жақсы және қайсысы нашар), сондықтан іздеу мәселесін шешу үшін сіз екі мәтін арасындағы семантикалық сәйкестікті жақсы түсінуді үйренуіңіз керек: сұрау және құжат.

Айтуға оңай

Қатаң айтқанда, жасанды нейрондық желілер машиналық оқыту әдістерінің бірі болып табылады. Жақында оларға Кіші ШАД аясында дәріс арналды. Нейрондық желілер табиғи ақпаратты талдау саласында әсерлі нәтижелер көрсетеді - дыбыс пен кескін. Бұл бірнеше жылдан бері орын алып келеді. Бірақ неге олар осы уақытқа дейін іздеуде белсенді пайдаланылмады?

Қарапайым жауап, өйткені суреттегі кескін туралы немесе дыбыстарды транскрипцияланған сөздерге айналдырудан гөрі мағына туралы айту әлдеқайда қиын. Дегенмен, мағыналарды іздеуде жасанды интеллект шынымен де бұрыннан патша болған аймақтан келе бастады - суреттер бойынша іздеу.

Оның кескін іздеуде қалай жұмыс істейтіні туралы бірнеше сөз. Сіз суретке түсіріп, оны N өлшемді кеңістіктегі векторға түрлендіру үшін нейрондық желілерді пайдаланасыз. Сұраныс алыңыз (ол мәтін түрінде де, басқа сурет түрінде де болуы мүмкін) және онымен де солай істеңіз. Содан кейін осы векторларды салыстырыңыз. Олар бір-біріне неғұрлым жақын болса, сурет сұрауға соғұрлым сәйкес келеді.

Жарайды, егер ол кескіндерде жұмыс істесе, неге веб-іздеулерге бірдей логиканы қолданбасқа?

Технологиядағы шайтан

Мәселені төмендегідей тұжырымдаймыз. Бізде пайдаланушы сұрауы және енгізуде бет тақырыбы бар. Мағынасы бойынша олардың бір-біріне қалай сәйкес келетінін түсіну керек. Ол үшін сұрау мәтінін және тақырып мәтінін осындай векторлар түрінде көрсету қажет, олардың скалярлық көбейтіндісі неғұрлым үлкен болса, берілген тақырыптағы құжат сұранысқа неғұрлым сәйкес келеді. . Басқаша айтқанда, біз нейрондық желіні ұқсас мәтіндер үшін ұқсас векторларды жасайтындай етіп жаттықтырғымыз келеді, ал семантикалық байланысы жоқ сұраныстар мен тақырыптар үшін векторлар әртүрлі болуы керек.

Бұл тапсырманың күрделілігі нейрондық желіні оқытудың дұрыс архитектурасы мен әдісін таңдауда. Мәселені шешудің бірнеше тәсілдері ғылыми басылымдардан белгілі. Мұндағы ең қарапайым әдіс мәтіндерді word2vec алгоритмі арқылы вектор ретінде көрсету болып табылады (өкінішке орай, практикалық тәжірибе бұл мәселені шешу үшін өте нашар шешім екенін көрсетеді).

DSSM

2013 жылы Microsoft Research зерттеушілері терең құрылымдалған семантикалық модель деп аталатын өз тәсілдерін сипаттады.

Сұраныс мәтіндері мен тақырыптар үлгінің кірісіне беріледі. Модельдің өлшемін азайту үшін олармен авторлар сөзді хэштеу деп атайтын операция орындалады. Мәтінге бастау және аяқтау маркерлері қосылады, содан кейін ол алфавиттік триграммаларға бөлінеді. Мысалы, [palekh] сұрауы үшін [pa, ale, lekh, ex] триграммаларын аламыз. Әртүрлі триграммалардың саны шектеулі болғандықтан, сұрау мәтінін бірнеше ондаған мың элементтердің векторы ретінде көрсетуге болады (біздің әліпбиіміздің өлшемі 3 дәреже). Сұраныс триграммаларына сәйкес вектордың элементтері 1-ге тең болады, қалғандары - 0. Шындығында, осылайша біз барлық белгілі триграммалардан тұратын сөздікте мәтіннен триграммалардың пайда болуын белгілейміз. Егер мұндай векторларды салыстыратын болсақ, біз тек сұраныста және тақырыпта бірдей триграммалардың болуы туралы біле аламыз, бұл ерекше қызығушылық тудырмайды. Сондықтан қазір оларды басқа векторларға түрлендіру қажет, олар қазірдің өзінде бізге қажет семантикалық ұқсастық қасиеттеріне ие болады.

Енгізу деңгейінен кейін, терең архитектурада күтілгендей, сұрау үшін де, тақырып үшін де бірнеше жасырын қабаттар бар. Соңғы қабат 128 элементтен тұрады және салыстыру үшін пайдаланылатын вектор ретінде қызмет етеді. Модельдің шығысы соңғы тақырып пен сұрау векторларының скалярлық көбейтіндісінің нәтижесі болып табылады (дәлірек айтқанда, векторлар арасындағы бұрыштың косинусы есептеледі). Модель оқытудың оң мысалдары үшін шығыс мәні үлкен, ал теріс оқыту мысалдары үшін аз болатындай етіп оқытылады. Басқаша айтқанда, соңғы қабаттың векторларын салыстыру арқылы болжау қатесін есептеп, модельді қате төмендейтіндей түрлендіруге болады.

Біз Яндекс-те жасанды нейрондық желілерге негізделген модельдерді белсенді түрде зерттейміз, сондықтан DSSM моделіне қызығушылық таныттық. Әрі қарай, біз осы саладағы тәжірибелеріміз туралы айтатын боламыз.

Теория және практика

Ғылыми әдебиеттерде сипатталған алгоритмдерге тән қасиет - олар әрқашан қораптан тыс жұмыс істей бермейді. Өйткені, «академиялық» зерттеуші мен саланың зерттеушісі айтарлықтай басқа жағдайда. Ғылыми басылымның авторы өз шешімін салыстыратын бастапқы нүкте (базалық) ретінде белгілі бір алгоритм әрекет етуі керек - бұл нәтижелердің қайталануын қамтамасыз етеді. Зерттеушілер бұрын жарияланған тәсілдің нәтижелерін алып, оларды қалай жеңуге болатынын көрсетеді. Мысалы, түпнұсқа DSSM авторлары өздерінің NDCG моделін BM25 және LSA алгоритмдерімен салыстырады. Нақты іздеу жүйесінде іздеу сапасымен айналысатын қолданбалы зерттеуші жағдайында бастапқы нүкте бір нақты алгоритм емес, тұтастай алғанда бүкіл рейтинг болып табылады. Яндекс әзірлеушісінің мақсаты - BM25-ті басып озу емес, бұрын енгізілген барлық факторлар мен модельдердің фонында жақсартуға қол жеткізу. Осылайша, Яндекстегі зерттеуші үшін базалық деңгей өте жоғары және ғылыми тұрғыдан жаңа және «академиялық» тәсілмен жақсы нәтижелер көрсететін көптеген алгоритмдер іс жүзінде пайдасыз, өйткені олар іздеудің сапасын шынымен жақсартпайды.

DSSM жағдайында біз бірдей мәселеге тап болдық. Жиі болатындай, «жауынгерлік» жағдайларда мақаладағы үлгіні дәл енгізу өте қарапайым нәтиже көрсетті. Практикалық тұрғыдан қызықты нәтижелерді алу үшін бірқатар маңызды «файлдарды жақсарту» қажет болды. Мұнда біз бастапқы модельдің негізгі модификациялары туралы сөйлесетін боламыз, бұл бізге оны күштірек етуге мүмкіндік берді.

Үлкен кіріс қабаты

Түпнұсқа DSSM үлгісінде кіріс деңгейі әріптік триграммалар жиынтығы болып табылады. Оның мөлшері 30 000. Триграмма тәсілінің бірнеше артықшылығы бар. Біріншіден, олар салыстырмалы түрде аз, сондықтан олармен жұмыс істеу үлкен ресурстарды қажет етпейді. Екіншіден, оларды қолдану сөздердегі қателер мен қателерді анықтауды жеңілдетеді. Дегенмен, біздің эксперименттер мәтіндерді триграммалардан тұратын «қап» түрінде беру желінің экспрессивтік күшін айтарлықтай төмендететінін көрсетті. Сондықтан біз кіріс қабатының көлемін түбегейлі арттырдық, оның ішінде әріптік триграммалардан басқа тағы 2 миллионға жуық сөздер мен сөз тіркестері бар. Осылайша, сұрау мәтіндерін және тақырыпты сөздердің, сөздік биграммалардың және әріптік триграммалардың бірлескен «қаптамасы» ретінде ұсынамыз.

Үлкен кіріс қабатын пайдалану модель көлемінің, оқыту ұзақтығының ұлғаюына әкеледі және айтарлықтай көп есептеу ресурстарын қажет етеді.

Үйрену қиын: нейрондық желі өзімен қалай күресіп, қателерінен сабақ алды

Түпнұсқа DSSM оқыту желіге оң және теріс мысалдардың көп санын көрсетуден тұрады. Бұл мысалдар іздеу нәтижелерінен алынған (бұл үшін Bing пайдаланылған сияқты). Оң мысалдар басылған SERP тақырыптары, теріс мысалдар басқанбаған құжаттардың тақырыптары болып табылады. Бұл тәсілдің белгілі бір кемшіліктері бар. Шындығында, шертудің болмауы әрқашан құжаттың маңызды емес екенін көрсетпейді. Керісінше мәлімдеме де дұрыс - шертудің болуы құжаттың өзектілігіне кепілдік бермейді. Негізінде, бастапқы мақалада сипатталған тәсілмен үйрену арқылы біз SERP-те болатынын ескере отырып, тақырыптардың тартымдылығын болжауға тырысамыз. Бұл, әрине, жаман емес, бірақ оның біздің басты мақсатымызға – семантикалық жақындықты түсінуге үйренуге жанама қатысы бар.

Тәжірибелер барысында біз теріс мысалдарды таңдау үшін басқа стратегияны қолданатын болсақ, нәтижені айтарлықтай жақсартуға болатынын анықтадық. Мақсатымызға жету үшін жақсы теріс мысалдар сұрауға қатысы жоқ екеніне кепілдік берілген құжаттар болып табылады, бірақ сонымен бірге нейрондық желіге сөздердің мағынасын жақсы түсінуге көмектеседі. Мен оларды қайдан аламын?

Бірінші әрекет

Біріншіден, теріс мысал ретінде, жай ғана кездейсоқ құжаттың тақырыбын алыңыз. Мысалы, [Палех кескіндеме] сұрауы үшін кездейсоқ тақырып «Ресей Федерациясының 2016 жылғы жол ережесі» болуы мүмкін. Әрине, миллиардтағандардың ішінен кездейсоқ таңдалған құжаттың сұранысқа сәйкес келетінін толығымен жоққа шығару мүмкін емес, бірақ оның ықтималдығы соншалықты аз, сондықтан оны елемеуге болады. Осылайша біз көптеген жағымсыз мысалдарды оңай ала аламыз. Енді біз желіге өзіміз қалаған нәрсені - пайдаланушыларды қызықтыратын жақсы құжаттарды сұрауға еш қатысы жоқ құжаттардан ажыратуға үйрете алатын сияқтымыз. Өкінішке орай, мұндай мысалдар бойынша дайындалған модель өте әлсіз болып шықты. Нейрондық желі - бұл ақылды нәрсе және әрқашан өз жұмысын жеңілдетудің жолын табады. Бұл жағдайда ол сұраулар мен тақырыптарда бірдей сөздерді іздей бастады: иә - жақсы жұп, жоқ - нашар. Бірақ біз мұны өзіміз жасай аламыз. Біз үшін желінің айқын емес заңдылықтарды ажыратуды үйренуі маңызды.

Тағы бір әрекет

Келесі эксперимент теріс мысалдардың тақырыптарына сұраныстағы сөздерді қосу болды. Мысалы, [Палех кескіндеме] сұрауы үшін кездейсоқ тақырып [Жол ережелері 2016 РФ кескіндеме] сияқты көрінді. Нейрондық желіде біршама қиындықтар болды, бірақ соған қарамастан ол табиғи жұптарды қолдан жасалған жұптардан жақсы ажыратуды тез үйренді. Мұндай әдістермен табысқа жете алмайтынымыз белгілі болды.

Жетістік

Көптеген айқын шешімдер олар ашылғаннан кейін ғана айқын болады. Бұл жолы да солай болды: біраз уақыттан кейін бұл болды Ең жақсы жолжағымсыз мысалдарды тудыру – желіні өзіне қарсы «күресуге», өз қателерінен сабақ алуға мәжбүрлеу. Жүздеген кездейсоқ тақырыптардың ішінен біз қазіргі нейрондық желі ең жақсы деп санайтынын таңдадық. Бірақ бұл тақырып әлі де кездейсоқ болғандықтан, оның сұрауға сәйкес келмеуі ықтимал. Міне, осы тақырыптарды біз теріс мысал ретінде пайдалана бастадық. Басқаша айтқанда, сіз желіге кездейсоқ атаулардың ең жақсысын көрсете аласыз, оны жаттықтыра аласыз, жаңа ең жақсы кездейсоқ тақырыптарды таба аласыз, желілерді қайтадан көрсете аласыз және т.б. Бұл процедураны қайта-қайта қайталай отырып, біз модель сапасының қалай айтарлықтай жақсарғанын көрдік және жиі кездейсоқ жұптардың ең жақсылары нақты оң мысалдарға ұқсас болды. Мәселе шешілді.

Ғылыми әдебиеттерде мұндай оқыту схемасы әдетте қатты теріс тау-кен деп аталады. Сондай-ақ тұжырымдамасы ұқсас шешімдер ғылыми қоғамдастықта шынайы көрінетін кескіндерді генерациялау үшін кең таралғанын атап өткен жөн, модельдердің ұқсас класы Генеративті қарсыластық желілер деп аталады.

әртүрлі мақсаттар

Microsoft Research құжатты шертулерді оң мысалдар ретінде пайдаланды. Дегенмен, жоғарыда айтылғандай, бұл тақырыптың сұранысқа семантикалық сәйкестігі туралы өте сенімсіз сигнал. Сайып келгенде, біздің міндетіміз іздеу нәтижелерінде ең көп кіретін сайттарды көтеру емес, шын мәнінде пайдалы ақпаратты табу. Сондықтан біз оқу мақсаты ретінде қолданушы мінез-құлқының басқа сипаттамаларын қолдануға тырыстық. Мысалы, модельдердің бірі пайдаланушының сайтта қалатынын немесе кететінін болжаған. Екіншісі - сайтта қанша уақыт қалады. Анықталғандай, егер пайдаланушы өзіне қажет нәрсені тапқанын көрсететін мақсатты көрсеткішті оңтайландырсаңыз, нәтижелерді айтарлықтай жақсартуға болады.

Пайда

Жарайды, бұл бізге іс жүзінде не береді? Біздің нейрондық модельдің әрекетін және сұрау сөздері мен мәтінін сәйкестендіруге негізделген қарапайым мәтіндік факторды салыстырайық - BM25. Бұл бізге рейтинг қарапайым болған кезден бастап келді, енді оны базалық деңгей ретінде пайдалану ыңғайлы.

Мысал ретінде [Kells кітабы] сұрауын алып, факторлардың әртүрлі тақырыптарда қандай мән алатынын көрейік. Бақылау үшін тақырыптар тізіміне анық маңызды емес нәтижені қосайық.

Яндекстегі барлық факторлар интервалға дейін нормаланған . Сұрау сөздері бар тақырыптар үшін BM25 жоғары балл алады деп күтілуде. Сұраныспен ортақ сөздері жоқ тақырыптарда бұл фактордың нөлдік мәнін алатынын болжауға болады. Енді нейрондық модель қалай әрекет ететініне назар аударыңыз. Ол сұраудың Википедиядағы тиісті беттің орыс тіліндегі тақырыбымен де, Уикипедиядағы мақала тақырыбымен де байланысын бірдей жақсы таниды. Ағылшын тілі! Сонымен қатар, модель сұраныстың Келлс кітабы туралы айтылмаған айдармен байланысын «көрген» сияқты, бірақ мағынасы жақын тіркес («Ирландиялық інжілдер»). Сәйкес емес атау үшін үлгінің мәні айтарлықтай төмен.

Енді сұрауды мағынасын өзгертпей қайта тұжырымдасақ, факторларымыз қалай әрекет ететінін көрейік: [Келлс Інжілі].

BM25 үшін сұрауды қайта құру нағыз апатқа айналды - тиісті тақырыптарда фактор нөлге тең болды. Ал біздің модель қайта құруға тамаша төзімділік көрсетеді: сәйкес тақырыптар әлі де жоғары факторлық мәнге ие, ал маңызды емес тақырып әлі де төмен факторлық мәнге ие. Мәтіннің семантикасын «түсінемін» дейтін заттан дәл осылай күткен сияқтымыз.

Тағы бір мысал. Сұрау [көбелек езілген оқиға].

Көріп отырғаныңыздай, нейрондық модель сұраумен ортақ сөздердің толық болмауына қарамастан, дұрыс жауаппен тақырыпқа жоғары балл бере алды. Сонымен қатар, сұрауға жауап бермейтін, бірақ әлі де мағынасы бойынша оған қатысты тақырыптардың айтарлықтай жоғары факторлық мән алатыны анық байқалады. Біздің модель Брэдберидің әңгімесін «оқыған» және сұраудың дәл осы туралы екенін «білетін» сияқты!

Келесі не?

Біз ұзақ және өте қызықты саяхаттың басында тұрмыз. Шамасы, нейрондық желілер рейтингтерді жақсарту үшін үлкен әлеуетке ие. Белсенді дамуды қажет ететін негізгі бағыттар қазірдің өзінде айқын.

Мысалы, тақырыпта құжат туралы толық емес ақпарат бар екені анық және толық мәтіннен үлгі құруды үйренсе жақсы болар еді (бұл мүлдем тривиальды тапсырма емес екені белгілі болды). Бұдан басқа, DSSM-ге қарағанда әлдеқайда күрделі архитектурасы бар модельдерді елестетуге болады - осылайша біз кейбір табиғи тіл конструкцияларын жақсырақ өңдей аламыз деп сенуге негіз бар. Біз өзіміздің ұзақ мерзімді мақсатымызды адамның деңгейімен салыстырылатын деңгейде сұраулар мен құжаттардың мағыналық сәйкестігін «түсінетін» үлгілерді жасаудан көреміз. Бұл мақсатқа жету жолында көптеген қиындықтар болады - оны өту неғұрлым қызықты болады. Біз осы саладағы жұмысымыз туралы айтуға уәде береміз. Келесі посттарды қадағалаңыз.

Ғылыми фантаст-жазушы Сергей Лукьяненко Яндекс нейрондық желісімен бірге Диканка циклінің жанындағы фермадағы кештер стилінде жұмыс жасады. Жазушы кейіпкерлер мен негізгі сюжеттік желілерді дамытты, содан кейін нейрондық желі осы негізде қоғамдық игілікке айналған «Нашар келісімшарт» хикаясын жасады.

Әзірлеу ерекшеліктері

Жобаның идеясы ТВ-3 арнасына тиесілі. Оған «Гоголь. Қорқынышты кек », Ресейде премьерасы 2018 жылдың 30 тамызына жоспарланған. Продюсер Валерий Федорович әңгімені құру процесі Гогольдің өз шығармаларында қалай жұмыс істегеніне сәйкес келетінін атап өтті. Бірақ егер Николай Васильевичке арналған халық аңыздарын жазып алып, анасы хатпен жіберген болса, онда бұл жағдайда ақпарат нейрондық желі арқылы өңделеді, ал жазушы фольклорлық «ас» береді.

Бағдарлама «Нашар шарт» повесіне көптеген детальдар, сюжеттік желілер қосылды, сонымен қатар Гогольдікіне ұқсас баяндау тілі ұсынылды. Бұл нәтижеге жалпы орыс прозасы негізінде, одан кейін жазушының шығармалары бойынша алдын ала дайындықтың арқасында қол жеткізілді.

Жазушының пікірі

Сергей Лукьяненко Яндекспен бірлескен жұмыстың нәтижесін екі жолмен бағалады. Бір жағынан ол нейрондық желілер мен жасанды интеллект қарқынды дамып келе жатқанына қарамастан, шығармашылық жұмыстың негізін жасау үшін адамның қажет екендігі қуантады. Екінші жағынан, қазіргі кейбір кітаптардың машина жасаған оқиғадан да нашар жазылғанына жазушы қынжылады.