Градските власти ќе лансираат невронска мрежа која ќе ги препознава автомобилите по силуета, бренд и светла. Ова беше објавено во Центарот за управување со сообраќајот на Одделот за транспорт и патна инфраструктура на градот Москва.

Се претпоставува дека „паметниот“ систем ќе го намали оптоварувањето на операторите и ќе го подобри квалитетот на претходна обработка на прекршоците забележани со автоматски средства за поправање на прекршоци во областа на сообраќајот. Невронската мрежа ќе се користи во центарот за фото-видео снимање на TsODD, кој обработува фотографии од камери. Инаку, таму дневно се примаат и до 400 илјади материјали.

Според Андреј Михајљук, експерт во областа на современите технологии, Москва е лидер во областа на примена на современи технологии. Тој додаде дека е потребен нервен систем за справување со случаи кога камерата не може да ја препознае регистарската табличка.

Понекогаш сопствениците на автомобили за да избегнат парична казна затвораат една или повеќе цифри на бројот, вели експертот. - Ваквите слики се испраќаат до вработените на обработка.

Во исто време, човечките ресурси се ограничени. Михајљук верува дека преносот на оваа функција на компјутерот е сосема логичен.

Таквата задача треба да ја реши не личност, туку систем за машинско учење, - истакна тој.

Експертот исто така додаде дека, според него, таквата задача за невронска мрежа е прилично примитивна. Работата е што бројот на модели на автомобили е ограничен, додека стабилните карактеристики на автомобилот многу зависат од обликот на самиот автомобил и неговите светла.

Така, смета тој, задачата доделена на невронската мрежа е прилично едноставна. Технички, таков систем може да се развие за неколку месеци, а ќе биде потребно извесно време да се обучи мрежата користејќи ги постоечките фотографии.

Експертот нагласи дека Русија, во однос на употребата на современи технологии за издавање казни, е значително пред другите земји во светот. Според него, се е до нашиот менталитет.

Многу почесто ги прекршуваме правилата на патот отколку во другите земји, - објасни Андреј Михајљук. - Ако во Европа се закачи камера, тогаш условно ќе поправа по една казна месечно, а ако знаат и возачите, тогаш никој воопшто нема да ја прекрши. Имаме сосема поинаква ситуација во Русија.

Во Москва во моментов има 1,5 илјади стационарни камери за поправање на прекршоци. Во 2016 година со помош на фото-видео снимање се изречени 11,7 милиони казни, во 2017 година - 24,6 милиони, а за десет месеци од 2018 година - повеќе од 25 милиони. Треба да се напомене дека 280 вработени во Центарот за управување со сообраќај се ангажирани за проверка на информации, поправање на грешки и контрола на квалитетот на снимањето на фотографии и видео.

Откако доби уште едно „писмо за среќа“, сопственикот на модерен автомобил секогаш се обидува темелно да ја проучува црно-белата фотографија и детално да се сети на столбот на кој беше закачен следната камера. Сепак, не е секогаш можно да се избегнат нови казни. Па какви сили и средства се во служба на „големиот брат“, како да се пресметаат и брзо да се преземат неопходните мерки за да не се добие уште една казна? Известија откри како се раѓа одлука за прекршок, какви видови патни комплекси за снимање фотографии и видео постојат, а исто така се обиде да открие што да прави ако погрешно е издадена парична казна.

Нивното име е Легија

До денес во Москва се поставени вкупно околу 167.000 камери, од кои речиси 2.000 комплекси за автоматско снимање на сообраќајните прекршоци ја следат состојбата во сообраќајот, а нивниот број постојано расте. Во моментов, 1,5 илјади стационарни, повеќе од 30 мобилни, речиси 400 мобилни и уште 110 комплекси инсталирани во јавниот копнен превоз помагаат да се казнуваат прекршителите. Несомнено, работата за подобрување на состојбата со безбедноста на патиштата се врши во голем обем: само во 2017 година беа откриени повеќе од 83 милиони прекршоци со помош на алатки за снимање фотографии и видео (малку повеќе од 60 милиони една година порано), но често се случува тоа автоматски системине успеат и им наштетуваат на невините возачи.

Првите стационарни комплекси за фото и видео снимање на сообраќајни прекршоци се појавија на излезните автопати на главниот град уште во 2006-2007 година како дел од федералната целна програма „Подобрување на безбедноста на патиштата во 2006-2010 година“. Бидејќи оттогаш состојбата на патиштата е значително подобрена, сообраќајните камери ќе продолжат да се поставуваат.

Современите комплекси се способни не само да евидентираат брзо возење, возење на страна на патот или возење по ленти за јавен превоз, туку и да ги пресметаат прекршителите кои се движат низ градот без OSAGO, застануваат или паркираат во области каде што е тешко да се вози без нивниот автомобил, или на места за лица со посебни потреби, ги занемаруваат барањата на патните знаци и ознаки итн. Неодамна во главниот град се појавија сообраќајни камери кои ја контролираат линијата за застанување. И веќе во 2019 година, Државната јавна установа „Центар за организација на сообраќајот“ (ЦОДД) ќе постави 200 комплекси за следење на безбедноста на најранливите учесници во сообраќајот - камерите ќе бидат насочени кон возачите кои не дозволуваат пешаците да поминуваат на зебра . Потсетиме дека паричната казна за таков прекршок во согласност со член 12.18 од Кодексот за административни прекршоци се движи од 1,5 илјади до 2,5 илјади рубли.

Недалеку е појавата на сосема нова казна за возачите - за тоа на 12 ноември, шефот на сообраќајната полиција, Михаил Черников. Инспекторатот има намера да воведе санкција за опасно возење. За да го контролираат треперењето и да донесуваат одлуки на љубителите на играта „дама“, најверојатно, ќе им се доверат и комплекси за снимање фотографии и видео.

Пукање во грб

Како дел од концептот за трансформирање на Москва во „паметен град“, од 2011 година во главниот град активно е воведен интелигентен транспортен систем (ITS), кој собира и анализира информации за оптоварувањето и состојбата на патната мрежа. „Рацете и очите“ на ITS се сообраќајни камери и други софтверски и хардверски алатки кои собираат, обработуваат, складираат податоци и ги одржуваат ажурирани.

Во Русија се користат три типа системи: радар, ласер и видео фиксација. Тие можат да бидат и стационарни и мобилни. Радарските системи може да се разликуваат по изглед(имаат две „очи“ - за радарскиот сензор и за објективот на камерата), и видео снимање од инсталирање на неколку камери на стрелата (по една за секоја лента).

Во просек, фокусната должина на која камерата го „фаќа“ натрапникот е од 50 m до 500 m. Но, максималниот праг на брзина што може да го сними уредот е значително зголемен: опсегот на современите системи е 0-250 km / h, а не 0-180 km/h, како што беше порано.

Современите комплекси научија да препознаваат дури и валкани или деформирани броеви и станаа помалку шанси да прават грешки. На пример, грешката на комплексите Автохураган, популарни во Москва, во зависност од брзината возилотое само 1-2 км на час, а различните модификации на комплексот Стрелка не надминуваат 2 км на час. Вторите, патем, се опремени со специјален „бришач“ - уред што може самостојно да го исчисти окото на камерата ако нечистотијата се навлезе на неа.

Покрај тоа, сега уредот не само што може да фотографира цело лице на автомобилот, туку и да ја открие брзината со која предметот се оддалечува од камерата, да ја следи траекторијата на движење, да ја мери просечната брзина на возилото во одредена област, па дури и работа според принципот „пит стоп“. Во вториот случај, податоците на прекршителот ќе бидат префрлени до најблиската екипа на сообраќајната полиција на должност со барање да застане.

Од септември 2018 година, во Москва е лансирана невронска мрежа во тест режим, која е поврзана со базата на податоци на Министерството за внатрешни работи, која чува информации за сите регистрирани автомобили. Таканаречената маска на возилото се чува во јавниот домен и содржи податоци за марката и моделот на автомобилот, бојата на каросеријата, бројот на регистарската табличка.

Според шефот на Московското одделение за транспорт Максим Ликсутов, воведувањето на невронска мрежа во градот ќе овозможи откривање на случаи на измама, односно замена на регистарски таблички или кражба на возило. Системот може автоматски да го поправи несовпаѓањето помеѓу автомобилот и инсталираните регистарски таблички на него и да му даде сигнал на полицискиот службеник дека автомобилот треба да се провери.

Како да не влезете под камерата?

Пред сè, за да избегнете парична казна, секако, не мора да ги прекршувате: следете ги правилата на патот, почитувајте ја ограничувањето на брзината, следете ги знаците и ознаките што се применуваат на асфалтот. Дополнително, можете дополнително да се заштитите со помош на анти-радар или DVR со анти-радар: овие уреди ја следат ситуацијата во реално време, примајќи сигнали од камерите на сообраќајната полиција и го известуваат возачот со звучен сигнал.

На пазарите за уреди базирани на Android или Apple има огромен број на апликации со слична функционалност. Цената за таквите апликации, во зависност од нивните можности и точност, се движи од 100 до 1650 рубли. Или можете да го користите бесплатниот навигатор, откако ќе ја активирате функцијата за известување за звук за камерите и другите сообраќајни настани во поставките. Точно, треба да се има на ум дека податоците, на пример, за нови камери или објави на мобилни сообраќајна полиција, таму ги внесуваат истите корисници како и вие.

Како да го докажете вашиот случај?

Можно е и потребно е оспорување на погрешно издадени казни за сообраќајни прекршоци снимени од камери. Сепак, ова треба да се направи само ако сте апсолутно сигурни дека не сте прекршиле, а тоа можете да го поткрепите со цврсти докази.

Механизмот за жалба е како што следува:

Имате 10 дена да поднесете жалба од денот на приемот на паричната казна (член 30.3 од Кодексот за административни прекршоци);

Жалбата може да се поднесе и лично (до сервисните центри за транспорт во Москва или приемот MADI) и електронски (преку порталот Autocode или електронскиот прием на владата во Москва);

Комплетот документи мора да содржи и самата жалба, потпишана од самиот себе, и дополнителни материјали (фотографии, видеа или други документи) кои ги потврдуваат информациите дадени во вашата жалба;

Доколку до поднесувањето на жалбата веќе поминале 10-те дена предвидени со Кодексот за административни прекршоци, на пакетот документи треба да се приложи претставка за враќање на пропуштениот рок за жалба против решение за административен прекршок, кој мора исто така да биде потпишан лично;

Приговорот мора да го наведе името на органот каде што е поднесена, датумот, бројот на решението и аргументите со кои се докажува незаконитоста на обвинението. Повеќе детални инструкциисо примери на текстови на жалби објавени на официјалната веб-страница на градоначалникот на Москва.

Доделени се 10 дена за разгледување на жалбата, затоа, сè уште е неопходно да се плати парична казна, иако погрешно издадена. Исто така, вреди да се подготвиме за фактот дека одлуката ќе треба да се оспори во повисоки инстанци - прво во сообраќајната полиција, а потоа и на суд. И направете правило да чувате записи од DVR по патувањето барем неколку недели.

Според прес-службата на компанијата „Јандекс“, таа со помош на невронска мрежа успеала значително да ја зголеми резолуцијата и да го подобри квалитетот на сликата на десет советски цртани филмови, кои се меѓу најпознатите.

Во текот на изминатите години, научниците создаваа различни невронски мрежи, тие имаат таква можност поради зголемувањето на пресметковната моќ на компјутерите и развојот на математиката. Невронските мрежи се системи со вештачка интелигенција кои можат да решаваат нетривијални проблеми. Некои од овие сложени невронски мрежи можат дури и да размислуваат надвор од рамката, а со тоа независно создавајќи нови уметнички дела, развивајќи иновативни технологии.

Невралната мрежа од Yandex се нарекува DeepHD. Претходно, таа веќе успеа да се покаже добро кога беше искористена за подобрување на квалитетот на филмовите што раскажуваат за Големата патриотска војна. Тогаш седум филмови беа подложени на промени. Сега дојде редот на советската анимација: Снежната кралица, Скарлетниот цвет, Маче по име Вуф, Умка бара пријателка, Thumbelina итн.

Специјален систем за вештачка интелигенција е ангажиран исклучиво за подобрување на квалитетот и не прави никакви промени во рамките на цртаните филмови. Нејзината работа е да ги врати деталите кои биле наменети од уметникот, но биле изгубени додека цртаните филмови се пренесувале од филм на дигитален. На страницата каде што има опис на невронската мрежа DeepHD, зборува за нејзините карактеристики. Вкупно има четири такви карактеристики: отстранување на дефекти и бучава, зачувување на детали со зголемување на проширувањето, одлична работа со видео стримови и индивидуални слики и можност за работа во реално време.

DeepHD технологијата се заснова на генеративни противнички невронски мрежи. Во почетната фаза, една невронска мрежа се занимава со елиминација на дефектите што се појавуваат на видеото за време на неговата компресија. Втората фаза ја спроведува различна невронска мрежа, која е одговорна за зголемување на сликата, како и за одржување на јасноста на деталите при такви промени. Можете да се запознаете со деталната работа на невронската мрежа DeepHD во официјалниот блог на нејзините креатори.

Вреди да се напомене дека во DeepHD гледачите денес имаат пристап не само до стари филмови и цртани, туку и до нови играни и анимирани филмови. Можете да ги најдете преку барање за пребарување со додавање на „DeepHD“. Денес можете дури и да гледате ТВ канали со висок квалитет, ова стана достапно благодарение на способноста на невронската мрежа да работи во реално време.

Дали ви се допадна оваа вест? Потоа притиснете.

Денеска објавивме нов алгоритам за пребарување „Палех“. Ги вклучува сите подобрувања на кои работиме во последно време.

На пример, пребарувањето сега користи невронски мрежи за прв пат за да најде документи не според зборовите што се користат во барањето и самиот документ, туку според значењето на барањето и насловот.

Со децении, истражувачите се борат со проблемот на семантичко пребарување, во кое документите се рангираат врз основа на семантичка релевантност за барањето. И сега станува реалност.

Во овој пост, ќе се обидам да зборувам малку за тоа како го направивме тоа и зошто ова не е само уште еден алгоритам за машинско учење, туку важен чекор во иднината.

Вештачка интелигенција или машинско учење?

Речиси секој знае дека современите пребарувачи работат со помош на машинско учење. Зошто треба да зборуваме за употребата на невронски мрежи за нејзините задачи посебно? И зошто дури сега, затоа што хипот околу оваа тема веќе неколку години не стивнува? Ќе се обидам да ви кажам за историјата на проблемот.

Пребарувањето на Интернет е сложен систем кој се појавил многу одамна. Отпрвин тоа беше само пребарување на страници, потоа се претвори во решавач на проблеми, а сега станува полноправен асистент. Колку е поголем интернетот и колку повеќе луѓе се во него, толку се поголеми нивните барања, толку е потешко пребарувањето.

Доба на наивно пребарување

Отпрвин имаше само пребарување на зборови - превртен индекс. Тогаш имаше премногу страни, требаше да се рангираат. Почнаа да се земаат предвид различни компликации - зачестеноста на зборовите, tf-idf .

Доба на врски

Потоа имаше премногу страници на која било тема, имаше важен чекор напред - тие почнаа да ги земаат предвид врските, се појави PageRank.

Доба на машинско учење

Интернетот стана комерцијално важен и имаше многу измамници кои се обидуваа да ги измамат едноставните алгоритми што постоеја во тоа време. Имаше втор голем пробив - пребарувачите почнаа да го користат своето знаење за однесувањето на корисниците за да разберат кои страници се добри, а кои не се.

Некаде во оваа фаза, човечкиот ум повеќе не беше доволен за да дознае како да ги рангира документите. Следната транзиција се случи - пребарувачите почнаа активно да користат машинско учење.

Еден од најдобрите алгоритми за машинско учење беше измислен во Yandex - Matrixnet. Може да се каже дека колективната интелигенција на корисниците и „мудроста на толпата“ помагаат во рангирањето. Информациите за веб-локациите и однесувањето на луѓето се претвораат во многу фактори, од кои секој го користи Matrixnet за да изгради формула за рангирање. Всушност, формулата за рангирање е напишана од машина (се испостави дека е околу 300 мегабајти).

Но, „класичното“ машинско учење има граница: работи само таму каде што има многу податоци. Мал пример. Милиони корисници влегуваат во барањето [vkontakte] за да ја најдат истата локација. Во овој случај, нивното однесување е толку силен сигнал што пребарувањето не ги принудува луѓето да го разгледаат проблемот, туку веднаш ја сугерира адресата кога внесувате барање.

Но, луѓето се посложени и сакаат повеќе од пребарувањето. Сега до 40% од сите барања се единствени, односно не се повторуваат најмалку двапати во текот на целиот период на набљудување. Ова значи дека пребарувањето нема доволно податоци за однесувањето на корисниците во доволни количини, а Matrixnet е лишен од вредни фактори. Ваквите барања во Yandex се нарекуваат „долга опашка“, бидејќи заедно сочинуваат значителен дел од барањата за нашето пребарување.

Ерата на вештачката интелигенција

И тука е време да се зборува за најновото откритие: пред неколку години, компјутерите станаа доволно брзи и има доволно податоци за користење на невронски мрежи. Технологиите базирани на нив се нарекуваат и машинска интелигенција или вештачка интелигенција - бидејќи невронските мрежи се изградени според сликата на невроните во нашиот мозок и се обидуваат да ја имитираат работата на некои негови делови.

Машинската интелигенција е многу подобра од постарите методи во извршувањето на задачите што луѓето можат да ги извршуваат, како што се препознавање говор или обрасци во слики. Но, како ова помага во пребарувањето?

Како по правило, нискофреквентните и уникатни прашања се доста тешко да се најдат - да се најде добар одговор за нив е многу потешко. Како да се направи тоа? Немаме совети од корисниците (кој документ е подобар, а кој полош), така што за да го решите проблемот со пребарувањето, треба да научите подобро да ја разбирате семантичката кореспонденција помеѓу два текста: барање и документ.

Лесно е да се каже

Строго кажано, вештачките невронски мрежи се еден од методите за машинско учење. Неодамна, им беше посветено предавање во рамките на Малиот ШАД. Невронските мрежи покажуваат импресивни резултати во анализата на природните информации - звук и слики. Ова се случува веќе неколку години. Но, зошто досега не се толку активно користени во потрагата?

Едноставниот одговор е затоа што да се зборува за значење е многу потешко отколку да се зборува за слика на слика, или како да се претворат звуците во транскрибирани зборови. Меѓутоа, во потрагата по значења, вештачката интелигенција навистина почна да доаѓа од областа каде што одамна е цар - пребарување по слики.

Неколку зборови за тоа како функционира при пребарување на слики. Вие земате слика и користите невронски мрежи за да ја трансформирате во вектор во N-димензионален простор. Земете барање (кое може да биде и во текстуална форма и во форма на друга слика) и направете го истото со него. И потоа споредете ги овие вектори. Колку се поблиску еден до друг, толку повеќе сликата се совпаѓа со барањето.

Добро, ако работи во слики, зошто да не се примени истата логика на веб-пребарувањата?

Ѓавол во технологијата

Ние го формулираме проблемот на следниов начин. Имаме корисничко барање и наслов на страница во влезот. Треба да разберете како тие одговараат едни на други по значење. За да го направите ова, потребно е да се прикажат текстот на барањето и текстот на насловот во форма на такви вектори, чиешто скаларно множење би било поголемо, толку е порелевантен документот со дадениот наслов за барањето. . Со други зборови, сакаме да ја обучиме невронската мрежа на таков начин што за слични текстови генерира слични вектори, а за семантички неповрзани барања и наслови, векторите треба да бидат различни.

Комплексноста на оваа задача лежи во изборот на правилната архитектура и метод за обука на невронската мрежа. Доста пристапи за решавање на проблемот се познати од научни публикации. Веројатно наједноставниот метод овде е да се претстават текстовите како вектори користејќи го алгоритмот word2vec (за жал, практичното искуство сугерира дека ова е прилично лошо решение за проблемот што е прифатен).

ДССМ

Во 2013 година, истражувачите од Microsoft Research го опишаа нивниот пристап, кој беше наречен Длабоко структуриран семантички модел.

Текстовите на барања и заглавија се внесуваат на влезот на моделот. За да се намали големината на моделот, врз нив се врши операција, која авторите ја нарекуваат хеширање на зборови. Во текстот се додаваат маркери за почеток и крај, по што се дели на азбучни триграми. На пример, за барањето [palekh] ќе ги добиеме триграмите [pa, ale, lekh, ex]. Бидејќи бројот на различни триграми е ограничен, можеме да го претставиме текстот на барањето како вектор со големина од неколку десетици илјади елементи (големината на нашата азбука е 3 сили). Елементите на векторот што одговараат на триграмите на барањето ќе бидат еднакви на 1, остатокот - 0. Всушност, на овој начин го означуваме појавувањето на триграми од текстот во речник кој се состои од сите познати триграми. Ако ги споредиме таквите вектори, тогаш можеме да дознаеме само за присуството на идентични триграми во барањето и заглавието, што не е од особен интерес. Затоа, сега тие треба да се претворат во други вектори кои веќе ќе ги имаат својствата на семантичка сличност што ни се потребни.

По влезниот слој, како што се очекуваше во длабоките архитектури, има неколку скриени слоеви и за барањето и за заглавието. Последниот слој е долг 128 елементи и служи како вектор што се користи за споредба. Излезот на моделот е резултат на скаларното множење на последните вектори за заглавие и барање (да бидеме сосема прецизни, се пресметува косинус на аголот помеѓу векторите). Моделот е обучен на таков начин што за позитивни примери за обука излезната вредност е голема, а за негативните примери за обука е мала. Со други зборови, со споредување на векторите на последниот слој, можеме да ја пресметаме грешката на предвидувањето и да го измениме моделот на таков начин што грешката се намалува.

Ние во Yandex исто така активно истражуваме модели базирани на вештачки невронски мрежи, па се заинтересиравме за моделот DSSM. Следно, ќе зборуваме за нашите експерименти во оваа област.

Теорија и пракса

Карактеристично својство на алгоритмите опишани во научната литература е тоа што тие не секогаш функционираат надвор од кутијата. Факт е дека „академскиот“ истражувач и истражувачот од индустријата се во значително различни услови. Како појдовна точка (основна линија), со која авторот на научната публикација ја споредува својата одлука, треба да дејствува некој добро познат алгоритам - ова обезбедува репродуктивност на резултатите. Истражувачите ги земаат резултатите од претходно објавениот пристап и покажуваат како можат да бидат претепани. На пример, авторите на оригиналниот DSSM го споредуваат нивниот модел NDCG со алгоритмите BM25 и LSA. Во случај на применет истражувач кој се занимава со квалитетот на пребарувањето во вистински пребарувач, почетната точка не е еден специфичен алгоритам, туку целото рангирање како целина. Целта на развивачот на Yandex не е да го престигне BM25, туку да постигне подобрување на позадината на сите многу претходно воведени фактори и модели. Така, основната линија за истражувач во Yandex е исклучително висока, а многу алгоритми кои се научно нови и покажуваат добри резултати со „академски“ пристап се бескорисни во пракса, бидејќи тие навистина не го подобруваат квалитетот на пребарувањето.

И во случајот со ДССМ се соочивме со истиот проблем. Како што често се случува, во „борбени“ услови, точната имплементација на моделот од статијата покажа прилично скромни резултати. Беа потребни голем број значајни „подобрувања на датотеките“ пред да можеме да добиеме резултати кои беа интересни од практична гледна точка. Овде ќе зборуваме за главните модификации на оригиналниот модел, што ни овозможи да го направиме помоќен.

Голем влезен слој

Во оригиналниот DSSM модел, влезниот слој е збир на буквални триграми. Неговата големина е 30.000. Пристапот на триграм има неколку предности. Прво, има релативно малку од нив, така што работата со нив не бара големи ресурси. Второ, нивната употреба го поедноставува идентификацијата на печатни грешки и грешки во зборовите. Сепак, нашите експерименти покажаа дека претставувањето на текстови во форма на „торба“ со триграми значително ја намалува експресивната моќ на мрежата. Затоа, радикално ја зголемивме големината на влезниот слој, вклучувајќи, покрај триграмите на буквите, уште околу 2 милиони зборови и фрази. Така, текстовите на барањето и заглавјето ги прикажуваме како заедничка „вреќа“ со зборови, вербални биграми и буквални триграми.

Употребата на голем влезен слој доведува до зголемување на големината на моделот, времетраењето на обуката и бара значително големи пресметковни ресурси.

Тешко да се научи: како невронската мрежа се бореше со себе и научи од своите грешки

Обуката за оригиналниот DSSM се состои од прикажување на мрежата на голем број позитивни и негативни примери. Овие примери се земени од резултатите од пребарувањето (очигледно, Bing беше користен за ова). Позитивни примери се наслови на кликнати SERPs, негативни примери се наслови на документи кои не биле кликнати. Овој пристап има одредени недостатоци. Факт е дека отсуството на клик не секогаш укажува дека документот е ирелевантен. Обратна изјава е исто така вистинита - присуството на клик не ја гарантира релевантноста на документот. Во суштина, со учење на начин опишан во оригиналната статија, имаме за цел да ја предвидиме привлечноста на насловите со оглед на тоа што тие ќе бидат присутни во SERP. Ова, се разбира, исто така не е лошо, но има прилично индиректна врска со нашата главна цел - да научиме да ја разбираме семантичката близина.

За време на нашите експерименти, откривме дека резултатот може значително да се подобри ако користиме различна стратегија за избор на негативни примери. За да ја постигнеме нашата цел, добри негативни примери се документите за кои се гарантира дека се ирелевантни за барањето, но во исто време и помагаат на невронската мрежа подобро да ги разбере значењата на зборовите. Каде можам да ги набавам?

Прво обидете се

Прво, како негативен пример, само земете го насловот на случаен документ. На пример, за барањето [слика на Палех], случајниот наслов може да биде „Правила на патот 2016 на Руската Федерација“. Се разбира, невозможно е целосно да се исклучи фактот дека случајно избраниот документ од милијарди ќе биде релевантен за барањето, но веројатноста за тоа е толку мала што може да се занемари. На овој начин многу лесно можеме да добиеме голем број негативни примери. Се чини дека сега можеме да ја научиме нашата мрежа токму она што го сакаме - да разликуваме добри документи што ги интересираат корисниците од документи што немаат никаква врска со барањето. За жал, моделот обучен на такви примери се покажа прилично слаб. Невралната мрежа е паметна работа и секогаш ќе најде начин да ја поедностави својата работа. Во овој случај, таа само почна да ги бара истите зборови во барањата и насловите: да - добар пар, не - лош. Но, ние самите можеме да го направиме тоа. За нас е важно мрежата да научи да разликува неочигледни обрасци.

Уште еден обид

Следниот експеримент беше да се додадат зборови од барањето во насловите на негативните примери. На пример, за барањето [Palekh painting], случаен наслов изгледаше како [Rules of the road 2016 RF painting]. Невронската мрежа имаше малку повеќе тешкотии, но, сепак, брзо научи добро да ги разликува природните парови од рачно изработените парови. Стана јасно дека нема да постигнеме успех со такви методи.

Успех

Многу очигледни решенија стануваат очигледни дури откако ќе бидат откриени. Така се случи и овој пат: по некое време се покажа дека Најдобриот начингенерирањето негативни примери е да се принуди мрежата да се „бори“ против себе, да учи од сопствените грешки. Помеѓу стотиците случајни заглавија, го избравме оној што сегашната невронска мрежа го сметаше за најдобар. Но, бидејќи ова заглавие е сè уште случајно, голема е веројатноста да не одговара на барањето. И токму овие наслови почнавме да ги користиме како негативни примери. Со други зборови, можете да го покажете на мрежата најдоброто од случајните наслови, да ја обучите, да најдете нови најдобри случајни наслови, повторно да ги прикажете мрежите итн. Повторувајќи ја оваа постапка одново и одново, видовме како квалитетот на моделот значително се подобрува, а сè почесто најдоброто од случајните парови станувало слично на вистински позитивни примери. Проблемот беше решен.

Таквата шема за обука во научната литература обично се нарекува тешко негативно рударство. Исто така, треба да се забележи дека решенијата слични по концепт станаа широко распространети во научната заедница за генерирање слики со реалистичен изглед, слична класа на модели се нарекува Генеративни противнички мрежи.

различни намени

Microsoft Research користеше кликнувања на документи како позитивни примери. Сепак, како што веќе беше споменато, ова е прилично несигурен сигнал за семантичката кореспонденција на заглавието со барањето. На крајот, нашата задача не е да ги подигнеме најпосетуваните страници во резултатите од пребарувањето, туку да најдеме навистина корисни информации. Затоа, се обидовме да користиме други карактеристики на однесувањето на корисниците како цел на учење. На пример, еден од моделите предвиде дали корисникот ќе остане на страницата или ќе замине. Другото е колку долго ќе остане на страницата. Како што се испостави, можете значително да ги подобрите резултатите ако оптимизирате целна метрика што укажува дека корисникот го нашол она што му треба.

Профит

Добро, што ни дава ова во пракса? Ајде да го споредиме однесувањето на нашиот нервен модел и едноставниот текстуален фактор заснован на соодветните зборови за барање и текст - BM25. Ни дојде од деновите кога рангирањето беше едноставно, а сега е погодно да се користи како основно ниво.

Како пример, да го земеме барањето [Book of Kells] и да видиме каква вредност имаат факторите на различни заглавија. За контрола, да додадеме очигледно небитен резултат на списокот со наслови.

Сите фактори во Yandex се нормализирани на интервалот. Сосема е очекувано дека BM25 добива високи оценки за наслови што содржат зборови за барање. И сосема е предвидливо дека овој фактор добива нулта вредност на наслови кои немаат заеднички зборови со барањето. Сега обрнете внимание на тоа како се однесува нервниот модел. Подеднакво добро ја препознава поврзаноста на барањето и со насловот на руски јазик на соодветната страница од Википедија и со насловот на статијата на англиски јазик! Дополнително, се чини дека манекенката ја „видела“ поврзаноста на барањето со наслов кој не ја споменува Книгата на Келс, но има слична фраза („ирски евангелија“). Вредноста на моделот за ирелевантен наслов е значително помала.

Сега да видиме како ќе се однесуваат нашите фактори ако го преформулираме барањето без да го промениме неговото значење: [Евангелие на Келс].

За BM25, преформулирањето на барањето се претвори во вистинска катастрофа - факторот стана нула на соодветните наслови. И нашиот модел покажува одлична отпорност на преформулирање: релевантните наслови сè уште имаат висока факторска вредност, а ирелевантниот наслов сè уште има ниска факторска вредност. Се чини дека токму тоа е однесувањето што го очекувавме од нешто што тврди дека може да ја „разбере“ семантиката на текстот.

Друг пример. Барање [приказната во која беше смачкана пеперутката].

Како што можете да видите, нервниот модел успеа да му даде висока оценка на насловот со точниот одговор, и покрај целосното отсуство на заеднички зборови со барањето. Дополнително, јасно се гледа дека заглавијата кои не одговараат на барањето, но сепак се поврзани со него по значење, добиваат прилично висока факторска вредност. Како нашата манекенка да ја „прочита“ приказната на Бредбери и „знае“ дека токму за ова се работи!

Што е следно?

Ние сме на самиот почеток на долго и многу интересно патување. Очигледно, невронските мрежи имаат голем потенцијал за подобрување на рангирањето. Главните насоки на кои им е потребен активен развој се веќе јасни.

На пример, очигледно е дека насловот содржи нецелосни информации за документот и би било убаво да се научи како да се изгради модел од целосниот текст (како што се испостави, ова не е сосема тривијална задача). Понатаму, може да се замисли модели кои имаат многу посложена архитектура од DSSM - постои причина да се верува дека на овој начин можеме подобро да се справиме со некои природни јазични конструкции. Нашата долгорочна цел ја гледаме во создавање модели кои можат да ја „разберат“ семантичката кореспонденција на прашања и документи на ниво споредливо со нивото на една личност. Ќе има многу тешкотии на патот до оваа цел - толку поинтересно ќе биде да се помине. Ветуваме дека ќе зборуваме за нашата работа во оваа област. Следете ги следните објави.

Писателот на научна фантастика Сергеј Лукјаненко, заедно со невронската мрежа Yandex, создадоа дело во стилот на серијата Вечери на фарма во близина на Диканка. Писателот ги развил ликовите и главните приказни, а потоа невронската мрежа ја генерирала приказната „Лошиот договор“, која е во јавна сопственост, на оваа основа.

Карактеристики на развој

Идејата на проектот му припаѓа на каналот ТВ-3. Причината беше објавувањето на филмот „Гогољ. Страшна одмазда “, чија премиера во Русија е закажана за 30 август 2018 година. Продуцентот Валери Федорович истакна дека процесот на создавање на приказната одговара на тоа како Гогољ работел на неговите дела. Но, ако народните легенди за Николај Василевич биле запишани и испратени со писма од мајката, тогаш во овој случај информациите се обработуваат од невронската мрежа, а писателот ја обезбедува фолклорната „храна“.

Програмата додаде многу детали, приказни на приказната „Лош договор“, а исто така обезбеди и наративен јазик сличен на оној на Гогољ. Овој резултат беше постигнат благодарение на прелиминарната обука врз основа на руската проза воопшто, а потоа и на делата на писателот особено.

Мислење на писателот

Сергеј Лукјаненко го ценеше резултатот од заедничката работа со Yandex на два начина. Од една страна, тој е задоволен што, и покрај брзиот развој на невронските мрежи и вештачката интелигенција, потребна е личност која ќе ја создаде основата на креативното дело. Од друга страна, писателот е вознемирен што некои модерни книги се напишани полошо од приказната создадена од машината.