Градските власти ще пуснат невронна мрежа, която ще разпознава автомобилите по силует, марка и светлини. Това съобщиха от Центъра за управление на трафика на Департамента по транспорт и пътна инфраструктура на град Москва.

Предполага се, че "умната" система ще намали натоварването на операторите и ще подобри качеството на предварителната обработка на нарушенията, записани от автоматични средства за фиксиране на нарушения в областта на движението. Невронната мрежа ще се използва във фото-видеозаписващия център на ЦОДД, който обработва снимки от камери. Между другото, там се получават до 400 хиляди материала дневно.

Според Андрей Михайлюк, експерт в областта на съвременните технологии, Москва е лидер в областта на прилагането на съвременни технологии. Той добави, че е необходима невронна система за справяне със случаите, когато камерата не може да разпознае регистрационния номер.

Понякога собствениците на автомобили, за да избегнат глоба, затварят една или повече цифри на номера, каза експертът. - Такива снимки се изпращат на служителите за обработка.

В същото време човешкият ресурс е ограничен. Михайлюк смята, че прехвърлянето на тази функция към компютъра е съвсем логично.

Такава задача трябва да се решава не от човек, а от система за машинно обучение, - отбеляза той.

Експертът също така добави, че според него подобна задача за невронна мрежа е доста примитивна. Работата е там, че броят на моделите автомобили е ограничен, докато стабилните характеристики на автомобила силно зависят от формата на самия автомобил и светлините му.

По този начин, смята той, задачата, възложена на невронната мрежа, е доста проста. Технически, такава система може да бъде разработена за няколко месеца и ще отнеме известно време, за да се обучи мрежата с помощта на съществуващите снимки.

Експертът подчерта, че Русия по отношение на използването на съвременни технологии за налагане на глоби значително изпреварва други страни в света. Според него всичко е до манталитета ни.

Ние нарушаваме правилата за движение много по-често, отколкото в други страни, - обясни Андрей Михайлюк. - Ако в Европа се окачи камера, тогава тя условно ще оправи една глоба на месец и ако шофьорите също знаят за това, тогава никой няма да го наруши изобщо. Имаме съвсем различна ситуация в Русия.

В момента в Москва има 1,5 хиляди стационарни камери за фиксиране на нарушения. През 2016 г. с помощта на фото-видеозапис са издадени 11,7 млн. глоби, през 2017 г. - 24,6 млн., а за десет месеца на 2018 г. - над 25 млн. Трябва да се отбележи, че 280 служители в Центъра за управление на трафика са ангажирани с проверка на информацията, коригиране на грешки и контрол на качеството на фото и видеозаписа.

След като получи поредното „писмо за щастие“, съвременният собственик на кола винаги се опитва да проучи внимателно черно-бяла снимка и да си спомни много подробно стълба, на който е окачена следващата камера. Но не винаги е възможно да се избегнат нови глоби. И така, какви сили и средства са в услуга на "големия брат", как да ги изчислим и бързо да вземем необходимите мерки, за да не получим нова глоба? Известия разбра как се ражда решение за нарушение, какви видове пътни комплекси за фото и видеозапис съществуват, а също така се опита да разбере какво да прави, ако глобата е издадена погрешно.

Името им е легион

Към днешна дата в Москва са инсталирани общо около 167 000 камери, от които почти 2000 комплекса за автоматично записване на нарушения на пътя наблюдават пътната обстановка, като броят им непрекъснато нараства. В момента 1,5 хиляди стационарни, над 30 мобилни, почти 400 мобилни и още 110 комплекса, монтирани в обществения наземен транспорт, помагат за глобяването на нарушителите. Несъмнено работата за подобряване на ситуацията с пътната безопасност се извършва в голям мащаб: само през 2017 г. са открити повече от 83 милиона нарушения с помощта на инструменти за фото и видеозапис (малко повече от 60 милиона година по-рано), но често случва се това автоматични системипровалят и нараняват невинни шофьори.

Първите стационарни комплекси за фото и видеозапис на нарушенията на движението се появиха на изходящите магистрали на столицата през 2006–2007 г. като част от федералната целева програма „Подобряване на пътната безопасност през 2006–2010 г.”. Тъй като оттогава ситуацията по пътищата значително се подобри, ще продължат да се монтират камери за трафик.

Модерните комплекси са в състояние не само да записват превишена скорост, шофиране отстрани на пътя или шофиране в ленти за обществен транспорт, но и да изчисляват нарушителите, които се движат из града без OSAGO, спират или паркират в райони, където е трудно да се шофира без автомобила си, или на места за хора с увреждания, не спазват изискванията на пътните знаци и маркировка и др. Съвсем наскоро в столицата се появиха трафик камери, които контролират стоп линията. И още през 2019 г. Държавната обществена институция "Център за организация на движението" (ЦОДД) ще инсталира 200 комплекса за наблюдение на безопасността на най-уязвимите участници в движението - камерите ще бъдат насочени към шофьорите, които не позволяват на пешеходци да преминат на зебра . Спомнете си, че глобата за такова нарушение в съответствие с член 12.18 от Кодекса за административните нарушения варира от 1,5 хиляди до 2,5 хиляди рубли.

Не е далеч появата на напълно нова глоба за шофьорите - за това на 12 ноември началникът на КАТ Михаил Черников. Инспекцията възнамерява да въведе санкция за опасно шофиране. За да контролират бързината и да вземат решения на феновете на играта "шашки", най-вероятно ще им бъдат поверени и комплекси за фото и видеозапис.

Стрелба в гръб

Като част от концепцията за превръщането на Москва в „умен град“ от 2011 г. в столицата активно се въвежда интелигентна транспортна система (ИТС), която събира и анализира информация за натоварването и състоянието на пътната мрежа. „Ръцете и очите“ на ITS са камери за трафик и други софтуерни и хардуерни инструменти, които събират, обработват, съхраняват данни и ги поддържат актуални.

В Русия се използват три типа системи: радарни, лазерни и видеофиксиращи. Те могат да бъдат както стационарни, така и мобилни. Радарните системи могат да бъдат разграничени по външен вид(имат две "очи" - за радарния сензор и за обектива на камерата), и видеозапис на инсталирането на няколко камери на стрелата (по една за всяка лента).

Средно фокусното разстояние, на което камерата "улавя" нарушителя, е от 50 м до 500 м. Но прагът на максималната скорост, който може да се регистрира от устройството, е значително увеличен: обхватът на съвременните системи е 0-250 км / ч, а не 0-180 км/ч, както беше преди.

Съвременните комплекси са се научили да разпознават дори мръсни или деформирани номера и са станали по-малко склонни да правят грешки. Например грешката на комплексите Avtohuragan, популярни в Москва, в зависимост от скоростта превозно средствое само 1-2 км/ч, а различните модификации на комплекса Стрелка не надвишават 2 км/ч. Последните, между другото, са оборудвани със специална „чистачка“ - устройство, което може самостоятелно да почисти окото на камерата, ако върху него попадне мръсотия.

Освен това сега устройството може не само да прави снимка в анфас на автомобила, но и да засича скоростта, с която обектът се отдалечава от камерата, да следва траекторията на движение, да измерва средната скорост на автомобила в определена зона или дори работа на принципа „пит стоп“. В последния случай данните на нарушителя ще бъдат предадени на най-близкия дежурен екип на КАТ с искане за спиране.

От септември 2018 г. в Москва е пусната в тестов режим невронна мрежа, която е свързана с базата данни на Министерството на вътрешните работи, в която се съхранява информация за всички регистрирани автомобили. Така наречената автомобилна маска се съхранява в публичното пространство и съдържа данни за марката и модела на автомобила, цвета на каросерията, регистрационния номер.

Според Максим Ликсутов, ръководител на столичния транспортен отдел, въвеждането на невронна мрежа в града ще позволи да се открият случаи на измами, тоест подмяна на регистрационни номера или кражба на превозно средство. Системата може автоматично да коригира несъответствието между автомобила и монтираните на него регистрационни номера и да даде сигнал на полицая, че автомобилът трябва да бъде проверен.

Как да не попаднете под камерата?

На първо място, за да избегнете глоба, разбира се, не трябва да нарушавате: спазвайте правилата за движение, спазвайте ограничението на скоростта, следвайте знаците и маркировките, поставени върху асфалта. Освен това можете допълнително да се защитите с помощта на антирадар или DVR с антирадар: тези устройства следят ситуацията в реално време, като получават сигнали от камерите на КАТ и уведомяват водача със звуков сигнал.

На пазарите за устройства, базирани на Android или Apple, има огромен брой приложения с подобна функционалност. Цената за такива приложения, в зависимост от техните възможности и точност, варира от 100 до 1650 рубли. Или можете да използвате безплатния навигатор, след като активирате функцията за звуково известяване за камери и други събития в трафика в настройките. Вярно е, че трябва да се има предвид, че данните, например за нови камери или мобилни постове на КАТ, се въвеждат там от същите потребители като вас.

Как да докажете своя случай?

Възможно е и е необходимо да се оспорват погрешно издадени глоби за нарушения на пътя, заснети с камери. Това обаче трябва да се направи само ако сте абсолютно сигурни, че не сте нарушили и можете да го подкрепите със солидни доказателства.

Механизмът за обжалване е следният:

Имате 10 дни за подаване на жалба от датата на получаване на глобата (член 30.3 от Кодекса за административните нарушения);

Жалба може да бъде подадена както лично (до транспортните центрове на Москва или рецепцията на MADI), така и по електронен път (чрез портала Autocode или електронната рецепция на правителството на Москва);

Комплектът документи трябва да съдържа както самата жалба, подписана от вас, така и допълнителни материали (снимки, видео или други документи), които потвърждават информацията, предоставена във вашата жалба;

Ако към момента на подаване на жалбата вече са изтекли 10-те дни, определени от Кодекса за административните нарушения, към пакета документи трябва да бъде приложена молба за възстановяване на пропуснатия срок за обжалване на решение за административно нарушение, което трябва да също да се подпише лично;

В жалбата трябва да бъдат посочени наименованието на органа, към който се подава, датата, номерът на решението и доводите, доказващи незаконосъобразността на обвинението. | Повече ▼ подробни инструкциис примери за текстове на жалби, публикувани на официалния уебсайт на кмета на Москва.

За разглеждане на жалбата са дадени 10 дни, следователно все още е необходимо да се плати глоба, макар и погрешно издадена. Също така си струва да се подготвите за факта, че решението ще трябва да бъде оспорено във висши инстанции - първо в КАТ, а след това в съда. И вземете за правило да пазите записи от DVR след пътуването поне няколко седмици.

Според пресслужбата на компанията Yandex, с помощта на невронна мрежа тя успя значително да увеличи разделителната способност и да подобри качеството на изображението на десет съветски анимационни филма, които са сред най-известните.

През последните години учените създават различни невронни мрежи, те имат такава възможност поради увеличаването на изчислителната мощност на компютрите и развитието на математиката. Невронните мрежи са системи с изкуствен интелект, които могат да решават нетривиални проблеми. Някои от тези сложни невронни мрежи дори могат да мислят извън кутията, като по този начин независимо създават нови произведения на изкуството, разработвайки иновативни технологии.

Невронната мрежа от Yandex се нарича DeepHD. Преди това тя вече успя да се покаже добре, когато беше използвана за подобряване на качеството на филмите, разказващи за Великата отечествена война. Тогава седем филма бяха подложени на промени. Сега дойде ред на съветската анимация: Снежната кралица, Аленото цвете, Коте на име Уф, Умка търси приятел, Палечка и др.

Специална система за изкуствен интелект се занимава изключително с подобряване на качеството и не прави никакви промени в рамките на анимационните филми. Нейната работа е да възстанови детайли, които са били замислени от художника, но са били изгубени, докато анимационните филми са били прехвърлени от филм на цифров. На страницата, където има описание на невронната мрежа DeepHD, се говори за нейните характеристики. Има общо четири такива характеристики: премахване на дефекти и шум, запазване на детайлите с увеличаване на разширението, отлична работа с видео потоци и отделни изображения и възможност за работа в реално време.

Технологията DeepHD се основава на генеративни състезателни невронни мрежи. В началния етап една невронна мрежа се занимава с елиминирането на дефекти, които се появяват на видеото по време на компресирането му. Вторият етап се осъществява от различна невронна мрежа, която е отговорна за увеличаване на изображението, както и за поддържане на яснотата на детайлите по време на такива промени. Можете да се запознаете с подробната работа на невронната мрежа DeepHD в официалния блог на нейните създатели.

Заслужава да се отбележи, че в DeepHD зрителите днес имат достъп не само до стари филми и анимационни филми, но и до нови игрални и анимационни филми. Можете да ги намерите чрез заявка за търсене с добавяне на „DeepHD“. Днес можете дори да гледате телевизионни канали с високо качество, това стана достъпно благодарение на способността на невронната мрежа да работи в реално време.

Хареса ли ви тази новина? Тогава Натиснете.

Днес обявихме нов алгоритъм за търсене "Palekh". Той включва всички подобрения, върху които работим напоследък.

Например търсенето сега използва невронни мрежи за първи път, за да намира документи не по думите, използвани в заявката и самия документ, а по значението на заявката и заглавието.

В продължение на десетилетия изследователите се борят с проблема със семантичното търсене, при което документите се класират въз основа на семантичната релевантност към дадена заявка. И сега се превръща в реалност.

В тази публикация ще се опитам да говоря малко за това как го направихме и защо това не е просто още един алгоритъм за машинно обучение, а важна стъпка в бъдещето.

Изкуствен интелект или машинно обучение?

Почти всеки знае, че съвременните търсачки работят с помощта на машинно обучение. Защо трябва да говорим отделно за използването на невронни мрежи за нейните задачи? И защо чак сега, защото шумът около тази тема не стихва от няколко години? Ще се опитам да ви разкажа за историята на проблема.

Интернет търсенето е сложна система, която се появи много отдавна. Първоначално беше просто търсене в страница, след това се превърна в решаване на проблеми, а сега се превръща в пълноправен помощник. Колкото по-голям е интернет и колкото повече хора са в него, толкова по-високи са техните изисквания, толкова по-трудно трябва да стане търсенето.

Епохата на наивното търсене

Отначало имаше само търсене на думи - обърнат индекс. Тогава имаше твърде много страници, те трябваше да бъдат класирани. Започнаха да се вземат предвид различни усложнения - честотата на думите, tf-idf .

Ерата на връзките

Тогава имаше твърде много страници по всякаква тема, имаше важен пробив - започнаха да вземат под внимание връзките, появи се PageRank.

Ерата на машинното обучение

Интернет стана важен от търговска гледна точка и имаше много измамници, които се опитваха да заблудят простите алгоритми, които съществуваха по онова време. Имаше втори голям пробив - търсачките започнаха да използват знанията си за поведението на потребителите, за да разберат кои страници са добри и кои не.

Някъде на този етап човешкият ум вече не беше достатъчен, за да разбере как да класира документите. Настъпи следващият преход - търсачките започнаха активно да използват машинно обучение.

Един от най-добрите алгоритми за машинно обучение е изобретен в Yandex - Matrixnet. Може да се каже, че колективната интелигентност на потребителите и „мъдростта на тълпата“ помагат за класирането. Информацията за уебсайтовете и поведението на хората се преобразува в много фактори, всеки от които се използва от Matrixnet за изграждане на формула за класиране. Всъщност формулата за класиране се пише машинно (оказа се около 300 мегабайта).

Но „класическото“ машинно обучение има ограничение: то работи само там, където има много данни. Малък пример. Милиони потребители въвеждат заявката [vkontakte], за да намерят същия сайт. В този случай поведението им е толкова силен сигнал, че търсенето не принуждава хората да гледат проблема, а предлага адреса веднага при въвеждане на заявка.

Но хората са по-сложни и искат повече от търсенето. Сега до 40% от всички заявки са уникални, тоест не се повтарят поне два пъти през целия период на наблюдение. Това означава, че търсенето няма достатъчно данни за поведението на потребителите в достатъчно количество и Matrixnet е лишен от ценни фактори. Такива заявки в Yandex се наричат ​​" дълга опашка ", Тъй като заедно те съставляват значителна част от заявките за нашето търсене.

Ерата на изкуствения интелект

И тук е моментът да поговорим за последния пробив: преди няколко години компютрите станаха достатъчно бързи и има достатъчно данни за използване на невронни мрежи. Базираните на тях технологии се наричат ​​още машинен интелект или изкуствен интелект – тъй като невронните мрежи са изградени по подобие на невроните в нашия мозък и се опитват да подражават на работата на някои негови части.

Машинният интелект е много по-добър от по-старите методи при изпълнение на задачи, които хората могат да изпълняват, като разпознаване на реч или модели в изображения. Но как това помага на търсенето?

Като правило, нискочестотните и уникални заявки са доста трудни за намиране - намирането на добър отговор за тях е много по-трудно. Как да го направя? Нямаме съвети от потребителите (кой документ е по-добър и кой е по-лош), така че за да разрешите проблем с търсенето, трябва да се научите да разбирате по-добре семантичното съответствие между два текста: заявка и документ.

Лесно е да се каже

Строго погледнато, изкуствените невронни мрежи са един от методите за машинно обучение. Съвсем наскоро им беше посветена лекция в рамките на Малкия ШАД. Невронните мрежи показват впечатляващи резултати при анализа на естествена информация – звук и изображения. Това се случва вече няколко години. Но защо те не са били толкова активно използвани в търсенето досега?

Простият отговор е, защото да говорим за смисъл е много по-трудно, отколкото да говорим за изображение в картина или как да превърнем звуците в транскрибирани думи. Въпреки това, в търсенето на значения, изкуственият интелект наистина започна да идва от областта, в която отдавна е цар - търсенето по снимки.

Няколко думи за това как работи при търсене на изображения. Вземате изображение и използвате невронни мрежи, за да го трансформирате във вектор в N-измерното пространство. Вземете заявка (която може да бъде както в текстова форма, така и под формата на друга снимка) и направете същото с нея. И след това сравнете тези вектори. Колкото по-близо са един до друг, толкова повече картината отговаря на заявката.

Добре, ако работи в изображения, защо не приложите същата логика към търсенията в мрежата?

Дяволът в технологиите

Формулираме проблема по следния начин. Имаме потребителска заявка и заглавие на страница във входа. Трябва да разберете как те съответстват един на друг по смисъл. За да направите това, е необходимо да представите текста на искането и текста на заглавието под формата на такива вектори, чието скаларно умножение ще бъде толкова по-голямо, колкото по-подходящ е документът с даденото заглавие за искането . С други думи, искаме да обучим невронната мрежа по такъв начин, че за подобни текстове да генерира подобни вектори, а за семантично несвързани заявки и заглавия векторите да са различни.

Сложността на тази задача се състои в избора на правилната архитектура и метод за обучение на невронната мрежа. От научни публикации са известни доста подходи за решаване на проблема. Вероятно най-простият метод тук е да се представят текстове като вектори с помощта на алгоритъма word2vec (за съжаление, практическият опит показва, че това е доста лошо решение за разглеждания проблем).

DSSM

През 2013 г. изследователи от Microsoft Research описват своя подход, наречен Deep Structured Semantic Model.

Текстовете на заявките и заглавките се подават на входа на модела. За намаляване на размера на модела върху тях се извършва операция, която авторите наричат ​​хеширане на думи. Към текста се добавят начални и крайни маркери, след което той се разделя на азбучни триграми. Например, за заявката [palekh] ще получим триграмите [pa, ale, lekh, ex]. Тъй като броят на различните триграми е ограничен, можем да представим текста на заявката като вектор с размер от няколко десетки хиляди елемента (размерът на нашата азбука е 3 степени). Елементите на вектора, съответстващи на триграмите на заявката, ще бъдат равни на 1, останалите - на 0. Всъщност по този начин отбелязваме появата на триграми от текста в речник, състоящ се от всички известни триграми. Ако сравним такива вектори, тогава можем да разберем само за наличието на идентични триграми в заявката и заглавката, което не е от особен интерес. Следователно сега те трябва да бъдат преобразувани в други вектори, които вече ще имат свойствата на семантичното сходство, от които се нуждаем.

След входния слой, както се очаква в дълбоките архитектури, има няколко скрити слоя както за заявката, така и за заглавката. Последният слой е дълъг 128 елемента и служи като вектор, който се използва за сравнение. Резултатът от модела е резултат от скаларното умножение на последното заглавие и векторите на заявката (за да бъдем съвсем точни, се изчислява косинусът на ъгъла между векторите). Моделът е обучен по такъв начин, че за положителни примери за обучение изходната стойност е голяма, а за отрицателни примери за обучение е малка. С други думи, чрез сравняване на векторите на последния слой, можем да изчислим грешката при прогнозиране и да модифицираме модела по такъв начин, че грешката да намалява.

Ние от Yandex също активно изследваме модели, базирани на изкуствени невронни мрежи, така че се заинтересувахме от модела DSSM. След това ще говорим за нашите експерименти в тази област.

Теория и практика

Характерно свойство на описаните в научната литература алгоритми е, че те не винаги работят предварително. Факт е, че "академичният" изследовател и изследователят от индустрията са в значително различни условия. Като отправна точка (базова линия), с която авторът на научна публикация сравнява своето решение, трябва да действа някакъв добре известен алгоритъм - това гарантира възпроизводимостта на резултатите. Изследователите вземат резултатите от публикуван по-рано подход и показват как могат да бъдат победени. Например, авторите на оригиналния DSSM сравняват техния модел NDCG с алгоритмите BM25 и LSA. В случай на приложен изследовател, който се занимава с качеството на търсене в реална търсачка, отправната точка не е един конкретен алгоритъм, а цялото класиране като цяло. Целта на разработчика на Yandex не е да изпревари BM25, а да постигне подобрение на фона на всички многобройни преди това внедрени фактори и модели. По този начин базовата линия за изследовател в Yandex е изключително висока и много алгоритми, които са научно нови и показват добри резултати с „академичен“ подход, са безполезни на практика, тъй като всъщност не подобряват качеството на търсенето.

В случая с DSSM се сблъскахме със същия проблем. Както често се случва, в "бойни" условия, точното прилагане на модела от статията показа доста скромни резултати. Бяха необходими редица значителни „подобрения на файловете“, преди да можем да получим резултати, които са интересни от практическа гледна точка. Тук ще говорим за основните модификации на оригиналния модел, които ни позволиха да го направим по-мощен.

Голям входен слой

В оригиналния DSSM модел входният слой е набор от буквални триграми. Размерът му е 30 000. Триграмният подход има няколко предимства. Първо, има сравнително малко от тях, така че работата с тях не изисква големи ресурси. Второ, тяхното използване опростява идентифицирането на правописни грешки и грешки в думите. Нашите експерименти обаче показаха, че представянето на текстове под формата на "торба" от триграми значително намалява изразителната сила на мрежата. Затова радикално увеличихме размера на входния слой, включително, в допълнение към буквените триграми, още около 2 милиона думи и фрази. По този начин представяме текстовете на заявката и заглавката като обща "чанта" от думи, словесни биграми и буквални триграми.

Използването на голям входен слой води до увеличаване на размера на модела, продължителността на обучението и изисква значително повече изчислителни ресурси.

Трудно за научаване: как една невронна мрежа се бори със себе си и се учи от грешките си

Обучението на оригиналния DSSM се състои в показване на мрежата на голям брой положителни и отрицателни примери. Тези примери са взети от резултати от търсене (очевидно за това е използван Bing). Положителните примери са заглавия на кликнати SERPs, отрицателните примери са заглавия на документи, върху които не е кликнато. Този подход има определени недостатъци. Факт е, че липсата на щракване не винаги означава, че документът е неподходящ. Обратното твърдение също е вярно - наличието на клик не гарантира релевантността на документа. По същество, като се учим по начина, описан в оригиналната статия, ние целим да предвидим привлекателността на заглавията, като се има предвид, че те ще присъстват в SERP. Това, разбира се, също не е лошо, но има доста косвено отношение към основната ни цел - да се научим да разбираме семантичната близост.

По време на нашите експерименти установихме, че резултатът може да бъде значително подобрен, ако използваме различна стратегия за избор на отрицателни примери. За да постигнем нашата цел, добрите отрицателни примери са документи, които гарантирано нямат отношение към заявката, но в същото време помагат на невронната мрежа да разбере по-добре значенията на думите. Къде мога да ги взема?

Първи опит

Първо, като отрицателен пример, просто вземете заглавието на произволен документ. Например, за заявката [Палехска картина] произволното заглавие може да бъде „Правила за движение 2016 на Руската федерация“. Разбира се, невъзможно е напълно да се изключи фактът, че документ, произволно избран от милиарди, ще бъде от значение за заявката, но вероятността за това е толкова малка, че може да бъде пренебрегната. По този начин много лесно можем да получим голям брой негативни примери. Изглежда, че сега можем да научим нашата мрежа точно на това, което искаме - да различаваме добрите документи, които интересуват потребителите, от документи, които нямат нищо общо със заявката. За съжаление моделът, обучен на такива примери, се оказа доста слаб. Невронната мрежа е умно нещо и винаги ще намери начин да опрости работата си. В този случай тя просто започна да търси едни и същи думи в заявки и заглавия: да - добра двойка, не - лоша. Но ние можем да направим това сами. За нас е важно мрежата да се научи да различава неочевидните модели.

Още един опит

Следващият експеримент беше да се добавят думи от заявката към заглавията на отрицателните примери. Например за заявката [Palekh painting] случайно заглавие изглеждаше като [Rules of the road 2016 RF painting]. Невронната мрежа имаше малко повече затруднения, но въпреки това бързо се научи да различава добре естествените двойки от ръчно направените двойки. Стана ясно, че с такива методи няма да постигнем успех.

Успех

Много очевидни решения стават очевидни едва след като бъдат открити. Така се случи и този път: след известно време се оказа, че По най-добрия начингенерирането на негативни примери е да принуди мрежата да се "бори" срещу себе си, да се поучи от собствените си грешки. Сред стотици произволни заглавия избрахме този, който настоящата невронна мрежа смята за най-добър. Но тъй като това заглавие все още е произволно, много вероятно е да не съответства на заявката. И именно тези заглавия започнахме да използваме като негативни примери. С други думи, можете да покажете на мрежата най-доброто от произволните заглавия, да го обучите, да намерите нови най-добри произволни заглавия, да покажете мрежите отново и т.н. Повтаряйки тази процедура отново и отново, видяхме как качеството на модела се подобрява забележимо и все по-често най-доброто от произволни двойки става подобно на реални положителни примери. Проблемът беше решен.

Такава схема на обучение в научната литература обикновено се нарича трудно отрицателно копаене. Трябва също да се отбележи, че подобни по концепция решения са широко разпространени в научната общност за генериране на реалистично изглеждащи изображения, подобен клас модели се нарича Generative Adversarial Networks.

различни цели

Microsoft Research използва кликвания върху документи като положителни примери. Въпреки това, както вече беше споменато, това е доста ненадежден сигнал за семантичното съответствие на заглавката с заявката. В крайна сметка, нашата задача не е да издигнем най-посещаваните сайтове в резултатите от търсенето, а да намерим наистина полезна информация. Затова се опитахме да използваме други характеристики на потребителското поведение като учебна цел. Например, един от моделите прогнозира дали потребителят ще остане на даден сайт или ще го напусне. Другото е колко време ще остане на сайта. Както се оказа, можете значително да подобрите резултатите, ако оптимизирате целеви показател, който показва, че потребителят е намерил това, от което се нуждае.

печалба

Добре, какво ни дава това на практика? Нека сравним поведението на нашия невронен модел и прост текстов фактор, базиран на съвпадащи думи и текст на заявка - BM25. Дойде при нас от дните, когато класирането беше просто, а сега е удобно да го използвате като базово ниво.

Като пример, нека вземем заявката [Book of Kells] и да видим каква стойност приемат факторите в различните заглавки. За контрол нека добавим очевидно неуместен резултат към списъка със заглавия.

Всички фактори в Yandex са нормализирани към интервала. Съвсем очаквано е BM25 да има висок резултат за заглавия, които съдържат думи за заявка. И е доста предвидимо този фактор да получи нулева стойност за заглавия, които нямат общи думи със заявката. Сега обърнете внимание как се държи невронният модел. Еднакво добре разпознава връзката на заявка както с рускоезичното заглавие на съответната страница от Wikipedia, така и със заглавието на статия на английски! Освен това изглежда, че моделът е „видял“ връзката на заявката със заглавие, в което не се споменава Книгата на Келс, но има подобна фраза („Ирландски евангелия“). Стойността на модела за нерелевантно заглавие е значително по-ниска.

Сега нека видим как ще се държат нашите фактори, ако преформулираме заявката, без да променяме значението й: [Евангелие от Келс].

За BM25 преформулирането на заявката се превърна в истинска катастрофа - факторът стана нула за съответните заглавия. И нашият модел показва отлична устойчивост на преформулиране: съответните заглавия все още имат висока факторна стойност, а неподходящото заглавие все още има ниска факторна стойност. Изглежда, че това е точно поведението, което очаквахме от нещо, което претендира, че може да "разбира" семантиката на текста.

Друг пример. Искане [историята, в която пеперудата беше смачкана].

Както можете да видите, невронният модел успя да даде висока оценка на заглавието с правилния отговор, въпреки пълната липса на често срещани думи със заявката. Освен това ясно се вижда, че заглавките, които не отговарят на заявката, но все още са свързани с нея по смисъл, получават доста висока стойност на фактора. Сякаш нашият модел е „прочел“ историята на Бредбъри и „знае“, че въпросът е точно за това!

Какво следва?

Ние сме в самото начало на едно дълго и много интересно пътуване. Очевидно невронните мрежи имат голям потенциал за подобряване на класирането. Вече са ясни основните направления, които се нуждаят от активно развитие.

Например, очевидно е, че заглавието съдържа непълна информация за документа и би било хубаво да се научите как да изградите модел от пълния текст (както се оказа, това не е напълно тривиална задача). Освен това, можем да си представим модели с много по-сложна архитектура от DSSM - има причина да вярваме, че по този начин можем да се справим по-добре с някои естествени езикови конструкции. Ние виждаме нашата дългосрочна цел в създаването на модели, които могат да "разберат" семантичното съответствие на заявки и документи на ниво, сравнимо с нивото на човек. Ще има много трудности по пътя към тази цел - толкова по-интересно ще бъде да я преминете. Обещаваме да говорим за нашата работа в тази област. Следете следващите публикации.

Писателят на научна фантастика Сергей Лукяненко, съвместно с невронната мрежа Yandex, създаде произведение в стила на поредицата „Вечери във ферма близо до Диканка“. Писателят разработи героите и основните сюжетни линии, а след това невронната мрежа генерира на тази основа историята „Лошият договор“, която е публично достояние.

Характеристики на разработката

Идеята на проекта принадлежи на канала TV-3. Причината беше излизането на филма „Гогол. Ужасно отмъщение ”, чиято премиера в Русия е насрочена за 30 август 2018 г. Продуцентът Валери Федорович отбеляза, че процесът на създаване на историята съответства на начина, по който Гогол е работил върху произведенията си. Но ако народните легенди за Николай Василиевич са записани и изпратени с писма от майката, тогава в този случай информацията се обработва от невронната мрежа, а писателят осигурява фолклорната "храна".

Програмата добави много подробности, сюжетни линии към историята „Лош договор“, а също така предостави наративен език, подобен на този на Гогол. Този резултат беше постигнат благодарение на предварителното обучение на базата на руската проза като цяло, а след това и на произведенията на писателя в частност.

Мнението на писателя

Сергей Лукяненко оцени резултата от съвместната работа с Yandex по два начина. От една страна, той е доволен, че въпреки бързото развитие на невронните мрежи и изкуствения интелект е необходим човек, който да създаде основата на едно творчество. От друга страна, писателят е разстроен, че някои съвременни книги са написани по-лошо от история, създадена от машина.