Vedenie mesta spustí neurónovú sieť, ktorá rozpozná autá podľa siluety, značky a svetiel. Informovalo o tom Centrum riadenia dopravy Moskovského ministerstva dopravy a cestnej infraštruktúry.

Očakáva sa, že „inteligentný“ systém zníži zaťaženie operátorov a skvalitní proces predbežného spracovania priestupkov evidovaných automatickými prostriedkami evidencie dopravných priestupkov. Neurónová sieť bude využívaná vo foto-video záznamovom centre centra na spracovanie dát, ktoré spracováva fotografie z kamier. Mimochodom, denne sa tam dostane až 400 tisíc materiálov.

Podľa odborníka v danej oblasti moderné technológie Andrey Mikhailyuk, Moskva - líder v aplikácii moderných technológií. Dodal, že na zvládnutie prípadov, keď kamera nedokáže rozpoznať ŠPZ auta, je potrebný neurónový systém.

Niekedy majitelia áut, aby sa vyhli pokute, zakryjú jednu alebo viac číslic na ŠPZ, povedal odborník. - Takéto obrázky idú zamestnancom na spracovanie.

Zároveň sú obmedzené ľudské zdroje. Mikhailyuk verí, že prenos tejto funkcie do počítača je celkom logický.

Tento problém by nemal vyriešiť človek, ale systém strojového učenia,“ poznamenal.

Odborník zároveň dodal, že podľa neho je takáto úloha pre neurónovú sieť dosť primitívna. Ide o to, že počet modelov áut je obmedzený a stabilné vlastnosti auta silne závisia od tvaru samotného auta a jeho svetiel.

Preto sa domnieva, že úloha pridelená neurónovej sieti je celkom jednoduchá. Technicky môže byť takýto systém vyvinutý v priebehu niekoľkých mesiacov, bude potrebný ďalší čas na trénovanie siete pomocou existujúcich fotografií.

Odborník zdôraznil, že Rusko výrazne predbieha ostatné krajiny sveta, pokiaľ ide o využívanie moderných technológií na udeľovanie pokút. Podľa jeho názoru je to všetko o našej mentalite.

U nás sa pravidlá cestnej premávky porušujú oveľa častejšie ako v iných krajinách,“ vysvetlil Andrej Mikhailyuk. - Ak je v Európe nainštalovaná kamera, zaznamená jednu pokutu mesačne a ak o nej vedia aj vodiči, tak ju neporuší vôbec nikto. Tu v Rusku je situácia úplne iná.

V Moskve je v súčasnosti 1,5 tisíc stacionárnych kamier, ktoré zaznamenávajú priestupky. V roku 2016 bolo prostredníctvom foto-video záznamu udelených 11,7 milióna pokút, v roku 2017 - 24,6 milióna a za desať mesiacov roku 2018 - viac ako 25 miliónov. Je potrebné poznamenať, že v Centre riadenia dopravy sa 280 zamestnancov venuje kontrole informácií, oprave chýb a monitorovaniu kvality záznamu fotografií a videa.

Po prijatí ďalšieho „listu šťastia“ sa majiteľ moderného auta vždy snaží dôkladne preštudovať čiernobielu fotografiu a veľmi podrobne si zapamätať stĺp, na ktorom bol zavesený ďalší fotoaparát. Nie vždy sa však dá vyhnúť novým pokutám. Aké sily a prostriedky sú teda v službách „veľkého brata“, ako ich vypočítať a rýchlo prijať potrebné opatrenia, aby nedostali ďalšiu pokutu? Izvestia zisťovala, ako sa rodí rozhodnutie o priestupku, aké druhy cestných foto-video záznamových systémov existujú a snažila sa aj zistiť, čo robiť, ak bola pokuta udelená omylom.

Ich meno je légia

V Moskve bolo k dnešnému dňu celkovo nainštalovaných asi 167 tisíc kamier, z toho takmer 2 tisíc systémov na automatické zaznamenávanie dopravných priestupkov monitoruje dopravnú situáciu a ich počet neustále rastie. V súčasnosti pomáha pokutovať porušovateľov 1,5 tisíc stacionárnych, viac ako 30 mobilných, takmer 400 mobilných a ďalších 110 komplexov inštalovaných v pozemnej verejnej doprave. Na zlepšení situácie v oblasti bezpečnosti cestnej premávky sa nepochybne pracuje vo veľkom rozsahu: len v roku 2017 bolo zistených viac ako 83 miliónov priestupkov pomocou zariadení na záznam fotografií a videa (o rok skôr - niečo cez 60 miliónov), ale často sa stáva, že automatické systémy havária a trpia nevinní motoristi.

Prvé stacionárne foto-video záznamové systémy pre dopravné priestupky sa objavili na výjazdových diaľniciach hlavného mesta už v rokoch 2006 – 2007 ako súčasť federálneho cieľového programu „Zlepšenie bezpečnosti na cestách v rokoch 2006 – 2010“. Keďže sa situácia na cestách odvtedy výrazne zlepšila, dopravné kamery budú inštalované aj naďalej.

Moderné systémy dokážu nielen rozpoznať prekročenie rýchlosti, jazdu na okraji vozovky či vjazd do jazdných pruhov MHD, ale aj identifikovať porušovateľov, ktorí sa pohybujú po meste bez povinného zmluvného poistenia motorových vozidiel, zastavujú alebo parkujú v oblastiach, kde je ťažké jazdiť bez auta, alebo na miestach, kde zdravotne postihnutí ľudia zanedbávajú požiadavky dopravných značiek a značenia atď. Nedávno sa v hlavnom meste objavili dopravné kamery monitorujúce stop čiaru. A už v roku 2019 štátna verejná inštitúcia „Centrum organizácie dopravy“ (TsODD) nainštaluje 200 systémov na monitorovanie bezpečnosti najzraniteľnejších účastníkov cestnej premávky - kamery budú zamerané na vodičov, ktorí neumožnia chodcom prejsť na priechodoch pre chodcov. Pripomeňme, že pokuta za takýto priestupok podľa článku 12.18 Kódexu správnych deliktov sa pohybuje od 1,5 tisíc do 2,5 tisíc rubľov.

Vzhľad úplne novej pokuty pre motoristov je za dverami – oznámil to 12. novembra šéf dopravnej polície Michail Černikov. Inšpekcia mieni ukladať sankcie za nebezpečnú jazdu. Monitorovaním bezohľadného správania a rozhodovaním pre fanúšikov hry dáma budú s najväčšou pravdepodobnosťou poverené aj systémy na nahrávanie fotografií a videí.

Strelený do chrbta

V rámci koncepcie premeny Moskvy na „inteligentné mesto“ hlavné mesto od roku 2011 aktívne implementuje inteligentný dopravný systém (ITS), ktorý zbiera a analyzuje informácie o zaťažení a stave cestnej siete. „Rukami a očami“ ITS sú cestné kamery a ďalší softvér a hardvér, ktoré zabezpečujú zber, spracovanie, ukladanie údajov a ich aktualizáciu.

V Rusku sa používajú tri typy systémov: radar, laser a nahrávanie videa. Môžu byť buď stacionárne alebo mobilné. Radarové systémy možno rozlíšiť podľa vzhľad(každé majú dve „oči“ - pre radarový snímač a pre objektív fotoaparátu) a nahrávanie videa zahŕňa inštaláciu niekoľkých kamier na rameno (jedna pre každý pás).

V priemere sa ohnisková vzdialenosť, pri ktorej kamera „zachytí“ narušiteľa, pohybuje od 50 m do 500 m, ale prah maximálnej rýchlosti, ktorú môže zariadenie zaznamenať, sa výrazne zvýšil: dosah moderných systémov je 0–. 250 km/h, nie 0–180 km/h, ako to bolo predtým.

Moderné systémy sa naučili rozpoznávať aj špinavé alebo zdeformované poznávacie značky a je menej pravdepodobné, že budú robiť chyby. Napríklad chyba komplexov Avtouragan, populárnych v Moskve, v závislosti od rýchlosti vozidlo je len 1–2 km/h a rôzne úpravy areálu Strelka nepresahujú 2 km/h. Tie sú mimochodom vybavené špeciálnym „správcom“ - zariadením, ktoré dokáže nezávisle vyčistiť oko fotoaparátu, ak sa naň dostane nečistota.

Okrem toho teraz zariadenie dokáže nielen odfotografovať auto spredu, ale aj zistiť rýchlosť, akou sa objekt vzďaľuje od kamery, sledovať trajektóriu pohybu, merať priemernú rýchlosť vozidla v určitej oblasti, ako aj zistiť, akou rýchlosťou sa objekt vzďaľuje od kamery. alebo dokonca fungujú na princípe „zastávky v boxoch“. V druhom prípade sa údaje o páchateľovi prenesú na najbližšiu službukonajúcu posádku dopravnej polície so žiadosťou o zastavenie.

Od septembra 2018 je v Moskve spustená v testovacom režime neurónová sieť, ktorá je prepojená s databázou ministerstva vnútra, ktorá uchováva informácie o všetkých registrovaných autách. Takzvaná maska ​​vozidla je uložená vo verejnej doméne a obsahuje údaje o značke a modeli auta, farbe karosérie a ŠPZ.

Zavedenie neurónovej siete v meste podľa šéfa odboru dopravy hlavného mesta Maxima Liksutova umožní odhaliť prípady podvodov, teda zámeny evidenčných značiek či krádeže vozidla. Systém je schopný automaticky rozpoznať nezrovnalosť medzi autom a na ňom nainštalovanými poznávacími značkami a signalizovať policajtovi, že auto treba skontrolovať.

Ako sa vyhnúť zachyteniu pred kamerou?

V prvom rade, aby ste sa vyhli pokute, musíte, samozrejme, neporušovať: dodržiavať pravidlá cestnej premávky, dodržiavať povolenú rýchlosť, sledovať značky a značky na asfalte. Okrem toho sa môžete ďalej chrániť pomocou radarového detektora alebo videorekordéra s radarovým detektorom: tieto zariadenia monitorujú situáciu v reálnom čase, prijímajú signály z kamier dopravnej polície a upozorňujú vodiča zvukovým signálom.

Na trhoch pre zariadenia s Androidom alebo Apple existuje obrovské množstvo aplikácií s podobnou funkcionalitou. Cena takýchto aplikácií sa v závislosti od ich možností a presnosti pohybuje od 100 do 1650 rubľov. Alebo môžete použiť bezplatný navigátor, ktorý predtým v nastaveniach aktivoval funkciu zvukového upozornenia na kamery a iné udalosti na ceste. Stojí však za zváženie, že údaje, napríklad o nových kamerách alebo mobilných postoch dopravnej polície, tam vkladajú tí istí používatelia ako vy.

Ako dokázať, že máte pravdu?

Chybne udelené pokuty za dopravné priestupky zaznamenané kamerami je možné a potrebné napadnúť. Mali by ste to však urobiť iba vtedy, ak ste si úplne istí, že ste neporušili, a môžete to podložiť významnými dôkazmi.

Mechanizmus odvolania sa proti rozhodnutiam je takýto:

Na podanie sťažnosti máte 10 dní od prijatia pokuty (§ 30 ods. 3 správneho poriadku);

Sťažnosť je možné podať buď osobne (do servisných stredísk v Moskve alebo na recepcii MADI) alebo elektronicky (prostredníctvom portálu Autocode alebo elektronickej recepcie moskovskej vlády);

Súbor dokumentov musí obsahovať samotnú sťažnosť podpísanú vlastnou rukou a ďalšie materiály (fotografie, videá alebo iné dokumenty), ktoré potvrdzujú informácie obsiahnuté vo vašom odvolaní;

Ak v čase podania sťažnosti už uplynulo 10 dní stanovených v Poriadku o správnom delikte, k balíku dokumentov by mala byť priložená žiadosť o obnovenie zmeškanej lehoty na podanie odvolania proti rozhodnutiu o správnom delikte, ktorá musí byť zároveň byť podpísaný osobne;

V podnete musí byť uvedený názov orgánu, ktorému sa podáva, dátum, číslo rozhodnutia a argumenty preukazujúce nezákonnosť obvinenia. Viac podrobné pokyny s príkladmi textov sťažností bol zverejnený na oficiálnej webovej stránke moskovského primátora.

Na posúdenie reklamácie je pridelených 10 dní, takže musíte zaplatiť pokutu, aj keď bola vystavená omylom. Je tiež potrebné pripraviť sa na skutočnosť, že rozhodnutie bude musieť byť napadnuté na vyšších orgánoch - najskôr na dopravnej polícii a potom na súde. A urobte pravidlom, že si záznam z palubnej kamery ponecháte po výlete aspoň niekoľko týždňov.

Podľa tlačovej služby spoločnosti Yandex sa jej pomocou neurónovej siete podarilo výrazne zvýšiť rozlíšenie a zlepšiť kvalitu obrazu desiatich sovietskych karikatúr, ktoré patria medzi najznámejšie.

V priebehu niekoľkých posledných rokov vedci vytvárali rôzne neurónové siete, táto možnosť sa im sprístupnila vďaka zvýšeniu výpočtového výkonu počítačov a rozvoju matematiky. Neurónové siete sú systémy umelej inteligencie, ktoré dokážu vyriešiť netriviálne problémy. Niektoré takéto zložité neurónové siete môžu dokonca myslieť mimo rámca, čím nezávisle vytvárajú nové umelecké diela a vyvíjajú inovatívne technológie.

Neurónová sieť od Yandexu sa nazýva DeepHD. Už predtým sa dobre ukázal, keď sa používal na zlepšenie kvality filmov o Veľkej vlasteneckej vojne. Potom sedem filmov podliehalo zmenám. Teraz je na rade sovietska animácia: Snehová kráľovná, Šarlátový kvet, Mačiatko menom Woof, Umka hľadá kamaráta, Paleček atď.

Špeciálny systém umelej inteligencie sa zaoberá výlučne zlepšovaním kvality a nerobí absolútne žiadne zmeny na kreslených rámoch. Jej úlohou je obnoviť detaily, ktoré boli zamýšľané umelcom, ale stratili sa pri prenose karikatúr z filmu do digitálneho formátu. Stránka, kde je popis DeepHD neurónovej siete hovorí o jej vlastnostiach. Takéto funkcie sú celkovo štyri: odstránenie defektov a šumu, zachovanie detailov pri zväčšovaní, výborná práca s videostreammi a jednotlivými obrázkami, možnosť práce v reálnom čase.

Základom technológie DeepHD sú generatívne adversariálne neurónové siete. V počiatočnom štádiu sa jedna neurónová sieť zaoberá odstraňovaním defektov, ktoré sa objavia vo videu počas jeho kompresie. Druhú fázu vykonáva iná neurónová sieť, ktorá je zodpovedná za zväčšovanie obrazu, ako aj zachovanie jasnosti detailov pri takýchto zmenách. S podrobnou prácou neurónovej siete DeepHD sa môžete zoznámiť na oficiálnom blogu jej tvorcov.

Stojí za zmienku, že v DeepHD majú dnes diváci prístup nielen k starým filmom a kresleným rozprávkam, ale aj k novým hraným a animovaným filmom. Môžete ich nájsť pomocou vyhľadávacieho dopytu s pridaním „DeepHD“. Dnes môžete dokonca sledovať televízne kanály vo vyššej kvalite, vďaka schopnosti neurónovej siete pracovať v reálnom čase.

Páčila sa vám táto novinka? Potom kliknite.

Dnes sme oznámili nový vyhľadávací algoritmus „Palekh“. Zahŕňa všetky vylepšenia, na ktorých sme v poslednej dobe pracovali.

Napríklad vyhľadávanie teraz po prvýkrát používa neurónové siete na hľadanie dokumentov nie podľa slov, ktoré sú použité v dotaze a v samotnom dokumente, ale podľa významu dotazu a názvu.

Po mnoho desaťročí sa výskumníci potýkajú s problémom sémantického vyhľadávania, v ktorom sú dokumenty zoradené na základe sémantickej relevantnosti pre dopyt. A teraz sa to stáva realitou.

V tomto príspevku sa pokúsim trochu porozprávať o tom, ako sme to urobili a prečo to nie je len ďalší algoritmus strojového učenia, ale dôležitý krok do budúcnosti.

Umelá inteligencia alebo strojové učenie?

Takmer každý vie, že moderné vyhľadávače pracovať pomocou strojového učenia. Prečo by sme mali hovoriť oddelene o využití neurónových sietí na jeho úlohy? A prečo až teraz, keďže humbuk okolo tejto témy neutícha už niekoľko rokov? Pokúsim sa vám priblížiť históriu problému.

Internetové vyhľadávanie je zložitý systém, ktorý sa objavil už dávno. Najprv to bolo len vyhľadávanie stránok, potom sa to zmenilo na riešiteľa problémov a teraz sa z toho stáva plnohodnotný pomocník. Čím väčší je internet a čím viac ľudí, tým vyššie sú ich požiadavky, tým ťažšie musí byť vyhľadávanie.

Éra naivného hľadania

Najprv tam bolo len vyhľadávanie slov – obrátený index. Potom bolo príliš veľa stránok, bolo potrebné ich zoradiť. Začali sa brať do úvahy rôzne komplikácie – frekvencia slov, tf-idf.

Vek odkazov

Potom bolo príliš veľa stránok na akúkoľvek tému, nastal dôležitý prelom - začali brať do úvahy odkazy, objavil sa PageRank.

Vek strojového učenia

Internet sa stal komerčne dôležitým a objavilo sa mnoho podvodníkov, ktorí sa snažili oklamať jednoduché algoritmy, ktoré v tom čase existovali. Nastal druhý dôležitý prelom – vyhľadávače začali využívať svoje znalosti o správaní používateľov, aby pochopili, ktoré stránky sú dobré a ktoré nie.

Niekde v tomto štádiu už ľudská myseľ nestačila prísť na to, ako zoradiť dokumenty. Nastal ďalší prechod – vyhľadávače začali aktívne využívať strojové učenie.

Jeden z najlepších algoritmov strojového učenia bol vynájdený v Yandex - Matrixnet. Dá sa povedať, že rebríčku pomáha kolektívna inteligencia používateľov a „múdrosť davu“. Informácie o stránkach a správaní ľudí sú prevedené do mnohých faktorov, z ktorých každý používa Matrixnet na zostavenie vzorca hodnotenia. V skutočnosti je vzorec hodnotenia napísaný strojom (ukázalo sa, že je to asi 300 megabajtov).

Ale „klasické“ strojové učenie má limit: funguje len tam, kde je veľa údajov. Malý príklad. Milióny používateľov zadajú dotaz [VKontakte], aby našli rovnakú stránku. Ich správanie je v tomto prípade natoľko silným signálom, že vyhľadávanie ľudí nenúti pozrieť si výsledky, ale adresu navrhne hneď pri zadávaní dopytu.

Ľudia sú však komplexnejší a chcú od svojho hľadania stále viac. Teraz je až 40 % všetkých požiadaviek jedinečných, to znamená, že sa neopakujú aspoň dvakrát počas celého obdobia pozorovania. To znamená, že vyhľadávanie nemá dostatočné údaje o správaní používateľov a Matrixnet je zbavený cenných faktorov. Takéto dopyty v Yandex sa nazývajú „dlhý chvost“, pretože spolu tvoria významnú časť zásahov do nášho vyhľadávania.

Vek umelej inteligencie

A teraz je čas hovoriť o najnovšom objave: pred niekoľkými rokmi sa počítače stali dostatočne rýchlymi a bolo dostatok údajov na používanie neurónových sietí. Technológie na nich založené sa nazývajú aj strojová inteligencia alebo umelá inteligencia – pretože neurónové siete sú v našom mozgu postavené na obraz neurónov a snažia sa napodobniť prácu niektorých jeho častí.

Strojová inteligencia je oveľa lepšia ako staršie metódy v úlohách, ktoré môžu robiť ľudia, ako je rozpoznávanie reči alebo rozpoznávanie vzorov na obrázkoch. Ale ako to pomôže pri hľadaní?

Nízkofrekvenčné a jedinečné dopyty sa spravidla hľadajú dosť ťažko a je oveľa ťažšie na ne nájsť dobrú odpoveď. Ako to spraviť? Nemáme žiadne rady od používateľov (ktorý dokument je lepší a ktorý horší), takže na vyriešenie problému s vyhľadávaním sa musíme naučiť lepšie porozumieť sémantickej zhode medzi dvoma textami: dotazom a dokumentom.

To sa ľahko hovorí

Prísne vzaté, umelé neurónové siete sú jednou z metód strojového učenia. Najnovšie im bola venovaná prednáška v rámci Malého SHAD. Neurónové siete vykazujú pôsobivé výsledky v oblasti analýzy prirodzených informácií – zvuku a obrazu. Toto sa deje už niekoľko rokov. Prečo však ešte neboli tak aktívne využívané pri vyhľadávaní?

Jednoduchá odpoveď je, že hovoriť o význame je oveľa ťažšie ako hovoriť o obrázku na obrázku alebo ako premeniť zvuky na dekódované slová. Pri hľadaní zmyslu však umelá inteligencia naozaj začala prichádzať z oblasti, kde dlho kraľovala – vyhľadávanie obrázkov.

Niekoľko slov o tom, ako to funguje pri vyhľadávaní obrázkov. Zoberiete obrázok a pomocou neurónových sietí ho transformujete na vektor v N-rozmernom priestore. Vezmite žiadosť (ktorá môže byť buď v textovej forme alebo vo forme iného obrázka) a urobte s ňou to isté. A potom tieto vektory porovnáte. Čím bližšie sú k sebe, tým viac sa obrázok zhoduje s požiadavkou.

Dobre, ak to funguje v obrázkoch, prečo neuplatniť rovnakú logiku na vyhľadávanie na webe?

Diabol je v technike

Sformulujme problém nasledovne. Na vstupe máme požiadavku používateľa a názov stránky. Musíte pochopiť, do akej miery si navzájom zodpovedajú vo význame. Na to je potrebné znázorniť text požiadavky a text nadpisu vo forme takých vektorov, ktorých skalárne násobenie by bolo tým väčšie, čím je dokument s daným nadpisom relevantnejší pre požiadavku. Inými slovami, chceme trénovať neurónovú sieť takým spôsobom, že pre texty, ktoré sú si významom blízke, generuje podobné vektory, ale pre sémanticky nesúvisiace dopyty a nadpisy by vektory mali byť odlišné.

Zložitosť tejto úlohy spočíva vo výbere správnej architektúry a metódy na trénovanie neurónovej siete. Z vedeckých publikácií je známych pomerne veľa prístupov k riešeniu problému. Pravdepodobne najjednoduchšou metódou je reprezentovať texty ako vektory pomocou algoritmu word2vec (žiaľ, praktické skúsenosti naznačujú, že je to dosť zlé riešenie daného problému).

DSSM

V roku 2013 výskumníci z Microsoft Research opísali svoj prístup, ktorý sa nazýval Deep Structured Semantic Model.

Texty požiadaviek a hlavičky sú dodávané do modelového vstupu. Pre zmenšenie modelu sa na nich vykoná operácia, ktorú autori nazývajú hashovanie slov. K textu sa pridajú počiatočné a koncové značky, po ktorých sa rozdelí na písmenové trigramy. Napríklad pre dopyt [palekh] dostaneme trigramy [pa, ale, lekh, ex]. Keďže počet rôznych trigramov je obmedzený, môžeme text požiadavky reprezentovať ako vektor s veľkosťou niekoľkých desiatok tisíc prvkov (veľkosť našej abecedy na 3. mocninu). Prvky vektora zodpovedajúce trigramom požiadavky sa budú rovnať 1, zvyšok - 0. V podstate tak označíme zápis trigramov z textu do slovníka pozostávajúceho zo všetkých známych trigramov. Ak porovnáte takéto vektory, môžete sa dozvedieť iba o prítomnosti identických trigramov v požiadavke a hlavičke, čo nie je zvlášť zaujímavé. Preto ich teraz treba previesť na iné vektory, ktoré už budú mať vlastnosti sémantickej blízkosti, ktoré potrebujeme.

Po vstupnej vrstve, ako sa očakáva v hlbokých architektúrach, existuje niekoľko skrytých vrstiev pre požiadavku aj hlavičku. Posledná vrstva má veľkosť 128 prvkov a slúži ako vektor, ktorý sa používa na porovnanie. Výstup modelu je výsledkom skalárneho násobenia poslednej hlavičky a vektorov požiadavky (presnejšie povedané, vypočíta sa kosínus uhla medzi vektormi). Model je natrénovaný tak, že pre pozitívne príklady tréningu je výstupná hodnota veľká a pre negatívne malá. Inými slovami, porovnaním vektorov poslednej vrstvy vieme vypočítať chybu predikcie a upraviť model tak, aby sa chyba zmenšila.

Aj my v Yandexe aktívne skúmame modely založené na umelých neurónových sieťach, a tak nás zaujal model DSSM. Ďalej budeme hovoriť o našich experimentoch v tejto oblasti.

Teória a prax

Charakteristickou vlastnosťou algoritmov opísaných vo vedeckej literatúre je, že nie vždy fungujú hneď po vybalení. Faktom je, že „akademický“ výskumník a priemyselný výskumník sú vo výrazne odlišných podmienkach. Východiskom (základnou líniou), s ktorým autor vedeckej publikácie porovnáva svoje riešenie, by mal byť nejaký dobre známy algoritmus, ktorý zabezpečuje reprodukovateľnosť výsledkov. Výskumníci využívajú výsledky predtým publikovaného prístupu a ukazujú, ako ich možno prekonať. Napríklad autori pôvodného DSSM porovnávajú svoj model pomocou metriky NDCG s algoritmami BM25 a LSA. V prípade aplikovaného výskumníka, ktorý študuje kvalitu vyhľadávania v reálnom vyhľadávači, nie je východiskom jeden konkrétny algoritmus, ale celé hodnotenie ako celok. Cieľom vývojára Yandex nie je predbehnúť BM25, ale dosiahnuť zlepšenie na pozadí celého súboru predtým predstavených faktorov a modelov. Základ pre výskumníka v Yandex je teda extrémne vysoký a mnohé algoritmy, ktoré majú vedeckú novinku a vykazujú dobré výsledky s „akademickým“ prístupom, sa v praxi ukážu ako zbytočné, pretože v skutočnosti nezlepšujú kvalitu vyhľadávania.

V prípade DSSM sme narazili na rovnaký problém. Ako sa často stáva, v „bojových“ podmienkach presná implementácia modelu z článku vykazovala skôr skromné ​​​​výsledky. Predtým, ako sme boli schopní získať výsledky, ktoré boli zaujímavé z praktického hľadiska, bolo potrebných niekoľko významných „úprav súboru“. Tu si povieme o hlavných úpravách pôvodného modelu, ktoré nám umožnili urobiť ho výkonnejším.

Veľká vstupná vrstva

V pôvodnom modeli DSSM je vstupnou vrstvou sada písmenových trigramov. Jeho veľkosť je 30 000 Trigramový prístup má niekoľko výhod. Po prvé, je ich pomerne málo, takže práca s nimi si nevyžaduje veľké prostriedky. Po druhé, ich použitie uľahčuje identifikáciu preklepov a nesprávne napísaných slov. Naše experimenty však ukázali, že reprezentácia textov ako „vreca“ trigramov výrazne znižuje výrazovú silu siete. Preto sme radikálne zväčšili veľkosť vstupnej vrstvy, ktorá okrem písmenových trigramov obsahuje asi 2 milióny ďalších slov a fráz. Texty dopytu a hlavičky teda predstavujeme ako spoločnú „tašku“ slov, slovných bigramov a písmenových trigramov.

Použitie veľkej vstupnej vrstvy vedie k zvýšeniu veľkosti modelu, času školenia a vyžaduje podstatne viac výpočtových zdrojov.

Ťažko sa naučiť: ako neurónová sieť bojovala sama so sebou a učila sa zo svojich chýb

Školenie pôvodného DSSM pozostáva z vystavenia siete veľkému počtu pozitívnych a negatívnych príkladov. Tieto príklady sú prevzaté z výsledkov vyhľadávania (zrejme bol na to použitý vyhľadávací nástroj Bing). Pozitívnymi príkladmi sú názvy dokumentov vyhľadávania, na ktoré sa kliklo, negatívnymi príkladmi sú názvy dokumentov, na ktoré sa nekliklo. Tento prístup má určité nevýhody. Faktom je, že absencia kliknutia nie vždy naznačuje, že dokument je irelevantný. Platí aj opačné tvrdenie – prítomnosť kliknutia nezaručuje relevantnosť dokumentu. Učením spôsobom opísaným v pôvodnom článku sa v podstate snažíme predpovedať atraktivitu titulkov za predpokladu, že budú prítomné vo výsledkoch vyhľadávania. To, samozrejme, tiež nie je zlé, ale má to skôr nepriamy vzťah k nášmu hlavnému cieľu – naučiť sa chápať sémantickú blízkosť.

Počas našich experimentov sme zistili, že výsledok by sa mohol výrazne zlepšiť, ak by sme použili inú stratégiu výberu negatívnych príkladov. Na dosiahnutie nášho cieľa sú dobrými negatívnymi príkladmi tie dokumenty, ktoré sú zaručene nepodstatné pre dopyt, no zároveň pomáhajú neurónovej sieti lepšie pochopiť význam slov. Odkiaľ ich môžem získať?

Prvý pokus

Najprv si vezmime názov náhodného dokumentu ako negatívny príklad. Napríklad pre žiadosť [Palekhova maľba] môže byť náhodný názov „Pravidlá cestnej premávky 2016 Ruskej federácie“. Samozrejme, nemožno úplne vylúčiť možnosť, že dokument náhodne vybraný z miliárd bude relevantný pre žiadosť, ale pravdepodobnosť je taká malá, že ju možno zanedbať. Takto môžeme veľmi ľahko získať veľké množstvo negatívnych príkladov. Zdalo by sa, že teraz môžeme našu sieť naučiť presne to, čo chceme – rozlíšiť dobré dokumenty, ktoré používateľov zaujímajú, od dokumentov, ktoré s požiadavkou nemajú nič spoločné. Bohužiaľ, model trénovaný na takýchto príkladoch sa ukázal byť dosť slabý. Neurónová sieť je inteligentná vec a vždy nájde spôsob, ako zjednodušiť svoju prácu. V tomto prípade jednoducho začala hľadať rovnaké slová v dopytoch a nadpisoch: existuje - dobrý pár, nie zlé. Ale môžeme to urobiť sami. Je pre nás dôležité, aby sa sieť naučila rozlišovať neočividné vzory.

Ďalší pokus

Ďalším experimentom bolo pridanie slov z dopytu do názvov negatívnych príkladov. Napríklad pre požiadavku [Palekhova maľba] vyzeral náhodný názov [Pravidlá cestnej premávky Ruskej federácie z roku 2016]. Neurónová sieť mala trochu väčšie ťažkosti, ale napriek tomu sa rýchlo naučila dobre rozlíšiť prirodzené páry od tých, ktoré boli zostavené ručne. Bolo jasné, že takýmito metódami nedosiahneme úspech.

Úspech

Mnohé zrejmé riešenia sa stanú zjavnými až po ich objavení. Stalo sa to aj tentokrát: po nejakom čase sa to zistilo Najlepšia cesta generovanie negatívnych príkladov znamená prinútiť sieť „bojovať“ sama proti sebe a učiť sa z vlastných chýb. Spomedzi stoviek náhodných titulkov sme vybrali ten, ktorý súčasná neurónová sieť považuje za najlepší. Ale keďže je táto hlavička stále náhodná, je vysoko pravdepodobné, že nezodpovedá požiadavke. A toto sú titulky, ktoré sme začali používať ako negatívne príklady. Inými slovami, môžete sieti ukázať najlepšie náhodné hlavičky, trénovať ju, nájsť nové najlepšie náhodné hlavičky, znova zobraziť sieť atď. Opakovaním tohto postupu znova a znova sme videli, ako sa kvalita modelu výrazne zlepšila a stále častejšie sa najlepší z náhodných párov podobal skutočným pozitívnym príkladom. Problém bol vyriešený.

Podobná tréningová schéma sa vo vedeckej literatúre zvyčajne nazýva tvrdá negatívna ťažba. Treba tiež poznamenať, že podobné riešenia sa vo vedeckej komunite rozšírili na generovanie realisticky vyzerajúcich obrázkov, táto trieda modelov sa nazýva Generative Adversarial Networks.

Rôzne ciele

Výskumníci z Microsoft Research použili kliknutia na dokumenty ako pozitívne príklady. Ako však už bolo spomenuté, ide o dosť nespoľahlivý signál o sémantickej zhode hlavičky s požiadavkou. Naším cieľom nakoniec nie je zoradiť najnavštevovanejšie stránky vo výsledkoch vyhľadávania, ale nájsť skutočne užitočné informácie. Preto sme sa ako cieľ školenia pokúsili použiť iné charakteristiky správania používateľov. Jeden z modelov napríklad predpovedal, či používateľ zostane na stránke alebo odíde. Ďalším je, ako dlho sa na stránke zdrží. Ako sa ukázalo, výsledky môžete výrazne zlepšiť, ak optimalizujete takú cieľovú metriku, ktorá naznačuje, že používateľ našiel to, čo potreboval.

Zisk

Dobre, čo nám to dá v praxi? Porovnajme správanie nášho neurónového modelu a jednoduchého textového faktora založeného na zhode medzi dopytovanými slovami a textom – BM25. Prišiel k nám z čias, keď bolo hodnotenie jednoduché, a teraz je vhodné ho použiť ako základnú úroveň.

Vezmime si ako príklad dotaz [Book of Kells] a uvidíme, aký význam majú faktory v rôznych nadpisoch. Aby sme to mali pod kontrolou, pridajte do zoznamu hlavičiek jasne irelevantný výsledok.

Všetky faktory v Yandex sú normalizované na interval. Očakáva sa, že BM25 má vysoké hodnoty pre nadpisy, ktoré obsahujú dopytové slová. A je celkom predvídateľné, že tento faktor dostane nulovú hodnotu pri tituloch, ktoré nemajú slová spoločné s požiadavkou. Teraz si všimnite, ako sa správa neurónový model. Rovnako dobre rozpoznáva spojenie medzi žiadosťou tak s ruskojazyčným názvom relevantnej stránky z Wikipédie, ako aj s názvom článku na anglický jazyk! Okrem toho sa zdá, že model „videl“ spojenie medzi dopytom a názvom, ktorý síce nespomína Knihu Kells, ale obsahuje podobnú frázu („Írske evanjeliá“). Hodnota modelu pre irelevantný titul je výrazne nižšia.

Teraz sa pozrime, ako sa budú správať naše faktory, ak preformulujeme požiadavku bez toho, aby sme zmenili jej význam: [evanjelium z Kells].

Pre BM25 sa preformulovanie dopytu zmenilo na skutočnú katastrofu - faktor sa v relevantných nadpisoch stal nulovým. A náš model demonštruje vynikajúcu odolnosť voči preformulovaniu: relevantné nadpisy majú stále vysokú hodnotu faktora, zatiaľ čo irelevantný nadpis má stále nízku hodnotu faktora. Zdá sa, že presne toto správanie sme očakávali od veci, ktorá tvrdí, že je schopná „pochopiť“ sémantiku textu.

Ďalší príklad. Žiadosť [príbeh, v ktorom bol rozdrvený motýľ].

Ako vidíme, neurónový model dokázal vysoko vyhodnotiť nadpis so správnou odpoveďou, a to aj napriek úplnej absencii bežných slov s dotazom. Okrem toho je jasne viditeľné, že nadpisy, ktoré neodpovedajú na otázku, ale stále súvisia vo význame, dostávajú pomerne vysokú hodnotu faktora. Akoby náš model „čítal“ Bradburyho príbeh a „vie“, že presne o tomto hovorí v žiadosti!

Čo bude ďalej?

Sme na samom začiatku dlhej a veľmi zaujímavej cesty. Neurónové siete majú zjavne veľký potenciál na zlepšenie hodnotenia. Hlavné oblasti, ktoré potrebujú aktívny rozvoj, sú už jasné.

Napríklad je zrejmé, že názov obsahuje neúplné informácie o dokumente a bolo by dobré naučiť sa zostavovať model pomocou plného textu (ako sa ukázalo, nie je to úplne triviálna úloha). Ďalej si vieme predstaviť modely, ktoré majú podstatne zložitejšiu architektúru ako DSSM – existuje dôvod domnievať sa, že týmto spôsobom budeme môcť lepšie zvládnuť niektoré konštrukty prirodzeného jazyka. Náš dlhodobý cieľ vidíme vo vytváraní modelov, ktoré dokážu „pochopiť“ sémantickú zhodu medzi dopytmi a dokumentmi na úrovni porovnateľnej s ľudskou. Na ceste k tomuto cieľu bude veľa ťažkostí - o to zaujímavejšie bude prejsť ním. Sľubujeme, že budeme hovoriť o našej práci v tejto oblasti. Postupujte podľa ďalších publikácií.

Spisovateľ sci-fi Sergej Lukyanenko spolu s neurónovou sieťou Yandex vytvorili dielo v štýle seriálu „Večery na farme neďaleko Dikanky“. Spisovateľ rozvinul postavy a hlavné dejové línie a potom neurónová sieť vygenerovala na tomto základe príbeh „Zlá zmluva“, ktorý je vo verejnej sfére.

Funkcie vývoja

Myšlienka projektu patrí kanálu TV-3. Príležitosťou bolo uvedenie filmu „Gogol. Strašná pomsta“, ktorej premiéra v Rusku je naplánovaná na 30. augusta 2018. Producent Valery Fedorovich poznamenal, že proces vytvárania príbehu zodpovedá tomu, ako Gogol pracoval na svojich dielach. Ak však matka Nikolaja Vasilyeviča napísala ľudové legendy a poslala ich v listoch, potom v tomto prípade informácie spracováva neurónová sieť a folklórne „jedlo“ poskytuje spisovateľ.

Program pridal mnoho detailov, dejových línií do príbehu „Zlá zmluva“ a tiež poskytol naratívny jazyk podobný Gogolovmu. Tento výsledok sa dosiahol vďaka predbežnému výcviku na základe ruskej prózy vo všeobecnosti a potom najmä na dielach spisovateľa.

Názor spisovateľa

Sergej Lukjanenko zhodnotil výsledok dvoma spôsobmi spolupráce s Yandexom. Na jednej strane ho teší, že aj napriek prudkému rozvoju neurónových sietí a umelej inteligencie je na vytvorenie základu kreatívneho diela potrebný človek. Na druhej strane spisovateľovi vadí, že niektoré moderné knihy sú napísané horšie ako príbeh vytvorený strojom.