Gradske vlasti pokrenuće neuronsku mrežu koja će prepoznavati automobile po silueti, marki i svjetlima. Ovo je saopšteno iz Centra za upravljanje saobraćajem Odeljenja za saobraćaj i putnu infrastrukturu grada Moskve.

Pretpostavlja se da će „pametni“ sistem smanjiti opterećenje operatera i poboljšati kvalitet prethodne obrade prekršaja evidentiranih automatskim sredstvima za otklanjanje prekršaja u oblasti saobraćaja. Neuronska mreža će se koristiti u centru za foto-video snimanje TsODD-a, koji obrađuje fotografije sa kamera. Inače, tamo se dnevno primi do 400 hiljada materijala.

Prema riječima Andreja Mikhailyuka, stručnjaka u oblasti modernih tehnologija, Moskva je lider u oblasti primjene modernih tehnologija. Dodao je da je neuronski sistem potreban za rješavanje slučajeva kada kamera ne može prepoznati registarsku tablicu.

Ponekad vlasnici automobila, kako bi izbjegli kaznu, zatvore jednu ili više cifara na broju, rekao je stručnjak. - Takve slike se šalju zaposlenima na obradu.

Istovremeno, ljudski resursi su ograničeni. Mikhailyuk smatra da je prijenos ove funkcije na računar sasvim logičan.

Takav zadatak ne bi trebalo da rešava osoba, već sistem mašinskog učenja - napomenuo je on.

Ekspert je takođe dodao da je, po njegovom mišljenju, takav zadatak za neuronsku mrežu prilično primitivan. Stvar je u tome što je broj modela automobila ograničen, dok stabilne karakteristike automobila u velikoj mjeri zavise od oblika samog automobila i njegovih svjetala.

Stoga je, smatra on, zadatak koji se dodjeljuje neuronskoj mreži prilično jednostavan. Tehnički, takav sistem se može razviti za nekoliko mjeseci, a potrebno je neko vrijeme da se mreža osposobi koristeći postojeće fotografije.

Ekspert je naglasio da je Rusija, u pogledu upotrebe savremenih tehnologija za izdavanje kazni, znatno ispred drugih zemalja u svijetu. Prema njegovim riječima, sve je u našem mentalitetu.

Mnogo češće kršimo pravila puta nego u drugim zemljama - objasnio je Andrej Mikhailyuk. - Ako je kamera okačena u Evropi, onda će ona uslovno popraviti jednu kaznu mesečno, a ako i vozači znaju za to, onda je niko neće kršiti uopšte. Mi imamo potpuno drugačiju situaciju u Rusiji.

U Moskvi trenutno postoji 1,5 hiljada stacionarnih kamera za fiksiranje prekršaja. U 2016. godini uz pomoć foto-video snimanja izrečeno je 11,7 miliona kazni, 2017. godine - 24,6 miliona, a za deset mjeseci 2018. godine - više od 25 miliona. Treba napomenuti da je 280 zaposlenih u Centru za upravljanje saobraćajem angažovano na provjeravanju informacija, ispravljanju grešaka i kontroli kvaliteta foto i video snimanja.

Nakon što je dobio još jedno "pismo sreće", moderan vlasnik automobila uvijek pokušava temeljito proučiti crno-bijelu fotografiju i do detalja zapamtiti stup na kojem je bila obješena sljedeća kamera. Međutim, nije uvijek moguće izbjeći nove kazne. Pa kakve su to snage i sredstva u službi "velikog brata", kako ih izračunati i brzo preduzeti potrebne mjere da ne dobijemo još jednu kaznu? Izvestia je saznala kako se rađa odluka o prekršaju, koje vrste putnih kompleksa za foto i video snimanje postoje, a pokušala je i da shvati šta učiniti ako je kazna pogrešno izrečena.

Njihovo ime je legija

U Moskvi je do danas postavljeno ukupno oko 167.000 kamera, od čega skoro 2.000 kompleksa automatskog snimanja saobraćajnih prekršaja prati stanje u saobraćaju, a njihov broj stalno raste. U ovom trenutku 1,5 hiljada stacionarnih, više od 30 mobilnih, skoro 400 mobilnih i još 110 kompleksa instaliranih u javnom kopnenom saobraćaju pomaže u kažnjavanju prekršilaca. Nesumnjivo je da se radi na poboljšanju situacije sa sigurnošću na putevima: samo u 2017. otkriveno je više od 83 miliona prekršaja pomoću alata za foto i video snimanje (nešto više od 60 miliona godinu dana ranije), ali je često desi se to automatski sistemi propasti i oštetiti nedužne vozače.

Prvi stacionarni kompleksi za foto i video snimanje saobraćajnih prekršaja pojavili su se na izlaznim autoputevima glavnog grada još 2006–2007. godine u okviru saveznog ciljnog programa „Unapređenje bezbednosti na putevima 2006–2010“. S obzirom da se od tada stanje na putevima znatno popravilo, nastaviće se postavljanje saobraćajnih kamera.

Moderni kompleksi su u stanju ne samo da snime prebrzu vožnju, vožnju uz ivicu puta ili ulazak u trake za javni prevoz, već i da izračunaju prekršioce koji se kreću gradom bez OSAGO-a, zaustavljaju ili parkiraju u područjima gdje je čak i teško voziti bez svog automobila, ili na mjestima za osobe sa invaliditetom, zanemaruju zahtjeve putnih znakova i oznaka itd. Nedavno su se u glavnom gradu pojavile saobraćajne kamere koje kontrolišu stop liniju. A već 2019. Državna javna ustanova "Centar za organizaciju saobraćaja" (TSODD) postaviće 200 kompleksa za praćenje bezbednosti najugroženijih učesnika u saobraćaju - kamere će biti usmerene na vozače koji ne dozvoljavaju pešacima da prođu na zebri. . Podsjetimo da se kazna za takav prekršaj u skladu sa članom 12.18 Zakona o upravnim prekršajima kreće od 1,5 hiljada do 2,5 hiljada rubalja.

Nedaleko je pojava potpuno nove kazne za vozače - o tome je 12. novembra rekao šef saobraćajne policije Mihail Černikov. Inspektorat namjerava uvesti sankciju za opasnu vožnju. Za kontrolu poletnih i donošenje odluka ljubiteljima igre "dame", najvjerovatnije će im biti povjereni i kompleksi za snimanje fotografija i videa.

Pucanje u leđa

U sklopu koncepta pretvaranja Moskve u "pametni grad", od 2011. godine u glavnom gradu se aktivno uvodi inteligentni transportni sistem (ITS) koji prikuplja i analizira informacije o opterećenju i stanju putne mreže. "Ruke i oči" ITS-a su saobraćajne kamere i drugi softverski i hardverski alati koji prikupljaju, obrađuju, pohranjuju podatke i održavaju ih ažuriranim.

U Rusiji se koriste tri vrste sistema: radar, laser i video fiksacija. Mogu biti i stacionarni i mobilni. Radarski sistemi se mogu razlikovati po izgled(imaju dva "oka" - za radarski senzor i za sočivo kamere), te video snimanje postavljanja nekoliko kamera na nosač (po jedna za svaku traku).

U prosjeku, žižna daljina na kojoj kamera "hvata" uljeza je od 50 m do 500 m. Ali prag maksimalne brzine koji uređaj može snimiti je značajno povećan: domet modernih sistema je 0-250 km. / h, a ne 0-180 km/h, kao što je bilo ranije.

Moderni kompleksi su naučili da prepoznaju čak i prljave ili deformisane brojeve i manja je vjerovatnoća da će pogriješiti. Na primjer, greška kompleksa Avtohuragan, popularnih u Moskvi, ovisno o brzini vozilo je samo 1-2 km / h, a razne modifikacije kompleksa Strelka ne prelaze 2 km / h. Potonji su, inače, opremljeni posebnim "brisačem" - uređajem koji može samostalno očistiti oko kamere ako na njega dospije prljavština.

Osim toga, sada uređaj ne samo da može snimiti puno lice automobila, već i otkriti brzinu kojom se objekt udaljava od kamere, pratiti putanju kretanja, mjeriti prosječnu brzinu vozila u određenom području, ili čak raditi po principu “pit stop”. U potonjem slučaju, podaci o prekršitelju će biti prenijeti najbližoj dežurnoj ekipi saobraćajne policije sa zahtjevom za zaustavljanje.

Od septembra 2018. godine u Moskvi je u test modu pokrenuta neuronska mreža koja je povezana sa bazom podataka Ministarstva unutrašnjih poslova u kojoj se čuvaju podaci o svim registrovanim automobilima. Takozvana maska ​​vozila je pohranjena u javnom vlasništvu i sadrži podatke o marki i modelu automobila, boji karoserije, registarskoj tablici.

Prema rečima Maksima Liksutova, šefa prestoničkog odeljenja za saobraćaj, uvođenje neuronske mreže u gradu omogućiće otkrivanje slučajeva prevare, odnosno zamene registarskih tablica, ili krađe vozila. Sistem je u stanju da automatski otkloni neslaganje između automobila i registarskih tablica koje su na njemu postavljene i da da znak policajcu da je potrebno vozilo provjeriti.

Kako ne ući ispod kamere?

Prije svega, da biste izbjegli novčanu kaznu, morate, naravno, ne kršiti: pridržavati se pravila puta, poštovati ograničenje brzine, pratiti znakove i oznake postavljene na asfaltu. Osim toga, možete se dodatno zaštititi uz pomoć anti-radara ili DVR-a sa antiradarom: ovi uređaji prate situaciju u realnom vremenu, primajući signale kamera prometne policije, i obavještavaju vozača zvučnim signalom. .

Na tržištima uređaja baziranih na Androidu ili Appleu postoji ogroman broj aplikacija slične funkcionalnosti. Cijena takvih aplikacija, ovisno o njihovim mogućnostima i točnosti, kreće se od 100 do 1650 rubalja. Ili možete koristiti besplatni navigator, nakon što aktivirate funkciju zvučnih obavijesti o kamerama i drugim događajima u prometu u postavkama. Istina, treba imati na umu da podatke, na primjer, o novim kamerama ili mobilnim postajama prometne policije, tamo unose isti korisnici kao i vi.

Kako dokazati svoj slučaj?

Pogrešno izrečene kazne za saobraćajne prekršaje snimljene kamerama moguće je i potrebno. Međutim, to treba učiniti samo ako ste potpuno sigurni da niste prekršili, a to možete potkrijepiti čvrstim dokazima.

Mehanizam žalbe je sljedeći:

Imate 10 dana za podnošenje žalbe od dana prijema novčane kazne (član 30.3 Zakona o upravnim prekršajima);

Žalba se može podnijeti i lično (moskovskim transportnim centrima ili recepciji MADI) i elektronskim putem (putem Autocode portala ili elektronske recepcije Vlade Moskve);

Komplet dokumenata mora sadržavati i samu pritužbu, koju ste potpisali, i dodatne materijale (fotografije, video zapisi ili drugi dokumenti) koji potvrđuju informacije navedene u vašoj žalbi;

Ako je do podnošenja pritužbe već proteklo 10 dana predviđenih Zakonikom o upravnim prekršajima, uz paket dokumenata treba priložiti zahtjev za vraćanje propuštenog roka za žalbu na rješenje o upravnom prekršaju, koji mora također biti lično potpisan;

U pritužbi se mora navesti naziv organa kome je podneta, datum, broj rešenja i argumenti koji dokazuju nezakonitost optužbe. Više detaljna uputstva sa primjerima tekstova žalbi objavljenih na službenoj web stranici gradonačelnika Moskve.

Za razmatranje prigovora je predviđeno 10 dana, stoga je i dalje potrebno platiti kaznu, iako pogrešno izrečenu. Vrijedi se pripremiti i na činjenicu da će se odluka morati osporiti na višim instancama - prvo u saobraćajnoj policiji, a zatim i na sudu. I neka bude pravilo da čuvate zapise sa DVR-a nakon putovanja barem nekoliko sedmica.

Prema pres-službi kompanije Yandex, uz pomoć neuronske mreže uspjela je značajno povećati rezoluciju i poboljšati kvalitetu slike deset sovjetskih crtanih filmova, koji su među najpoznatijima.

Proteklih godina naučnici su stvarali različite neuronske mreže, a takvu priliku imaju zbog povećanja računske snage računara i razvoja matematike. Neuronske mreže su sistemi umjetne inteligencije koji mogu riješiti ne-trivijalne probleme. Neke od ovih složenih neuronskih mreža mogu čak i razmišljati izvan okvira, na taj način samostalno stvarajući nova umjetnička djela, razvijajući inovativne tehnologije.

Neuronska mreža iz Yandexa zove se DeepHD. Ranije se već uspjela dobro pokazati kada je navikla da poboljša kvalitet filmova koji govore o Velikom domovinskom ratu. Tada je sedam filmova podvrgnuto promjenama. Sada je red došao na sovjetsku animaciju: Snježna kraljica, Grimizni cvijet, Mačić po imenu Vau, Umka traži drugaricu, Palčica itd.

Specijalni sistem veštačke inteligencije bavi se isključivo poboljšanjem kvaliteta i ne menja okvire crtanih filmova. Njen posao je da restaurira detalje koje je umetnica nameravala, ali su izgubljeni dok su crtani filmovi bili prebačeni sa filma u digital. Na stranici na kojoj se nalazi opis DeepHD neuronske mreže govori se o njenim karakteristikama. Postoje četiri takve karakteristike ukupno: uklanjanje nedostataka i šuma, očuvanje detalja uz povećanje ekspanzije, odličan rad sa video streamovima i pojedinačnim slikama, te mogućnost rada u realnom vremenu.

DeepHD tehnologija je bazirana na generativnim suparničkim neuronskim mrežama. U početnoj fazi, jedna neuronska mreža se bavi otklanjanjem defekata koji se pojavljuju na videu tokom njegovog kompresije. Drugu fazu provodi druga neuronska mreža, koja je odgovorna za povećanje slike, kao i za održavanje jasnoće detalja tokom takvih promjena. Sa detaljnim radom DeepHD neuronske mreže možete se upoznati na službenom blogu njenih kreatora.

Vrijedi napomenuti da u DeepHD-u gledatelji danas imaju pristup ne samo starim filmovima i crtanim filmovima, već i novim igranim i animiranim filmovima. Možete ih pronaći putem upita za pretraživanje uz dodatak "DeepHD". Danas čak možete gledati TV kanale u visokom kvalitetu, ovo je postalo dostupno zahvaljujući sposobnosti neuronske mreže da radi u realnom vremenu.

Da li vam se svidjela ova vijest? Onda pritisnite.

Danas smo najavili novi algoritam pretraživanja "Palekh". Uključuje sva poboljšanja na kojima smo radili u posljednje vrijeme.

Na primjer, pretraga sada prvi put koristi neuronske mreže da pronađe dokumente ne prema riječima korištenim u upitu i samom dokumentu, već prema značenju upita i naslova.

Decenijama se istraživači bore s problemom semantičkog pretraživanja, u kojem se dokumenti rangiraju na osnovu semantičke relevantnosti za upit. A sada to postaje stvarnost.

U ovom postu pokušaću da pričam malo o tome kako smo to uradili i zašto ovo nije samo još jedan algoritam mašinskog učenja, već važan korak u budućnost.

Umjetna inteligencija ili mašinsko učenje?

Gotovo svi znaju da moderni pretraživači rade uz pomoć mašinskog učenja. Zašto o upotrebi neuronskih mreža za njene zadatke treba govoriti odvojeno? I zašto tek sada, jer pompa oko ove teme ne jenjava već nekoliko godina? Pokušaću da vam ispričam istoriju ovog pitanja.

Internet pretraga je složen sistem koji se pojavio veoma davno. U početku je to bila samo pretraga stranica, zatim se pretvorila u rješavanje problema, a sada postaje punopravni pomoćnik. Što je Internet veći i što je više ljudi na njemu, što su njihovi zahtjevi veći, pretraga mora postati teža.

Doba naivnog traganja

U početku je postojala samo pretraga riječi - obrnuti indeks. Onda je bilo previše stranica, trebalo ih je rangirati. Počele su se uzimati u obzir razne komplikacije - učestalost riječi, tf-idf .

Doba veza

Tada je bilo previše stranica na bilo koju temu, došlo je do važnog proboja - počeli su da uzimaju u obzir veze, pojavio se PageRank.

Doba mašinskog učenja

Internet je postao komercijalno važan i bilo je mnogo prevaranta koji su pokušavali prevariti jednostavne algoritme koji su postojali u to vrijeme. Došlo je do drugog velikog iskora - tražilice su počele da koriste svoje znanje o ponašanju korisnika kako bi shvatile koje su stranice dobre, a koje ne.

Negdje u ovoj fazi, ljudski um više nije bio dovoljan da smisli kako rangirati dokumente. Dogodila se sljedeća tranzicija - tražilice su počele aktivno koristiti mašinsko učenje.

Jedan od najboljih algoritama za mašinsko učenje izmišljen je u Yandexu - Matrixnet. Može se reći da kolektivna inteligencija korisnika i „mudrost gomile“ pomažu rangiranju. Informacije o web stranicama i ponašanju ljudi pretvaraju se u mnoge faktore, od kojih svaki Matrixnet koristi za izradu formule za rangiranje. U stvari, formulu za rangiranje piše mašina (ispostavilo se da je oko 300 megabajta).

Ali "klasično" mašinsko učenje ima ograničenje: ono radi samo tamo gde ima puno podataka. Mali primjer. Milioni korisnika unose upit [vkontakte] kako bi pronašli istu stranicu. U ovom slučaju, njihovo ponašanje je toliko snažan signal da pretraga ne tjera ljude da pogledaju problem, već sugerira adresu odmah pri unosu upita.

Ali ljudi su složeniji i žele više od potrage. Sada je do 40% svih zahtjeva jedinstveno, odnosno ne ponavljaju se najmanje dva puta tokom cijelog perioda posmatranja. To znači da pretraga nema dovoljno podataka o ponašanju korisnika u dovoljnim količinama, a Matrixnet je lišen vrijednih faktora. Takvi zahtjevi u Yandexu nazivaju se "dugi rep", budući da zajedno čine značajan udio zahtjeva za našu pretragu.

Era veštačke inteligencije

I ovdje je vrijeme da razgovaramo o najnovijem otkriću: prije nekoliko godina računari su postali dovoljno brzi, a podataka ima dovoljno za korištenje neuronskih mreža. Tehnologije zasnovane na njima nazivaju se i mašinska inteligencija ili veštačka inteligencija – jer se neuronske mreže grade po slici neurona u našem mozgu i pokušavaju da oponašaju rad nekih njegovih delova.

Strojna inteligencija je mnogo bolja od starijih metoda u obavljanju zadataka koje ljudi mogu obavljati, kao što je prepoznavanje govora ili obrazaca u slikama. Ali kako to pomaže u potrazi?

U pravilu, niskofrekventne i jedinstvene upite je prilično teško pronaći - pronaći dobar odgovor za njih je mnogo teže. Kako uraditi? Nemamo nagoveštaja od korisnika (koji je dokument bolji, a koji gori), pa da biste rešili problem pretrage, morate naučiti da bolje razumete semantičku korespondenciju između dva teksta: upita i dokumenta.

Lako je reći

Strogo govoreći, umjetne neuronske mreže su jedna od metoda mašinskog učenja. Nedavno im je bilo posvećeno predavanje u okviru Malog ŠAD-a. Neuronske mreže pokazuju impresivne rezultate u analizi prirodnih informacija – zvuka i slike. To se dešava već nekoliko godina. Ali zašto se do sada nisu tako aktivno koristili u potrazi?

Jednostavan odgovor je zato što je govoriti o značenju mnogo teže nego govoriti o slici na slici ili o tome kako zvukove pretvoriti u transkribovane riječi. Međutim, u potrazi za značenjima, umjetna inteligencija je zaista počela dolaziti iz područja gdje je dugo bila kralj – pretraga po slikama.

Nekoliko riječi o tome kako to funkcionira u pretraživanju slika. Uzimate sliku i koristite neuronske mreže da je transformišete u vektor u N-dimenzionalnom prostoru. Uzmite zahtjev (koji može biti i u tekstualnom obliku i u obliku druge slike) i uradite isto sa njim. I onda uporedite ove vektore. Što su bliže jedna drugoj, slika više odgovara upitu.

Ok, ako radi na slikama, zašto ne primijeniti istu logiku na web pretraživanja?

Đavo u tehnologiji

Problem formulišemo na sledeći način. Imamo korisnički zahtjev i naslov stranice u unosu. Morate razumjeti kako oni odgovaraju jedno drugom u značenju. Da biste to učinili, potrebno je tekst zahtjeva i tekst naslova predstaviti u obliku takvih vektora, čiji bi skalarni množenje bio veći, što je dokument sa datim naslovom relevantniji za zahtjev. . Drugim riječima, želimo da treniramo neuronsku mrežu na način da za slične tekstove generiše slične vektore, a za semantički nepovezane zahtjeve i naslove vektori bi trebali biti različiti.

Složenost ovog zadatka leži u izboru ispravne arhitekture i metode za obuku neuronske mreže. Iz naučnih publikacija poznato je dosta pristupa rješavanju problema. Vjerojatno najjednostavniji metod ovdje je predstavljanje tekstova kao vektora korištenjem algoritma word2vec (nažalost, praktično iskustvo sugerira da je ovo prilično loše rješenje za problem koji je u pitanju).

DSSM

Istraživači iz Microsoft Research-a su 2013. godine opisali svoj pristup, koji je nazvan Duboko strukturirani semantički model.

Tekstovi zahtjeva i zaglavlja se unose na ulaz modela. Da bi se smanjila veličina modela, na njima se izvodi operacija koju autori nazivaju heširanjem riječi. Tekstu se dodaju oznake početka i kraja, nakon čega se dijeli na abecedne trigrame. Na primjer, za upit [palekh] dobićemo trigrame [pa, ale, lekh, ex]. Pošto je broj različitih trigrama ograničen, tekst upita možemo predstaviti kao vektor veličine nekoliko desetina hiljada elemenata (veličina naše abecede je 3 stepena). Elementi vektora koji odgovaraju trigramima upita bit će jednaki 1, ostali - 0. Zapravo, na ovaj način označavamo pojavu trigrama iz teksta u rječniku koji se sastoji od svih poznatih trigrama. Ako uporedimo takve vektore, možemo saznati samo o prisutnosti identičnih trigrama u zahtjevu i zaglavlju, što nije od posebnog interesa. Stoga ih sada treba pretvoriti u druge vektore koji će već imati svojstva semantičke sličnosti koja su nam potrebna.

Nakon ulaznog sloja, kao što se očekuje u dubokim arhitekturama, postoji nekoliko skrivenih slojeva i za zahtjev i za zaglavlje. Poslednji sloj ima 128 elemenata i služi kao vektor koji se koristi za poređenje. Izlaz modela je rezultat skalarnog množenja posljednjeg zaglavlja i vektora upita (da budemo precizni, izračunava se kosinus ugla između vektora). Model je obučen na takav način da je za pozitivne primjere treninga izlazna vrijednost velika, a za negativne primjere treninga mala. Drugim riječima, poređenjem vektora posljednjeg sloja možemo izračunati grešku predviđanja i modificirati model na način da se greška smanji.

Mi u Yandexu također aktivno istražujemo modele zasnovane na umjetnim neuronskim mrežama, pa smo se zainteresirali za DSSM model. Zatim ćemo govoriti o našim eksperimentima u ovoj oblasti.

Teorija i praksa

Karakteristično svojstvo algoritama opisanih u naučnoj literaturi je da oni ne rade uvijek izvan okvira. Činjenica je da su "akademski" istraživač i istraživač iz industrije u bitno različitim uslovima. Kao polaznu tačku (osnovnu liniju), s kojom autor naučne publikacije upoređuje svoju odluku, trebao bi djelovati neki dobro poznati algoritam - to osigurava ponovljivost rezultata. Istraživači uzimaju rezultate ranije objavljenog pristupa i pokazuju kako se mogu pobijediti. Na primjer, autori originalnog DSSM-a upoređuju svoj NDCG model sa algoritmima BM25 i LSA. U slučaju primijenjenog istraživača koji se bavi kvalitetom pretraživanja u stvarnom pretraživaču, polazište nije jedan određeni algoritam, već cjelokupno rangiranje u cjelini. Cilj Yandex programera nije da prestigne BM25, već da postigne poboljšanje u odnosu na sve mnoge ranije implementirane faktore i modele. Dakle, osnova za istraživača u Yandexu je izuzetno visoka, a mnogi algoritmi koji su znanstveno novi i pokazuju dobre rezultate sa „akademskim“ pristupom beskorisni su u praksi, jer ne poboljšavaju stvarno kvalitet pretrage.

U slučaju DSSM-a, suočili smo se sa istim problemom. Kako to često biva, u "borbenim" uslovima, tačna implementacija modela iz članka pokazala je prilično skromne rezultate. Bilo je potrebno nekoliko značajnih "poboljšanja fajlova" da bismo dobili rezultate koji su bili interesantni sa praktične tačke gledišta. Ovdje ćemo govoriti o glavnim modifikacijama originalnog modela, koje su nam omogućile da ga učinimo snažnijim.

Veliki ulazni sloj

U originalnom DSSM modelu, ulazni sloj je skup literalnih trigrama. Njegova veličina je 30 000. Trigramski pristup ima nekoliko prednosti. Prvo, relativno ih je malo, tako da rad s njima ne zahtijeva velika sredstva. Drugo, njihova upotreba pojednostavljuje identifikaciju grešaka u kucanju i grešaka u rečima. Međutim, naši eksperimenti su pokazali da predstavljanje tekstova u obliku "vreće" trigrama značajno smanjuje izražajnu snagu mreže. Stoga smo radikalno povećali veličinu ulaznog sloja, uključujući, pored trigrama slova, još oko 2 miliona riječi i fraza. Dakle, tekstove zahtjeva i zaglavlja predstavljamo kao zajedničku "torbu" riječi, verbalnih bigrama i doslovnih trigrama.

Korišćenje velikog ulaznog sloja dovodi do povećanja veličine modela, trajanja obuke i zahteva znatno više računarskih resursa.

Teško za naučiti: kako se neuronska mreža borila sama sa sobom i učila na svojim greškama

Obuka originalnog DSSM-a sastoji se od prikazivanja mreži velikog broja pozitivnih i negativnih primjera. Ovi primjeri su preuzeti iz rezultata pretraživanja (očigledno je za to korišten Bing). Pozitivni primjeri su naslovi kliknutih SERP-ova, negativni primjeri su naslovi dokumenata na koje se nije kliknulo. Ovaj pristup ima određene nedostatke. Činjenica je da izostanak klika ne znači uvijek da je dokument nebitan. Tačna je i suprotna izjava - prisustvo klika ne garantuje relevantnost dokumenta. U suštini, učenjem na način opisan u originalnom članku, cilj nam je predvidjeti atraktivnost naslova, s obzirom da će oni biti prisutni u SERP-u. To, naravno, također nije loše, ali ima prilično indirektnu vezu s našim glavnim ciljem - naučiti razumjeti semantičku blizinu.

Tokom naših eksperimenata otkrili smo da se rezultat može značajno poboljšati ako koristimo drugačiju strategiju za odabir negativnih primjera. Za postizanje našeg cilja, dobri negativni primjeri su dokumenti za koje je zajamčeno da nisu relevantni za upit, ali u isto vrijeme pomažu neuronskoj mreži da bolje razumije značenje riječi. Gdje ih mogu nabaviti?

Prvi pokušaj

Prvo, kao negativan primjer, uzmite samo naslov slučajnog dokumenta. Na primjer, za upit [slika Palekh], nasumični naslov može biti „Pravila puta 2016. Ruske Federacije“. Naravno, nemoguće je potpuno isključiti činjenicu da će dokument koji je nasumično odabran među milijardama biti relevantan za zahtjev, ali vjerovatnoća za to je toliko mala da se može zanemariti. Na ovaj način vrlo lako možemo dobiti veliki broj negativnih primjera. Čini se da sada možemo naučiti našu mrežu upravo onome što želimo - da razlikujemo dobre dokumente koji zanimaju korisnike od dokumenata koji nemaju veze sa zahtjevom. Nažalost, model obučen na takvim primjerima pokazao se prilično slabim. Neuronska mreža je pametna stvar i uvijek će pronaći način da pojednostavi svoj rad. U ovom slučaju je samo počela tražiti iste riječi u zahtjevima i naslovima: da - dobar par, ne - loš. Ali to možemo i sami. Za nas je važno da mreža nauči razlikovati neočigledne obrasce.

Još jedan pokušaj

Sljedeći eksperiment je bio dodavanje riječi iz zahtjeva u naslove negativnih primjera. Na primjer, za upit [Palekh slika], nasumični naslov je izgledao kao [Pravila puta 2016 RF slika]. Neuronska mreža je imala malo više poteškoća, ali je, ipak, brzo naučila dobro razlikovati prirodne parove od ručno izrađenih. Postalo je jasno da takvim metodama nećemo postići uspjeh.

Uspjeh

Mnoga očigledna rješenja postaju očigledna tek nakon što se otkriju. Tako se dogodilo i ovoga puta: nakon nekog vremena se pokazalo da Najbolji način generiranje negativnih primjera je prisiljavanje mreže da se "bori" protiv sebe, da uči iz vlastitih grešaka. Među stotinama nasumičnih zaglavlja, odabrali smo ono koje je trenutna neuronska mreža smatrala najboljim. Ali, budući da je ovo zaglavlje još uvijek nasumično, vrlo je vjerovatno da se ne podudara sa zahtjevom. I upravo smo te naslove počeli koristiti kao negativne primjere. Drugim riječima, možete pokazati mreži najbolje od nasumičnih naslova, trenirati je, pronaći nove najbolje nasumične naslove, ponovo prikazati mreže itd. Ponavljajući ovaj postupak iznova i iznova, vidjeli smo kako se kvalitet modela primjetno poboljšao, a sve češće su najbolji od nasumičnih parova postajali slični stvarnim pozitivnim primjerima. Problem je riješen.

Takva šema obuke u naučnoj literaturi se obično naziva tvrdo negativno rudarenje. Također treba napomenuti da su rješenja slična konceptu postala široko rasprostranjena u znanstvenoj zajednici za generiranje slika realističnog izgleda, slična klasa modela se zove Generativne Adversarial Networks.

različite ciljeve

Microsoft Research je koristio klikove na dokumente kao pozitivne primjere. Međutim, kao što je već spomenuto, ovo je prilično nepouzdan signal o semantičkoj korespondenciji zaglavlja sa zahtjevom. Na kraju, naš zadatak nije da podignemo najposjećenije stranice u rezultatima pretraživanja, već da pronađemo zaista korisne informacije. Stoga smo kao cilj učenja pokušali iskoristiti i druge karakteristike ponašanja korisnika. Na primjer, jedan od modela je predvidio hoće li korisnik ostati na stranici ili otići. Drugo je koliko će dugo ostati na stranici. Kako se pokazalo, možete značajno poboljšati rezultate ako optimizirate ciljnu metriku koja pokazuje da je korisnik pronašao ono što mu je potrebno.

Profit

Ok, šta nam ovo daje u praksi? Uporedimo ponašanje našeg neuronskog modela i jednostavnog tekstualnog faktora zasnovanog na podudaranju riječi upita i teksta - BM25. Došao nam je iz vremena kada je rangiranje bilo jednostavno, a sada ga je zgodno koristiti kao bazni nivo.

Kao primjer, uzmimo upit [Knjiga Kellsa] i vidimo koju vrijednost faktori zauzimaju na različitim zaglavljima. Za kontrolu, dodajmo očigledno nerelevantan rezultat na listu naslova.

Svi faktori u Yandexu su normalizirani na interval . Sasvim je očekivano da BM25 ima visoke rezultate za naslove koji sadrže riječi za upite. I sasvim je predvidljivo da ovaj faktor dobije nultu vrijednost na naslovima koji nemaju zajedničke riječi sa zahtjevom. Sada obratite pažnju na to kako se ponaša neuronski model. Podjednako dobro prepoznaje vezu upita i sa naslovom relevantne stranice na ruskom jeziku sa Wikipedije i sa naslovom članka na engleskom! Osim toga, čini se da je model "vidio" vezu zahtjeva sa naslovom u kojem se ne spominje Kellsova knjiga, ali postoji fraza koja je bliska po značenju ("irska jevanđelja"). Vrijednost modela za nerelevantan naslov je znatno niža.

Sada da vidimo kako će se naši faktori ponašati ako preformulišemo upit bez promjene njegovog značenja: [Jevanđelje iz Kelsa].

Za BM25, preformulacija upita pretvorila se u pravu katastrofu - faktor je postao nula na relevantnim naslovima. I naš model pokazuje odličnu otpornost na preformulaciju: relevantni naslovi i dalje imaju visoku faktorsku vrijednost, a nerelevantan naslov još uvijek ima nisku vrijednost faktora. Čini se da je upravo to ponašanje koje smo očekivali od stvari koja tvrdi da može "razumjeti" semantiku teksta.

Još jedan primjer. Zahtjev [priča u kojoj je leptir zgnječen].

Kao što vidite, neuronski model je mogao dati visoku ocjenu naslovu s tačnim odgovorom, uprkos potpunom odsustvu zajedničkih riječi sa upitom. Štaviše, jasno se vidi da zaglavlja koja ne odgovaraju na zahtjev, ali su i dalje povezana s njim po značenju, dobijaju prilično visoku faktorsku vrijednost. Kao da je naš model "pročitao" Bredberijevu priču i "zna" da je upravo o tome riječ!

Šta je sledeće?

Nalazimo se na samom početku dugog i vrlo zanimljivog putovanja. Očigledno, neuronske mreže imaju veliki potencijal za poboljšanje rangiranja. Glavni pravci kojima je potreban aktivan razvoj su već jasni.

Na primjer, očito je da naslov sadrži nepotpune informacije o dokumentu, a bilo bi lijepo naučiti kako napraviti model iz punog teksta (kako se pokazalo, to nije sasvim trivijalan zadatak). Dalje, može se zamisliti da modeli imaju mnogo složeniju arhitekturu od DSSM-a – postoji razlog vjerovati da na taj način možemo bolje obraditi neke konstrukcije prirodnog jezika. Naš dugoročni cilj vidimo u kreiranju modela koji mogu „razumeti“ semantičku korespondenciju upita i dokumenata na nivou koji je uporediv sa nivoom osobe. Biće mnogo poteškoća na putu do ovog cilja - biće zanimljivije proći ga. Obećavamo da ćemo razgovarati o našem radu u ovoj oblasti. Pratite naredne objave.

Pisac naučne fantastike Sergej Lukjanenko je zajedno sa neuronskom mrežom Yandex napravio delo u stilu serijala Večeri na farmi kod Dikanke. Pisac je razvio likove i glavne priče, a zatim je neuronska mreža na osnovu toga generirala priču “Loš ugovor” koja je u javnom domenu.

Razvojne karakteristike

Ideja projekta pripada kanalu TV-3. Povod je bio izlazak filma „Gogol. Strašna osveta”, čija je premijera u Rusiji zakazana za 30. avgust 2018. Producent Valery Fedorovich napomenuo je da proces stvaranja priče odgovara načinu na koji je Gogol radio na svojim djelima. Ali ako su narodne legende za Nikolaja Vasiljeviča bile zapisane i poslane pismima od strane majke, onda u ovom slučaju informacije obrađuje neuronska mreža, a pisac daje folklornu "hranu".

Program je dodao mnogo detalja, priča u priči „Loš sporazum“, a takođe je pružio narativni jezik sličan Gogoljevom. Ovaj rezultat je postignut zahvaljujući preliminarnoj obuci na bazi ruske proze uopšte, a potom i na delima pisca posebno.

Mišljenje pisca

Sergej Lukjanenko je cijenio rezultat zajedničkog rada s Yandexom na dva načina. S jedne strane, zadovoljan je što je, unatoč brzom razvoju neuronskih mreža i umjetne inteligencije, potrebna osoba za stvaranje osnove kreativnog rada. S druge strane, piscu smeta što su neke moderne knjige napisane gore od priče koju stvara mašina.