Şehir yetkilileri, arabaları siluet, marka ve ışıklara göre tanıyacak bir sinir ağı kuracak. Bu, Moskova şehrinin Ulaştırma ve Yol Altyapısı Dairesi Trafik Yönetimi Merkezi'nde bildirildi.

"Akıllı" sistemin operatörler üzerindeki yükü azaltacağı ve trafik alanındaki suçları otomatik olarak tespit ederek kaydedilen ihlallerin ön işleme kalitesini artıracağı varsayılmaktadır. Sinir ağı, kameralardan gelen fotoğrafları işleyen TsODD'nin fotoğraf-video kayıt merkezinde kullanılacak. Bu arada oraya günde 400 bine kadar malzeme geliyor.

Modern teknolojiler alanında uzman olan Andrey Mikhailyuk'a göre, Moskova modern teknolojilerin uygulanması alanında liderdir. Kameranın plakayı tanıyamadığı durumları ele almak için bir sinir sistemine ihtiyaç olduğunu da sözlerine ekledi.

Uzman, bazen araç sahiplerinin para cezasından kaçınmak için numaranın bir veya daha fazla hanesini kapattığını söyledi. - Bu tür resimler işlenmek üzere çalışanlara gönderilir.

Aynı zamanda, insan kaynağı sınırlıdır. Mikhailyuk, bu işlevin bilgisayara aktarılmasının oldukça mantıklı olduğuna inanıyor.

Böyle bir görev bir kişi tarafından değil, bir makine öğrenme sistemi tarafından çözülmelidir - diye kaydetti.

Uzman ayrıca, kendi görüşüne göre, bir sinir ağı için böyle bir görevin oldukça ilkel olduğunu da ekledi. Mesele şu ki, araba modellerinin sayısı sınırlıdır, arabanın kararlı özellikleri ise büyük ölçüde arabanın şekline ve ışıklarına bağlıdır.

Böylece, sinir ağına verilen görevin oldukça basit olduğuna inanıyor. Teknik olarak, böyle bir sistem birkaç ay içinde geliştirilebilir ve mevcut fotoğrafları kullanarak ağın eğitilmesi biraz zaman alacaktır.

Uzman, ceza vermek için modern teknolojilerin kullanımı açısından Rusya'nın dünyadaki diğer ülkelerin önemli ölçüde önünde olduğunu vurguladı. Ona göre, her şey bizim zihniyetimizle ilgili.

Andrey Mikhailyuk, yolun kurallarını diğer ülkelere göre çok daha sık ihlal ediyoruz. - Avrupa'da bir kamera asılıysa, o zaman şartlı olarak ayda bir para cezası düzeltecek ve sürücüler de bunu biliyorsa, hiç kimse onu ihlal etmeyecek. Rusya'da tamamen farklı bir durumumuz var.

Moskova'da şu anda ihlalleri gidermek için 1,5 bin sabit kamera var. 2016 yılında fotoğraf-video kaydı yardımıyla 11,7 milyon, 2017'de 24,6 milyon ve 2018'in on ayında 25 milyondan fazla para cezası verildi. Trafik Yönetim Merkezi'nde 280 çalışanın bilgi kontrolü, hataların düzeltilmesi ve fotoğraf ve video kayıtlarının kalitesinin kontrol edilmesi ile meşgul olduğu belirtilmelidir.

Başka bir "mutluluk mektubu" alan modern bir araba sahibi, her zaman siyah beyaz bir fotoğrafı iyice incelemeye ve bir sonraki kameranın asıldığı direği ayrıntılı olarak hatırlamaya çalışır. Ancak yeni cezalardan kaçınmak her zaman mümkün değildir. Peki "ağabey" in hizmetinde ne tür güçler ve araçlar var, bunları nasıl hesaplayıp başka bir para cezası almamak için gerekli önlemleri hızla almalı? İzvestia, bir suç kararının nasıl doğduğunu, fotoğraf ve video kaydı için ne tür yol komplekslerinin bulunduğunu öğrendi ve ayrıca yanlışlıkla bir para cezası verilirse ne yapılacağını anlamaya çalıştı.

Onların adı lejyon

Bugüne kadar, Moskova'da yaklaşık 2.000 trafik ihlallerinin otomatik kayıt kompleksinin trafik durumunu izlediği toplam yaklaşık 167.000 kamera kuruldu ve sayıları sürekli artıyor. Şu anda, 1.5 bin sabit, 30'dan fazla mobil, yaklaşık 400 mobil ve toplu karayolu taşımacılığına kurulu 110 kompleks daha ceza ihlallerine yardımcı oluyor. Kuşkusuz, karayolu güvenliği ile ilgili durumu iyileştirmek için büyük ölçekli çalışmalar yürütülüyor: Yalnızca 2017'de, fotoğraf ve video kayıt araçları kullanılarak 83 milyondan fazla suç tespit edildi (bir yıl önce 60 milyondan biraz fazla), ancak genellikle olur ki otomatik sistemler başarısız olur ve masum sürücülere zarar verir.

Trafik ihlallerinin fotoğraf ve video kaydı için ilk sabit kompleksler, 2006-2007'de “2006-2010'da Yol Güvenliğinin İyileştirilmesi” federal hedef programının bir parçası olarak başkentin giden karayollarında ortaya çıktı. O zamandan beri yollardaki durum gözle görülür şekilde iyileştiğinden, trafik kameraları kurulmaya devam edecek.

Modern kompleksler sadece hız yapmayı, yol kenarında araba kullanmayı veya toplu taşıma için şeritlere girmeyi değil, aynı zamanda OSAGO olmadan şehirde dolaşan, araba sürmenin bile zor olduğu alanlarda durup park eden ihlalleri hesaplayabilir. arabaları olmadan veya engelliler için yerlerde, yol işaretleri ve işaretlerinin vb. gerekliliklerini ihmal ederler. Daha yakın zamanlarda, başkentte durma çizgisini kontrol eden trafik kameraları ortaya çıktı. Ve zaten 2019'da, Devlet Kamu Kurumu "Trafik Organizasyonu Merkezi" (TSODD), en savunmasız yol kullanıcılarının güvenliğini izlemek için 200 kompleks kuracak - kameralar, yayaların bir zebradan geçmesine izin vermeyen sürücülere yönelik olacak . İdari Suçlar Kanunu'nun 12.18. maddesi uyarınca böyle bir suçun cezasının 1,5 bin ila 2,5 bin ruble arasında değiştiğini hatırlayın.

Sürücüler için tamamen yeni bir para cezasının ortaya çıkması çok uzak değil - bu konuda 12 Kasım'da trafik polisi başkanı Mikhail Chernikov. Müfettişlik, tehlikeli sürüş için bir yaptırım getirmeyi planlıyor. Çizgiyi kontrol etmek ve oyunun "dama" hayranlarına karar vermek için, büyük olasılıkla, fotoğraf ve video kayıt kompleksleri de onlara emanet edilecek.

Arkadan ateş etmek

Moskova'yı "akıllı bir şehir" haline getirme konseptinin bir parçası olarak, 2011'den beri başkentte, karayolu ağının yükü ve durumu hakkında bilgi toplayan ve analiz eden bir akıllı ulaşım sistemi (ITS) aktif olarak tanıtıldı. ITS'nin "elleri ve gözleri", verileri toplayan, işleyen, depolayan ve güncel tutan trafik kameraları ve diğer yazılım ve donanım araçlarıdır.

Rusya'da üç tür sistem kullanılmaktadır: radar, lazer ve video sabitleme. Hem sabit hem de hareketli olabilirler. Radar sistemleri şu şekilde ayırt edilebilir: dış görünüş(iki "gözleri" vardır - radar sensörü ve kamera merceği için) ve bom üzerine birkaç kamera kurulumunun video kaydı (her şerit için bir tane).

Ortalama olarak, kameranın davetsiz misafiri "yakaladığı" odak uzaklığı 50 m ila 500 m arasındadır, ancak cihaz tarafından kaydedilebilecek maksimum hız eşiği önemli ölçüde artırılmıştır: modern sistemlerin aralığı 0-250 km'dir. / s ve daha önce olduğu gibi 0-180 km/s değil.

Modern kompleksler, kirli veya deforme olmuş sayıları bile tanımayı öğrendi ve hata yapma olasılıkları azaldı. Örneğin, hıza bağlı olarak Moskova'da popüler olan Avtohuragan komplekslerinin hatası araç sadece 1-2 km / s'dir ve Strelka kompleksinin çeşitli modifikasyonları 2 km / s'yi geçmez. İkincisi, bu arada, özel bir "silecek" ile donatılmıştır - üzerine kir bulaşırsa kameranın gözünü bağımsız olarak temizleyebilen bir cihaz.

Buna ek olarak, artık cihaz sadece bir arabanın tam yüzünün fotoğrafını çekmekle kalmıyor, aynı zamanda bir nesnenin kameradan uzaklaştığı hızı tespit edebiliyor, hareketin yörüngesini takip edebiliyor, bir aracın ortalama hızını ölçebiliyor. belirli bir alan, hatta “pit stop” ilkesine göre çalışın. İkinci durumda, ihlal edenin verileri, durma talebi ile görevdeki en yakın trafik polisi ekibine aktarılacaktır.

Eylül 2018'den bu yana, Moskova'da, tüm kayıtlı arabalar hakkında bilgi depolayan İçişleri Bakanlığı veritabanına bağlı olan test modunda bir sinir ağı başlatıldı. Sözde araç maskesi kamuya açık alanda saklanır ve otomobilin marka ve modeli, gövde rengi, plaka numarası ile ilgili verileri içerir.

Başkentin ulaşım departmanı başkanı Maxim Liksutov'a göre, şehirde bir sinir ağının tanıtılması, sahtekarlık, yani plakaların değiştirilmesi veya bir aracın çalınması vakalarını tespit etmeyi mümkün kılacaktır. Sistem, otomobil ile üzerine takılı olan plakalar arasındaki uyuşmazlığı otomatik olarak giderebiliyor ve polise aracın kontrol edilmesi gerektiğine dair bir sinyal gönderebiliyor.

Kameranın altına nasıl girilmez?

Her şeyden önce, ceza almamak için elbette ihlal etmemeniz gerekir: yolun kurallarına uyun, hız sınırına uyun, asfalta uygulanan işaret ve işaretlere uyun. Ek olarak, bir anti-radar veya anti-radarlı bir DVR yardımıyla kendinizi ek olarak koruyabilirsiniz: bu cihazlar durumu gerçek zamanlı olarak izler, trafik polisi kameralarından sinyaller alır ve sürücüyü sesli bir sinyalle bilgilendirir. .

Android veya Apple tabanlı cihaz pazarlarında benzer işlevlere sahip çok sayıda uygulama bulunmaktadır. Bu tür uygulamaların fiyatı, yeteneklerine ve doğruluğuna bağlı olarak 100 ila 1650 ruble arasında değişmektedir. Veya ayarlarda kameralar ve diğer trafik olayları hakkında sesli bildirim işlevini etkinleştirdikten sonra ücretsiz navigatörü kullanabilirsiniz. Doğru, örneğin yeni kameralar veya mobil trafik polisi gönderileriyle ilgili verilerin sizinle aynı kullanıcılar tarafından girildiği akılda tutulmalıdır.

Davanızı nasıl kanıtlayabilirsiniz?

Kameralarla kaydedilen trafik ihlalleri nedeniyle hatalı verilen cezalara itiraz etmek mümkün ve gereklidir. Ancak bu, yalnızca ihlal etmediğinizden kesinlikle eminseniz yapılmalıdır ve bunu sağlam kanıtlarla destekleyebilirsiniz.

Temyiz mekanizması aşağıdaki gibidir:

Para cezasının alındığı tarihten itibaren şikayette bulunmak için 10 gününüz var (İdari Suçlar Kanunu'nun 30.3. Maddesi);

Hem şahsen (Moskova Ulaştırma servis merkezlerine veya MADI resepsiyonuna) hem de elektronik olarak (Autocode portalı veya Moskova hükümetinin elektronik resepsiyonu aracılığıyla) şikayette bulunulabilir;

Belge seti, hem kendisi tarafından imzalanan şikayetin kendisini hem de itirazınızda sağlanan bilgileri doğrulayan ek materyalleri (fotoğraflar, videolar veya diğer belgeler) içermelidir;

Şikayetin yapıldığı tarihte, İdari Suçlar Kanunu tarafından verilen 10 gün geçmişse, idari bir suçla ilgili karara itiraz etmek için kaçırılan son tarihi geri yüklemek için belge paketine bir dilekçe eklenmelidir; ayrıca şahsen imzalanmalıdır;

Şikâyette, yapıldığı kurumun adı, tarihi, karar numarası ve suçlamanın hukuka aykırılığını kanıtlayan argümanlar belirtilmelidir. Daha detaylı talimatlar Moskova belediye başkanının resmi web sitesinde yayınlanan şikayet metinlerinden örneklerle.

Şikayetin değerlendirilmesi için 10 gün verilir, bu nedenle hatalı da olsa para cezası ödemek gerekir. Ayrıca, kararın daha yüksek durumlarda - önce trafik polisinde, sonra mahkemede - itiraz edilmesi gerekeceği gerçeğine hazırlanmaya değer. Ve yolculuktan sonra en az birkaç hafta boyunca DVR'den kayıt tutmayı bir kural haline getirin.

Yandex şirketinin basın servisine göre, bir sinir ağının yardımıyla, en ünlüler arasında yer alan on Sovyet karikatürünün çözünürlüğünü önemli ölçüde artırmayı ve görüntü kalitesini iyileştirmeyi başardı.

Son yıllarda bilim adamları çeşitli sinir ağları oluşturuyorlar, bilgisayarların bilgi işlem gücünün artması ve matematiğin gelişmesi nedeniyle böyle bir fırsata sahipler. Sinir ağları, önemsiz olmayan sorunları çözebilen yapay zeka sistemleridir. Bu karmaşık sinir ağlarından bazıları, kalıpların dışında bile düşünebilir, böylece bağımsız olarak yeni sanat eserleri yaratarak yenilikçi teknolojiler geliştirebilir.

Yandex'in sinir ağına DeepHD denir. Daha önce, Büyük Vatanseverlik Savaşı'nı anlatan filmlerin kalitesini artırmak için kullanıldığında kendini iyi göstermeyi başarmıştı. Daha sonra yedi film değişikliğe tabi tutuldu. Şimdi sıra Sovyet animasyonuna geldi: Kar Kraliçesi, Kızıl Çiçek, Woof adında bir yavru kedi, Umka bir arkadaş arıyor, Thumbelina, vb.

Özel bir yapay zeka sistemi münhasıran kaliteyi artırmakla meşgul ve çizgi filmlerin çerçevelerinde herhangi bir değişiklik yapmıyor. Görevi, sanatçının amaçladığı ancak karikatürler filmden dijitale aktarılırken kaybolan detayları geri getirmek. DeepHD sinir ağının açıklamasının olduğu sayfada özelliklerinden bahsediyor. Toplamda bu tür dört özellik vardır: kusurların ve gürültünün giderilmesi, genişlemenin artmasıyla ayrıntıların korunması, video akışları ve bireysel görüntülerle mükemmel çalışma ve gerçek zamanlı çalışma yeteneği.

DeepHD teknolojisi, üretken düşman sinir ağlarına dayanmaktadır. İlk aşamada, bir sinir ağı, sıkıştırma sırasında videoda görünen kusurların ortadan kaldırılmasıyla ilgilenir. İkinci aşama, görüntünün arttırılmasından ve bu tür değişiklikler sırasında ayrıntıların netliğinin korunmasından sorumlu olan farklı bir sinir ağı tarafından gerçekleştirilir. DeepHD sinir ağının ayrıntılı çalışmasıyla, yaratıcılarının resmi blogunda tanışabilirsiniz.

DeepHD'de bugün izleyicilerin yalnızca eski filmlere ve çizgi filmlere değil, aynı zamanda yeni uzun metrajlı ve animasyon filmlerine de erişebildiğini belirtmekte fayda var. Bunları "DeepHD" eklenmiş bir arama sorgusu aracılığıyla bulabilirsiniz. Bugün, yüksek kalitede TV kanallarını bile izleyebilirsiniz, bu, sinir ağının gerçek zamanlı olarak çalışabilmesi sayesinde mümkün hale geldi.

Bu haberi beğendin mi? O zamanlar basmak.

Bugün yeni bir arama algoritması "Palekh" duyurduk. Son zamanlarda üzerinde çalıştığımız tüm iyileştirmeleri içerir.

Örneğin, arama artık ilk kez belgeleri sorguda kullanılan kelimelere ve belgenin kendisine göre değil, sorgunun ve başlığın anlamına göre bulmak için sinir ağlarını kullanıyor.

Onlarca yıldır araştırmacılar, belgelerin bir sorguyla anlamsal alaka düzeyine göre sıralandığı anlamsal arama sorunuyla boğuşuyorlar. Ve şimdi gerçek oluyor.

Bu yazıda biraz bunu nasıl yaptığımızdan ve bunun neden sadece başka bir makine öğrenme algoritması değil, geleceğe yönelik önemli bir adım olduğundan bahsetmeye çalışacağım.

Yapay zeka mı yoksa makine öğrenimi mi?

Modern arama motorlarının makine öğrenimi yardımıyla çalıştığını hemen hemen herkes bilir. Görevleri için sinir ağlarının kullanımı hakkında neden ayrı ayrı konuşmalıyız? Ve neden sadece şimdi, çünkü bu konudaki hype birkaç yıldır azalmadı? Size konunun tarihini anlatmaya çalışacağım.

İnternet araması, çok uzun zaman önce ortaya çıkan karmaşık bir sistemdir. İlk başta sadece bir sayfa aramasıydı, sonra bir problem çözücüye dönüştü ve şimdi tam teşekküllü bir asistan haline geliyor. İnternet ne kadar büyükse ve içinde ne kadar çok insan varsa, gereksinimleri o kadar yüksekse, aramanın o kadar zorlaşması gerekir.

Saf Arama Çağı

İlk başta sadece bir kelime araması vardı - ters çevrilmiş bir dizin. Sonra çok fazla sayfa vardı, sıralanmaları gerekiyordu. Çeşitli komplikasyonlar dikkate alınmaya başlandı - kelimelerin sıklığı, tf-idf .

Bağlantıların Çağı

Sonra herhangi bir konuda çok fazla sayfa vardı, önemli bir atılım oldu - bağlantıları hesaba katmaya başladılar, PageRank ortaya çıktı.

Makine Öğrenimi Çağı

İnternet ticari olarak önemli hale geldi ve o sırada var olan basit algoritmaları kandırmaya çalışan birçok dolandırıcı vardı. İkinci bir büyük atılım daha oldu - arama motorları, hangi sayfaların iyi hangilerinin kötü olduğunu anlamak için kullanıcı davranışı bilgilerini kullanmaya başladı.

Bu aşamada bir yerde, insan aklı artık belgeleri nasıl sıralayacağını bulmak için yeterli değildi. Bir sonraki geçiş gerçekleşti - arama motorları makine öğrenimini aktif olarak kullanmaya başladı.

En iyi makine öğrenme algoritmalarından biri Yandex - Matrixnet'te icat edildi. Kullanıcıların kolektif zekasının ve “kalabalığın bilgeliğinin” sıralamaya yardımcı olduğu söylenebilir. Web siteleri ve insanların davranışları hakkındaki bilgiler, her biri Matrixnet tarafından bir sıralama formülü oluşturmak için kullanılan birçok faktöre dönüştürülür. Aslında, sıralama formülü bir makine tarafından yazılmıştır (yaklaşık 300 megabayt olduğu ortaya çıktı).

Ancak "klasik" makine öğreniminin bir sınırı vardır: yalnızca çok fazla verinin olduğu yerde çalışır. Küçük bir örnek. Milyonlarca kullanıcı aynı siteyi bulmak için [vkontakte] sorgusuna giriyor. Bu durumda, davranışları o kadar güçlü bir sinyaldir ki, arama insanları konuya bakmaya zorlamaz, ancak bir sorgu girerken hemen adresi önerir.

Ancak insanlar daha karmaşıktır ve aramadan daha fazlasını isterler. Artık tüm isteklerin %40'a kadarı benzersizdir, yani tüm gözlem süresi boyunca en az iki kez tekrarlanmazlar. Bu, aramanın yeterli miktarda kullanıcı davranışı hakkında yeterli veriye sahip olmadığı ve Matrixnet'in değerli faktörlerden yoksun olduğu anlamına gelir. Yandex'deki bu tür taleplere " uzun kuyruk" denir, çünkü birlikte aramamıza yönelik taleplerin önemli bir bölümünü oluştururlar.

Yapay zeka çağı

Ve işte en son buluş hakkında konuşma zamanı: Birkaç yıl önce bilgisayarlar yeterince hızlı hale geldi ve sinir ağlarını kullanmak için yeterli veri var. Onlara dayanan teknolojilere makine zekası veya yapay zeka da denir - çünkü sinir ağları beynimizdeki nöronların görüntüsünde inşa edilir ve bazı bölümlerinin çalışmalarını taklit etmeye çalışır.

Makine zekası, konuşmaları veya görüntülerdeki kalıpları tanıma gibi insanların yapabileceği görevleri yapmada eski yöntemlerden çok daha iyidir. Ancak bu, aramaya nasıl yardımcı olur?

Kural olarak, düşük frekanslı ve benzersiz sorguları bulmak oldukça zordur - bunlara iyi bir cevap bulmak çok daha zordur. Nasıl yapılır? Kullanıcılardan hiçbir ipucumuz yok (hangi belge daha iyi ve hangisi daha kötü), bu nedenle bir arama problemini çözmek için iki metin arasındaki semantik yazışmayı daha iyi anlamayı öğrenmeniz gerekir: bir sorgu ve bir belge.

söylemesi kolay

Açıkça söylemek gerekirse, yapay sinir ağları, makine öğrenimi yöntemlerinden biridir. Son zamanlarda, Küçük ShAD çerçevesinde onlara bir konferans verildi. Sinir ağları, doğal bilgilerin - ses ve görüntülerin analizinde etkileyici sonuçlar gösterir. Bu birkaç yıldır oluyor. Ama neden şimdiye kadar aramada bu kadar aktif olarak kullanılmadılar?

Basit cevap, anlamdan bahsetmek, bir resimdeki bir görüntü hakkında konuşmaktan veya sesleri yazıya geçirilmiş kelimelere dönüştürmekten çok daha zor olduğu için. Ancak anlam arayışında, yapay zeka gerçekten de uzun zamandır kral olduğu alandan - resimlerle arama - gelmeye başladı.

Görsel aramada nasıl çalıştığı hakkında birkaç kelime. Bir görüntü alıyor ve onu N boyutlu uzayda bir vektöre dönüştürmek için sinir ağlarını kullanıyorsunuz. Bir istek alın (bu hem metin biçiminde hem de başka bir resim biçiminde olabilir) ve aynısını onunla yapın. Ve sonra bu vektörleri karşılaştırın. Birbirlerine ne kadar yakınlarsa, resim sorguyla o kadar çok eşleşir.

Tamam, eğer görsellerde çalışıyorsa neden aynı mantığı web aramalarına da uygulamıyorsunuz?

teknolojideki şeytan

Problemi şu şekilde formüle ediyoruz. Girişte bir kullanıcı isteğimiz ve bir sayfa başlığımız var. Anlam olarak birbirlerine nasıl karşılık geldiklerini anlamanız gerekir. Bunu yapmak için, talep metnini ve başlık metnini, skaler çarpımı daha büyük olan bu tür vektörler şeklinde temsil etmek gerekir, verilen başlıktaki belge taleple ne kadar alakalıysa . Başka bir deyişle, sinir ağını, benzer metinler için benzer vektörler oluşturacak ve anlamsal olarak ilgisiz istekler ve başlıklar için vektörler farklı olacak şekilde eğitmek istiyoruz.

Bu görevin karmaşıklığı, sinir ağını eğitmek için doğru mimarinin ve yöntemin seçiminde yatmaktadır. Sorunu çözmeye yönelik birkaç yaklaşım, bilimsel yayınlardan bilinmektedir. Muhtemelen buradaki en basit yöntem, word2vec algoritmasını kullanarak metinleri vektörler olarak göstermektir (ne yazık ki, pratik deneyim, bunun eldeki sorun için oldukça zayıf bir çözüm olduğunu göstermektedir).

DSSM

2013 yılında, Microsoft Research'ten araştırmacılar, Derin Yapılandırılmış Semantik Model olarak adlandırılan yaklaşımlarını tanımladılar.

İstek ve başlık metinleri, modelin girişine beslenir. Modelin boyutunu küçültmek için üzerlerinde, yazarların kelime karması dediği bir işlem gerçekleştirilir. Metne başlangıç ​​ve bitiş işaretleri eklenir, ardından alfabetik trigramlara bölünür. Örneğin, [palekh] sorgusu için [pa, ale, lekh, ex] trigramlarını alacağız. Farklı trigramların sayısı sınırlı olduğundan, sorgu metnini on binlerce öğe boyutunda bir vektör olarak gösterebiliriz (alfabemizin boyutu 3 güçtür). Sorgunun trigramlarına karşılık gelen vektörün öğeleri 1'e, geri kalanı - 0'a eşit olacaktır. Aslında, bu şekilde, bilinen tüm trigramlardan oluşan bir sözlükte metinden trigramların oluşumunu işaretliyoruz. Bu tür vektörleri karşılaştırırsak, yalnızca istekte ve başlıkta özellikle ilgi çekici olmayan aynı trigramların varlığını öğrenebiliriz. Bu nedenle, şimdi ihtiyaç duyduğumuz anlamsal benzerlik özelliklerine zaten sahip olacak diğer vektörlere dönüştürülmeleri gerekiyor.

Giriş katmanından sonra, derin mimarilerde beklendiği gibi, hem istek hem de başlık için birkaç gizli katman vardır. Son katman 128 eleman uzunluğundadır ve karşılaştırma için kullanılan vektör görevi görür. Modelin çıktısı, son başlık ve sorgu vektörlerinin skaler çarpımının sonucudur (oldukça kesin olmak gerekirse, vektörler arasındaki açının kosinüsü hesaplanır). Model, pozitif eğitim örnekleri için çıktı değeri büyük ve negatif eğitim örnekleri için küçük olacak şekilde eğitilmiştir. Yani son katmanın vektörlerini karşılaştırarak tahmin hatasını hesaplayabilir ve modeli hata azalacak şekilde değiştirebiliriz.

Yandex olarak biz de aktif olarak yapay sinir ağlarına dayalı modelleri araştırıyoruz, bu nedenle DSSM modeliyle ilgilenmeye başladık. Daha sonra bu alandaki deneylerimizden bahsedeceğiz.

Teori ve pratik

Bilimsel literatürde açıklanan algoritmaların karakteristik bir özelliği, her zaman kutudan çıkmamalarıdır. Gerçek şu ki, "akademik" araştırmacı ve endüstriden araştırmacı önemli ölçüde farklı koşullarda. Bilimsel bir yayının yazarının kararını karşılaştırdığı bir başlangıç ​​noktası (temel) olarak, iyi bilinen bazı algoritmalar harekete geçmelidir - bu, sonuçların tekrarlanabilirliğini sağlar. Araştırmacılar daha önce yayınlanmış bir yaklaşımın sonuçlarını alıyor ve bunların nasıl yenilebileceğini gösteriyor. Örneğin, orijinal DSSM'nin yazarları, NDCG modellerini BM25 ve LSA algoritmalarıyla karşılaştırır. Gerçek bir arama motorunda arama kalitesiyle ilgilenen uygulamalı bir araştırmacı söz konusu olduğunda, başlangıç ​​noktası belirli bir algoritma değil, bir bütün olarak tüm sıralamadır. Yandex geliştiricisinin amacı, BM25'i geçmek değil, daha önce uygulanan birçok faktör ve modelin arka planında bir gelişme elde etmektir. Bu nedenle, Yandex'deki bir araştırmacı için taban çizgisi son derece yüksektir ve bilimsel olarak yeni olan ve “akademik” bir yaklaşımla iyi sonuçlar gösteren birçok algoritma, aramanın kalitesini gerçekten iyileştirmediğinden pratikte işe yaramaz.

DSSM örneğinde de aynı sorunla karşılaştık. Sıklıkla olduğu gibi, "savaş" koşullarında, modelin makaleden tam olarak uygulanması oldukça mütevazı sonuçlar verdi. Pratik açıdan ilginç sonuçlar elde edebilmemiz için bir dizi önemli "dosya iyileştirmesi" gerekliydi. Burada, orijinal modelde, onu daha güçlü hale getirmemize izin veren ana değişiklikler hakkında konuşacağız.

Büyük giriş katmanı

Orijinal DSSM modelinde, giriş katmanı bir dizi değişmez trigramdır. Boyutu 30.000'dir.Trigram yaklaşımının birçok avantajı vardır. Birincisi, nispeten az sayıda oldukları için onlarla çalışmak büyük kaynaklar gerektirmez. İkinci olarak, kullanımları kelimelerdeki yazım ve hataların belirlenmesini kolaylaştırır. Bununla birlikte, deneylerimiz, metinlerin bir trigram "torbası" biçiminde sunulmasının ağın ifade gücünü önemli ölçüde azalttığını göstermiştir. Bu nedenle, harf trigramlarına ek olarak yaklaşık 2 milyon kelime ve kelime öbeği de dahil olmak üzere giriş katmanının boyutunu kökten artırdık. Böylece, istek metinlerini ve başlığı kelimelerin, sözlü bigramların ve literal trigramların ortak bir "torbası" olarak sunuyoruz.

Büyük bir girdi katmanının kullanılması, modelin boyutunda, eğitim süresinde bir artışa yol açar ve önemli ölçüde daha fazla bilgi işlem kaynağı gerektirir.

Öğrenmesi zor: bir sinir ağının kendi kendisiyle nasıl mücadele ettiğini ve hatalarından nasıl ders aldığını

Orijinal DSSM'yi eğitmek, ağa çok sayıda olumlu ve olumsuz örnek göstermekten oluşur. Bu örnekler arama sonuçlarından alınmıştır (görünüşe göre bunun için Bing kullanılmıştır). Olumlu örnekler tıklanan SERP'lerin başlıkları, olumsuz örnekler ise tıklanmayan dokümanların başlıklarıdır. Bu yaklaşımın bazı dezavantajları vardır. Gerçek şu ki, bir tıklamanın olmaması her zaman belgenin alakasız olduğunu göstermez. Converse ifadesi de doğrudur - bir tıklamanın varlığı, belgenin uygunluğunu garanti etmez. Özünde, orijinal makalede açıklanan şekilde öğrenerek, SERP'de bulunacakları göz önüne alındığında, başlıkların çekiciliğini tahmin etmeyi amaçlıyoruz. Bu da elbette kötü değil, ancak asıl amacımızla oldukça dolaylı bir ilişkisi var - anlamsal yakınlığı anlamayı öğrenmek.

Deneylerimiz sırasında, olumsuz örnekleri seçmek için farklı bir strateji kullanırsak sonucun önemli ölçüde iyileştirilebileceğini gördük. Hedefimize ulaşmak için, iyi olumsuz örnekler, sorguyla alakasız olduğu garanti edilen ancak aynı zamanda sinir ağının kelimelerin anlamlarını daha iyi anlamasına yardımcı olan belgelerdir. Onları nereden alabilirim?

İlk deneme

İlk olarak, olumsuz bir örnek olarak, rastgele bir belgenin başlığını alın. Örneğin, [Palekh tablosu] sorgusu için rastgele başlık “Rusya Federasyonu 2016 Yol Kuralları” olabilir. Milyarlarca kişiden rastgele seçilen bir belgenin taleple alakalı olacağı gerçeğini tamamen dışlamak elbette mümkün değil ama bunun olasılığı o kadar küçük ki ihmal edilebilir. Bu şekilde çok sayıda olumsuz örneği çok kolay bir şekilde elde edebiliriz. Görünüşe göre artık ağımıza tam olarak ne istediğimizi öğretebiliriz - kullanıcıları ilgilendiren iyi belgeleri istekle ilgisi olmayan belgelerden ayırt etmek. Ne yazık ki, bu tür örnekler üzerinde eğitilen model oldukça zayıf çıktı. Bir sinir ağı akıllı bir şeydir ve her zaman işini basitleştirmenin bir yolunu bulacaktır. Bu durumda, isteklerde ve başlıklarda aynı kelimeleri aramaya başladı: evet - iyi bir çift, hayır - kötü bir. Ama bunu kendimiz yapabiliriz. Ağın belirgin olmayan kalıpları ayırt etmeyi öğrenmesi bizim için önemlidir.

Başka bir deneme

Bir sonraki deney, olumsuz örneklerin başlıklarına istekten kelimeler eklemekti. Örneğin, [Palekh tablosu] sorgusu için rastgele bir başlık [Yolun kuralları 2016 RF tablosu] gibi görünüyordu. Sinir ağı biraz daha zorlandı, ancak yine de doğal çiftleri el yapımı çiftlerden iyi ayırt etmeyi çabucak öğrendi. Bu tür yöntemlerle başarıya ulaşamayacağımız ortaya çıktı.

Başarı

Pek çok bariz çözüm ancak keşfedildikten sonra aşikar hale gelir. Yani bu sefer oldu: bir süre sonra ortaya çıktı En iyi yol olumsuz örnekler üretmek, ağı kendi kendisiyle “mücadeleye” zorlamak, kendi hatalarından ders çıkarmaktır. Yüzlerce rastgele başlık arasından, mevcut sinir ağının en iyi bulduğunu seçtik. Ancak, bu başlık hala rastgele olduğundan, istekle eşleşmeme olasılığı yüksektir. Ve bu manşetleri olumsuz örnek olarak kullanmaya başladık. Başka bir deyişle, ağa rastgele başlıkların en iyisini gösterebilir, eğitebilir, yeni en iyi rastgele başlıklar bulabilir, ağları tekrar gösterebilir vb. Bu prosedürü tekrar tekrar tekrarlayarak, modelin kalitesinin gözle görülür şekilde nasıl arttığını ve giderek daha sık rastlantısal çiftlerin en iyilerinin gerçek pozitif örneklere benzer hale geldiğini gördük. Problem çözüldü.

Bilimsel literatürde böyle bir eğitim planına genellikle sert negatif madencilik denir. Ayrıca, gerçekçi görünümlü görüntüler üretmek için bilimsel toplulukta konsept olarak benzer çözümlerin yaygınlaştığına dikkat edilmelidir, benzer bir model sınıfına Üretken Düşman Ağları denir.

farklı hedefler

Microsoft Research, belge tıklamalarını olumlu örnekler olarak kullandı. Ancak, daha önce de belirtildiği gibi, bu, başlığın talebe anlamsal yazışması hakkında oldukça güvenilmez bir sinyaldir. Sonuçta bizim görevimiz arama sonuçlarında en çok ziyaret edilen siteleri yükseltmek değil, gerçekten faydalı bilgiler bulmak. Bu nedenle, kullanıcı davranışının diğer özelliklerini bir öğrenme hedefi olarak kullanmaya çalıştık. Örneğin, modellerden biri, bir kullanıcının bir sitede kalacağını veya ayrılacağını tahmin etti. Diğeri ise sitede ne kadar kalacağıdır. Görünüşe göre, kullanıcının ihtiyaç duyduğu şeyi bulduğunu gösteren bir hedef metriği optimize ederseniz, sonuçları önemli ölçüde iyileştirebilirsiniz.

Kâr

Tamam, bu bize pratikte ne veriyor? Nöral modelimizin davranışını ve eşleşen sorgu sözcükleri ve metin - BM25'e dayalı basit bir metin faktörünü karşılaştıralım. Sıralamanın basit olduğu günlerden bize geldi ve şimdi onu temel seviye olarak kullanmak uygun.

Örnek olarak, [Kitap Kells] sorgusunu ele alalım ve faktörlerin farklı başlıklarda hangi değeri aldığını görelim. Kontrol için, başlıklar listesine açıkça alakasız bir sonuç ekleyelim.

Yandex'deki tüm faktörler aralığa normalleştirilir. BM25'in sorgu kelimeleri içeren başlıklar için yüksek puan alması oldukça bekleniyor. Ve istek ile ortak kelimeleri olmayan başlıklarda bu faktörün sıfır değeri alması oldukça öngörülebilir. Şimdi sinirsel modelin nasıl davrandığına dikkat edin. Bir sorgunun hem Wikipedia'daki ilgili bir sayfanın Rusça başlığıyla hem de İngilizce bir makale başlığıyla bağlantısını eşit derecede iyi tanır! Ek olarak, modelin, Kells Kitabı'ndan bahsetmeyen bir başlıkla talebin bağlantısını "gördüğü", ancak anlamca yakın bir ifadenin ("İrlanda İncilleri") olduğu görülüyor. Alakasız bir başlık için modelin değeri önemli ölçüde daha düşüktür.

Şimdi sorguyu anlamını değiştirmeden yeniden formüle edersek, faktörlerimizin nasıl davranacağını görelim: [Kells İncili].

BM25 için, sorgunun yeniden formüle edilmesi gerçek bir felakete dönüştü - ilgili başlıklarda faktör sıfır oldu. Ve modelimiz mükemmel bir reformülasyon direnci gösteriyor: ilgili başlıklar hala yüksek faktör değerine sahip ve alakasız bir başlık hala düşük faktör değerine sahip. Görünüşe göre metnin anlamını "anlayabildiğini" iddia eden bir şeyden beklediğimiz davranış tam da bu.

Başka bir örnek. [kelebeğin ezildiği hikaye] isteyin.

Gördüğünüz gibi, nöral model, sorgu ile ortak kelimelerin tamamen yokluğuna rağmen, doğru cevapla başlığa yüksek bir puan verebildi. Ayrıca talebe yanıt vermeyen ancak yine de anlamca ilişkili olan başlıkların oldukça yüksek faktör değeri aldığı açıkça görülmektedir. Sanki modelimiz Bradbury'nin hikayesini "okumuş" ve sorgunun tam olarak bununla ilgili olduğunu "bilmiş" gibi!

Sıradaki ne?

Uzun ve çok ilginç bir yolculuğun en başındayız. Görünüşe göre, sinir ağları sıralamaları iyileştirmek için büyük bir potansiyele sahip. Aktif gelişmeye ihtiyaç duyan ana yönler zaten açıktır.

Örneğin, başlığın belge hakkında eksik bilgiler içerdiği açıktır ve tam metinden bir modelin nasıl oluşturulacağını öğrenmek güzel olurdu (görünüşe göre, bu tamamen önemsiz bir iş değil). Ayrıca, DSSM'den çok daha karmaşık bir mimariye sahip modeller hayal edilebilir - bu şekilde bazı doğal dil yapılarını daha iyi işleyebileceğimize inanmak için nedenler var. Uzun vadeli hedefimizi, sorguların ve belgelerin semantik karşılıklarını bir kişinin düzeyiyle karşılaştırılabilir düzeyde "anlayabilen" modeller oluşturmakta görüyoruz. Bu hedefe giden yolda birçok zorluk olacak - onu geçmek daha ilginç olacak. Bu alandaki çalışmalarımızı konuşacağımıza söz veriyoruz. Sonraki gönderileri takip edin.

Bilim kurgu yazarı Sergei Lukyanenko, Yandex sinir ağı ile birlikte, Dikanka döngüsüne yakın bir Çiftlikte Akşamlar tarzında bir çalışma yarattı. Yazar, karakterleri ve ana hikaye çizgilerini geliştirdi ve ardından sinir ağı, kamuya açık olan “Kötü Sözleşme” hikayesini bu temelde oluşturdu.

Geliştirme özellikleri

Projenin fikri TV-3 kanalına aittir. Sebep, “Gogol” filminin yayınlanmasıydı. Rusya'da prömiyeri 30 Ağustos 2018'de yapılması planlanan Korkunç Bir İntikam ”. Yapımcı Valery Fedorovich, hikayeyi yaratma sürecinin Gogol'un eserleri üzerinde nasıl çalıştığına tekabül ettiğini belirtti. Ancak Nikolai Vasilyevich için halk efsaneleri anne tarafından yazılmış ve mektuplarla gönderilmişse, bu durumda bilgi sinir ağı tarafından işlenir ve yazar folklor "yiyecek" sağlar.

Program, "Kötü Antlaşma" hikayesine pek çok ayrıntı, olay örgüsü ekledi ve Gogol'unkine benzer bir anlatım dili sağladı. Bu sonuç, genel olarak Rus nesri temelinde ve bundan sonra özellikle yazarın eserleri üzerinde yapılan ön eğitim sayesinde elde edildi.

Yazarın görüşü

Sergey Lukyanenko, Yandex ile ortak çalışmanın sonucunu iki şekilde takdir etti. Bir yandan, sinir ağlarının ve yapay zekanın hızlı gelişimine rağmen, yaratıcı bir çalışmanın temelini oluşturmak için bir kişiye ihtiyaç duyulduğundan memnun. Öte yandan yazar, bazı modern kitapların bir makine tarafından oluşturulan bir hikayeden daha kötü yazılmasına üzülüyor.