โครงข่ายประสาทเทียมยานเดกซ์ ปัญญาประดิษฐ์ในการค้นหา วิธีที่ยานเดกซ์เรียนรู้การใช้โครงข่ายประสาทเทียมเพื่อค้นหาตามความหมาย ไม่ใช่ด้วยคำพูด ชื่อของพวกเขาคือพยุหะ

เจ้าหน้าที่ของเมืองจะเปิดตัวโครงข่ายประสาทเทียมที่จะจดจำรถยนต์ตามภาพเงา ยี่ห้อ และแสงไฟ รายงานนี้โดยศูนย์จัดการจราจรของกรมขนส่งและโครงสร้างพื้นฐานถนนมอสโก

คาดว่าระบบ "อัจฉริยะ" จะช่วยลดภาระของผู้ปฏิบัติงานและปรับปรุงคุณภาพของกระบวนการก่อนการประมวลผลการละเมิดที่บันทึกโดยวิธีการอัตโนมัติในการบันทึกการกระทำผิดกฎหมายจราจร โครงข่ายประสาทเทียมจะถูกใช้ในศูนย์บันทึกวิดีโอภาพถ่ายของศูนย์ประมวลผลข้อมูล ซึ่งประมวลผลภาพถ่ายจากกล้อง อย่างไรก็ตามมีการรับวัสดุมากถึง 400,000 ชิ้นทุกวัน

ตามผู้เชี่ยวชาญในสาขานั้น เทคโนโลยีที่ทันสมัย Andrey Mikhailyuk, มอสโก - ผู้นำด้านการประยุกต์ใช้เทคโนโลยีสมัยใหม่ เขาเสริมว่าจำเป็นต้องมีระบบประสาทเพื่อจัดการกับกรณีที่กล้องไม่สามารถจดจำหมายเลขป้ายทะเบียนรถได้

บางครั้งเจ้าของรถเพื่อหลีกเลี่ยงค่าปรับ ควรปกปิดตัวเลขหนึ่งหรือหลายหลักบนป้ายทะเบียน ผู้เชี่ยวชาญกล่าว - รูปภาพดังกล่าวให้พนักงานดำเนินการประมวลผล

ในขณะเดียวกันทรัพยากรบุคคลก็มีจำกัด Mikhailyuk เชื่อว่าการถ่ายโอนฟังก์ชันนี้ไปยังคอมพิวเตอร์นั้นค่อนข้างสมเหตุสมผล

ปัญหานี้ไม่ควรแก้ไขโดยบุคคล แต่ด้วยระบบการเรียนรู้ของเครื่อง” เขากล่าว

ผู้เชี่ยวชาญยังเสริมอีกว่าในความเห็นของเขา งานดังกล่าวสำหรับโครงข่ายประสาทเทียมนั้นค่อนข้างดั้งเดิม ประเด็นก็คือจำนวนรุ่นรถมีจำกัด และลักษณะความเสถียรของรถขึ้นอยู่กับรูปร่างของรถและไฟส่องสว่างเป็นอย่างมาก

ดังนั้นเขาจึงเชื่อว่างานที่ได้รับมอบหมายให้กับโครงข่ายประสาทเทียมนั้นค่อนข้างง่าย ในทางเทคนิค ระบบดังกล่าวสามารถพัฒนาได้ภายในไม่กี่เดือน และจะต้องใช้เวลาเพิ่มเติมในการฝึกอบรมเครือข่ายโดยใช้ภาพถ่ายที่มีอยู่

ผู้เชี่ยวชาญเน้นย้ำว่ารัสเซียเป็นผู้นำประเทศอื่น ๆ ในโลกอย่างมากในแง่ของการใช้เทคโนโลยีสมัยใหม่ในการออกค่าปรับ ในความเห็นของเขา ทุกอย่างเกี่ยวกับสภาพจิตใจของเรา

ในประเทศของเรา กฎจราจรถูกละเมิดบ่อยกว่าในประเทศอื่นๆ มาก” Andrey Mikhailyuk อธิบาย - หากติดตั้งกล้องในยุโรป จะมีค่าปรับเดือนละ 1 ครั้ง และหากคนขับทราบก็จะไม่มีใครละเมิดเลย ที่นี่ในรัสเซียสถานการณ์แตกต่างไปจากเดิมอย่างสิ้นเชิง

ในมอสโกขณะนี้มีกล้องนิ่ง 1.5 พันตัวที่บันทึกการละเมิด ในปี 2559 มีการออกค่าปรับ 11.7 ล้านครั้งจากการบันทึกภาพถ่ายและวิดีโอในปี 2560 - 24.6 ล้านครั้งและในสิบเดือนของปี 2561 - มากกว่า 25 ล้าน ควรสังเกตว่าที่ศูนย์จัดการจราจรมีพนักงาน 280 คนมีส่วนร่วมในการตรวจสอบข้อมูล แก้ไขข้อผิดพลาด และตรวจสอบคุณภาพของการบันทึกภาพถ่ายและวิดีโอ

หลังจากได้รับ "จดหมายแห่งความสุข" อีกครั้งเจ้าของรถสมัยใหม่มักจะพยายามศึกษาภาพถ่ายขาวดำอย่างละเอียดและจำรายละเอียดเสาที่แขวนกล้องตัวถัดไปไว้อย่างละเอียด อย่างไรก็ตาม ไม่สามารถหลีกเลี่ยงค่าปรับใหม่ได้เสมอไป แล้วกองกำลังและวิธีการใดบ้างในการรับใช้ "พี่ใหญ่" จะคำนวณอย่างไรและใช้มาตรการที่จำเป็นอย่างรวดเร็วเพื่อไม่ให้ถูกปรับอีก? อิซเวเทียค้นพบวิธีการตัดสินการกระทำความผิด มีระบบบันทึกภาพถ่ายและวิดีโอบนท้องถนนประเภทใด และยังพยายามค้นหาว่าต้องทำอย่างไรหากมีการออกค่าปรับโดยผิดพลาด

ชื่อของพวกเขาคือพยุหะ

จนถึงปัจจุบันมีการติดตั้งกล้องประมาณ 167,000 ตัวในมอสโกซึ่งมีระบบเกือบ 2,000 ระบบสำหรับบันทึกการละเมิดกฎจราจรโดยอัตโนมัติเพื่อติดตามสถานการณ์การจราจรและจำนวนกล้องก็เพิ่มขึ้นอย่างต่อเนื่อง ปัจจุบัน 1.5 พันเครื่องเขียนเคลื่อนที่มากกว่า 30 คันเคลื่อนที่เกือบ 400 คันและคอมเพล็กซ์อีก 110 แห่งที่ติดตั้งบนระบบขนส่งสาธารณะช่วยผู้ฝ่าฝืนปรับ ไม่ต้องสงสัยเลยว่ามีการทำงานขนาดใหญ่เพื่อปรับปรุงสถานการณ์ความปลอดภัยทางถนน: ในปี 2560 เพียงปีเดียว มีการตรวจพบความผิดมากกว่า 83 ล้านครั้งโดยใช้อุปกรณ์บันทึกภาพและวิดีโอ (หนึ่งปีก่อนหน้านี้ - มากกว่า 60 ล้านครั้ง) แต่บ่อยครั้งที่เหตุการณ์ดังกล่าวเกิดขึ้น ระบบอัตโนมัติเกิดอุบัติเหตุและผู้ขับขี่รถยนต์ผู้บริสุทธิ์ต้องทนทุกข์ทรมาน

ระบบบันทึกภาพและวิดีโอแบบอยู่กับที่ระบบแรกสำหรับการละเมิดกฎจราจรปรากฏบนทางหลวงขาออกของเมืองหลวงในปี 2549-2550 โดยเป็นส่วนหนึ่งของโครงการเป้าหมายของรัฐบาลกลาง "การปรับปรุงความปลอดภัยทางถนนในปี 2549-2553" เนื่องจากสถานการณ์บนท้องถนนดีขึ้นอย่างเห็นได้ชัดตั้งแต่นั้นมา กล้องจราจรจะยังคงได้รับการติดตั้งต่อไป

ระบบสมัยใหม่ไม่เพียงแต่ตรวจจับความเร็ว การขับขี่ข้างถนนหรือเข้าช่องทางการขนส่งสาธารณะเท่านั้น แต่ยังระบุผู้ฝ่าฝืนที่เคลื่อนที่ไปรอบเมืองโดยไม่ต้องมีประกันภัยรถยนต์ภาคบังคับ หยุดหรือจอดรถในพื้นที่ที่ยากต่อการขับขี่โดยไม่มีรถ หรือในสถานที่ที่คนพิการละเลยข้อกำหนดของป้ายจราจรและเครื่องหมาย ฯลฯ ล่าสุดมีกล้องจราจรที่ติดตามเส้นหยุดปรากฏในเมืองหลวง และในปี 2562 สถาบันสาธารณะของรัฐ “ศูนย์องค์กรจราจร” (TsODD) จะติดตั้งระบบ 200 ระบบเพื่อตรวจสอบความปลอดภัยของผู้ใช้ถนนที่มีความเสี่ยงมากที่สุด - กล้องจะมุ่งเป้าไปที่ผู้ขับขี่ที่ไม่อนุญาตให้คนเดินเท้าผ่านทางม้าลาย เราขอเตือนคุณว่าค่าปรับสำหรับความผิดดังกล่าวตามมาตรา 12.18 ของประมวลกฎหมายปกครองมีตั้งแต่ 1.5 พันถึง 2.5 พันรูเบิล

การปรากฏตัวของค่าปรับใหม่สำหรับผู้ขับขี่รถยนต์อยู่ใกล้แค่เอื้อม - หัวหน้าตำรวจจราจร มิคาอิล เชอร์นิคอฟ ประกาศเมื่อวันที่ 12 พฤศจิกายน ผู้ตรวจตั้งใจที่จะกำหนดบทลงโทษสำหรับการขับขี่ที่เป็นอันตราย ระบบบันทึกภาพถ่ายและวิดีโอมักจะได้รับความไว้วางใจในการติดตามพฤติกรรมที่ประมาทและการตัดสินใจสำหรับแฟนเกมหมากฮอส

โดนยิงที่หลัง

ในฐานะที่เป็นส่วนหนึ่งของแนวคิดในการเปลี่ยนมอสโกให้เป็น "เมืองอัจฉริยะ" ตั้งแต่ปี 2554 เมืองหลวงได้ใช้ระบบขนส่งอัจฉริยะ (ITS) อย่างแข็งขัน ซึ่งรวบรวมและวิเคราะห์ข้อมูลเกี่ยวกับภาระและสภาพของเครือข่ายถนน “มือและตา” ของ ITS คือกล้องถ่ายภาพบนท้องถนน ตลอดจนซอฟต์แวร์และฮาร์ดแวร์อื่นๆ ที่รับประกันการรวบรวม การประมวลผล การจัดเก็บข้อมูล และการรักษาให้ทันสมัยอยู่เสมอ

ในรัสเซียมีการใช้ระบบสามประเภท: เรดาร์ เลเซอร์ และการบันทึกวิดีโอ พวกเขาสามารถเป็นได้ทั้งแบบอยู่กับที่หรือแบบเคลื่อนที่ ระบบเรดาร์สามารถแยกแยะได้โดย รูปร่าง(แต่ละข้างมี "ตา" สองข้าง - สำหรับเซ็นเซอร์เรดาร์และเลนส์กล้อง) และการบันทึกวิดีโอเกี่ยวข้องกับการติดตั้งกล้องหลายตัวบนบูม (หนึ่งตัวสำหรับแต่ละแถบ)

โดยเฉลี่ยแล้ว ความยาวโฟกัสที่กล้อง "จับ" ผู้บุกรุกอยู่ในช่วงตั้งแต่ 50 ม. ถึง 500 ม. แต่เกณฑ์สำหรับความเร็วสูงสุดที่อุปกรณ์สามารถบันทึกได้เพิ่มขึ้นอย่างมาก: ช่วงของระบบสมัยใหม่คือ 0– 250 กม./ชม. ไม่ใช่ 0–180 กม./ชม. เหมือนเมื่อก่อน

ระบบสมัยใหม่ได้เรียนรู้ที่จะจดจำแม้กระทั่งป้ายทะเบียนที่สกปรกหรือผิดรูป และมีโอกาสผิดพลาดน้อยลง ตัวอย่างเช่นข้อผิดพลาดของคอมเพล็กซ์ Avtouragan ซึ่งเป็นที่นิยมในมอสโกขึ้นอยู่กับความเร็ว ยานพาหนะได้เพียง 1–2 กม./ชม. และการดัดแปลงต่างๆ ของ Strelka complex จะต้องไม่เกิน 2 กม./ชม. อย่างหลังนั้นติดตั้ง "ภารโรง" พิเศษซึ่งเป็นอุปกรณ์ที่สามารถทำความสะอาดตากล้องได้อย่างอิสระหากมีสิ่งสกปรกติดอยู่

นอกจากนี้ ปัจจุบันอุปกรณ์ไม่เพียงแต่สามารถถ่ายภาพรถจากด้านหน้าเท่านั้น แต่ยังตรวจจับความเร็วที่วัตถุเคลื่อนที่ออกจากกล้อง ติดตามวิถีการเคลื่อนที่ วัดความเร็วเฉลี่ยของยานพาหนะในพื้นที่ใดพื้นที่หนึ่ง หรือแม้แต่ดำเนินการตามหลักการ "Pit Stop" ในกรณีหลังนี้ข้อมูลของผู้กระทำผิดจะถูกโอนไปยังเจ้าหน้าที่ตำรวจจราจรที่ใกล้ที่สุดที่ปฏิบัติหน้าที่เพื่อขอให้หยุด

ตั้งแต่เดือนกันยายน 2018 โครงข่ายประสาทเทียมได้เปิดตัวในโหมดทดสอบในมอสโก ซึ่งเชื่อมต่อกับฐานข้อมูลของกระทรวงกิจการภายใน ซึ่งเก็บข้อมูลเกี่ยวกับรถยนต์ที่จดทะเบียนทั้งหมด สิ่งที่เรียกว่าหน้ากากติดรถยนต์จะถูกจัดเก็บไว้ในสาธารณสมบัติและมีข้อมูลเกี่ยวกับยี่ห้อและรุ่นของรถ สีตัวถัง และหมายเลขป้ายทะเบียน

ตามที่หัวหน้าแผนกขนส่งของเมืองหลวง Maxim Liksutov การแนะนำโครงข่ายประสาทเทียมในเมืองจะทำให้สามารถตรวจจับกรณีการฉ้อโกงได้ นั่นคือ การทดแทนแผ่นป้ายทะเบียน หรือการโจรกรรมรถยนต์ ระบบสามารถตรวจจับความคลาดเคลื่อนระหว่างรถกับป้ายทะเบียนที่ติดตั้งได้โดยอัตโนมัติ และส่งสัญญาณไปยังเจ้าหน้าที่ตำรวจว่าจำเป็นต้องตรวจสอบรถ

ทำอย่างไรไม่ให้โดนกล้องจับได้?

ก่อนอื่นเพื่อหลีกเลี่ยงการถูกปรับ แน่นอนว่าคุณต้องไม่ฝ่าฝืน: ปฏิบัติตามกฎจราจร สังเกตการจำกัดความเร็ว ติดตามป้ายและเครื่องหมายบนยางมะตอย นอกจากนี้ คุณยังสามารถป้องกันตัวเองเพิ่มเติมได้ด้วยความช่วยเหลือของเครื่องตรวจจับเรดาร์หรือเครื่องบันทึกวิดีโอที่มีเครื่องตรวจจับเรดาร์: อุปกรณ์เหล่านี้จะติดตามสถานการณ์แบบเรียลไทม์ รับสัญญาณจากกล้องตำรวจจราจร และแจ้งคนขับด้วยสัญญาณเสียง

มีแอปพลิเคชันจำนวนมากที่มีฟังก์ชันการทำงานคล้ายกันในตลาดสำหรับอุปกรณ์ที่ใช้ Android หรือ Apple ราคาของแอปพลิเคชันดังกล่าวขึ้นอยู่กับความสามารถและความแม่นยำมีตั้งแต่ 100 ถึง 1,650 รูเบิล หรือคุณสามารถใช้เครื่องนำทางฟรีโดยได้เปิดใช้งานฟังก์ชั่นแจ้งเตือนด้วยเสียงเกี่ยวกับกล้องและเหตุการณ์บนท้องถนนอื่น ๆ ในการตั้งค่าก่อนหน้านี้ อย่างไรก็ตาม ควรพิจารณาว่าข้อมูล เช่น เกี่ยวกับกล้องใหม่หรือโพสต์ของตำรวจจราจรเคลื่อนที่ ถูกป้อนโดยผู้ใช้เดียวกันกับคุณ

จะพิสูจน์ได้อย่างไรว่าคุณพูดถูก?

เป็นไปได้และจำเป็นที่จะโต้แย้งค่าปรับที่ออกโดยไม่ถูกต้องสำหรับการละเมิดกฎจราจรที่บันทึกโดยกล้อง อย่างไรก็ตาม ควรทำสิ่งนี้ก็ต่อเมื่อคุณแน่ใจจริงๆ ว่าคุณไม่ได้ละเมิดและสามารถยืนยันเรื่องนี้ได้ด้วยหลักฐานที่สำคัญ

กลไกในการอุทธรณ์คำวินิจฉัยมีดังนี้

คุณมีเวลา 10 วันในการยื่นเรื่องร้องเรียนนับจากวินาทีที่คุณได้รับค่าปรับ (มาตรา 30.3 แห่งประมวลกฎหมายปกครอง)

สามารถยื่นเรื่องร้องเรียนด้วยตนเอง (ไปยังศูนย์บริการการขนส่งมอสโกหรือแผนกต้อนรับ MADI) หรือทางอิเล็กทรอนิกส์ (ผ่านพอร์ทัล Autocode หรือแผนกต้อนรับอิเล็กทรอนิกส์ของรัฐบาลมอสโก)

ชุดเอกสารจะต้องมีทั้งการร้องเรียนที่ลงนามด้วยมือของคุณเอง และเอกสารเพิ่มเติม (ภาพถ่าย วิดีโอ หรือเอกสารอื่น ๆ ) ที่ยืนยันข้อมูลที่มีอยู่ในการอุทธรณ์ของคุณ

หากถึงเวลายื่นคำร้องแล้ว 10 วันที่กำหนดโดยประมวลกฎหมายความผิดทางปกครองได้ผ่านไปแล้ว ควรแนบเอกสารพร้อมคำร้องเพื่อเรียกคืนกำหนดเวลาที่พลาดไปสำหรับการอุทธรณ์คำตัดสินเกี่ยวกับความผิดทางปกครองซึ่งจะต้องด้วย ลงนามเป็นการส่วนตัว

การร้องเรียนจะต้องระบุชื่อหน่วยงานที่ยื่นเรื่อง วันที่ จำนวนคำตัดสิน และข้อโต้แย้งที่พิสูจน์ข้อกล่าวหาที่ผิดกฎหมาย มากกว่า คำแนะนำโดยละเอียดพร้อมตัวอย่างข้อความร้องเรียนบนเว็บไซต์ทางการของนายกเทศมนตรีกรุงมอสโก

มีการจัดสรรเวลา 10 วันในการพิจารณาคำร้องเรียน ดังนั้นคุณยังคงต้องจ่ายค่าปรับแม้ว่าจะออกโดยผิดพลาดก็ตาม นอกจากนี้ยังควรเตรียมพร้อมสำหรับความจริงที่ว่าการตัดสินใจจะต้องถูกท้าทายในหน่วยงานระดับสูง - อันดับแรกในตำรวจจราจรแล้วในศาล และถือเป็นกฎเกณฑ์ที่จะต้องเก็บภาพจากกล้องติดรถยนต์ไว้หลังการเดินทางเป็นเวลาอย่างน้อยสองสามสัปดาห์

ตามบริการกดของ บริษัท Yandex โดยใช้โครงข่ายประสาทเทียมเธอสามารถเพิ่มความละเอียดได้อย่างมากและปรับปรุงคุณภาพของภาพของการ์ตูนโซเวียตสิบเรื่องซึ่งเป็นหนึ่งในการ์ตูนที่มีชื่อเสียงที่สุด

ในช่วงไม่กี่ปีที่ผ่านมา นักวิทยาศาสตร์ได้สร้างโครงข่ายประสาทเทียมต่างๆ ขึ้นมา โอกาสนี้มีไว้สำหรับพวกเขาด้วยการเพิ่มพลังการประมวลผลของคอมพิวเตอร์และการพัฒนาทางคณิตศาสตร์ โครงข่ายประสาทเทียมคือระบบปัญญาประดิษฐ์ที่สามารถแก้ปัญหาที่ไม่สำคัญได้ โครงข่ายประสาทเทียมที่ซับซ้อนบางแห่งสามารถคิดนอกกรอบได้ ดังนั้นจึงสร้างงานศิลปะใหม่ๆ และพัฒนาเทคโนโลยีที่เป็นนวัตกรรมได้อย่างอิสระ

โครงข่ายประสาทเทียมจากยานเดกซ์เรียกว่า DeepHD ก่อนหน้านี้มันแสดงให้เห็นได้ดีแล้วเมื่อถูกนำมาใช้เพื่อปรับปรุงคุณภาพของภาพยนตร์ที่บอกเล่าเกี่ยวกับมหาสงครามแห่งความรักชาติ จากนั้นภาพยนตร์เจ็ดเรื่องอาจมีการเปลี่ยนแปลง ตอนนี้ถึงคราวของแอนิเมชั่นของโซเวียต: The Snow Queen ดอกไม้สีแดง,ลูกแมวชื่อวูฟ,อุมก้าตามหาเพื่อน,ธัมเบลิน่า ฯลฯ

ระบบปัญญาประดิษฐ์พิเศษเกี่ยวข้องกับการปรับปรุงคุณภาพโดยเฉพาะและไม่มีการเปลี่ยนแปลงเฟรมการ์ตูนอย่างแน่นอน งานของเธอคือการคืนรายละเอียดที่ศิลปินตั้งใจไว้แต่หายไประหว่างการถ่ายโอนการ์ตูนจากภาพยนตร์เป็นรูปแบบดิจิทัล หน้าที่มีคำอธิบายของโครงข่ายประสาทเทียม DeepHD พูดถึงคุณสมบัติของมัน มีทั้งหมดสี่คุณสมบัติดังกล่าว: การกำจัดข้อบกพร่องและสัญญาณรบกวน, การรักษารายละเอียดเมื่อขยายใหญ่, การทำงานที่ยอดเยี่ยมกับสตรีมวิดีโอและภาพแต่ละภาพ, ความสามารถในการทำงานแบบเรียลไทม์

พื้นฐานของเทคโนโลยี DeepHD คือโครงข่ายประสาทเทียมที่สร้างความขัดแย้ง ในระยะเริ่มแรก โครงข่ายประสาทเทียมหนึ่งเครือข่ายมีส่วนร่วมในการกำจัดข้อบกพร่องที่ปรากฏในวิดีโอระหว่างการบีบอัด ขั้นตอนที่สองดำเนินการโดยโครงข่ายประสาทเทียมที่แตกต่างกันซึ่งมีหน้าที่ในการขยายภาพตลอดจนรักษาความชัดเจนของรายละเอียดในระหว่างการเปลี่ยนแปลงดังกล่าว คุณสามารถทำความคุ้นเคยกับงานโดยละเอียดของโครงข่ายประสาทเทียม DeepHD ได้ในบล็อกอย่างเป็นทางการของผู้สร้าง

เป็นที่น่าสังเกตว่าใน DeepHD ผู้ชมในปัจจุบันไม่เพียงแต่สามารถเข้าถึงภาพยนตร์และการ์ตูนเก่าเท่านั้น แต่ยังรวมถึงภาพยนตร์สารคดีและภาพยนตร์แอนิเมชั่นใหม่ด้วย คุณสามารถค้นหาได้จากคำค้นหาด้วยการเพิ่ม "DeepHD" วันนี้คุณยังสามารถรับชมช่องโทรทัศน์ด้วยคุณภาพที่สูงขึ้นได้ซึ่งสามารถใช้งานได้แล้วด้วยความสามารถของโครงข่ายประสาทเทียมในการทำงานแบบเรียลไทม์

คุณชอบข่าวนี้หรือไม่? แล้ว กด.

วันนี้เราได้ประกาศอัลกอริธึมการค้นหาใหม่ “Palekh” รวมถึงการปรับปรุงทั้งหมดที่เราได้ดำเนินการเมื่อเร็วๆ นี้

ตัวอย่างเช่น ขณะนี้การค้นหาใช้โครงข่ายประสาทเทียมเป็นครั้งแรกในการค้นหาเอกสารที่ไม่ใช่คำที่ใช้ในการสืบค้นและในตัวเอกสารเอง แต่ตามความหมายของข้อความค้นหาและชื่อเรื่อง

เป็นเวลาหลายทศวรรษแล้วที่นักวิจัยต้องต่อสู้กับปัญหาการค้นหาเชิงความหมาย ซึ่งเอกสารต่างๆ ได้รับการจัดอันดับตามความเกี่ยวข้องเชิงความหมายกับข้อความค้นหา และตอนนี้มันกำลังกลายเป็นความจริงแล้ว

ในโพสต์นี้ ฉันจะพยายามพูดคุยเล็กน้อยเกี่ยวกับวิธีที่เราทำ และเหตุใดนี่จึงไม่ใช่แค่อัลกอริธึมการเรียนรู้ของเครื่อง แต่เป็นก้าวสำคัญสู่อนาคต

ปัญญาประดิษฐ์หรือการเรียนรู้ของเครื่อง?

เกือบทุกคนรู้ดีว่าสมัยใหม่ เครื่องมือค้นหาทำงานโดยใช้การเรียนรู้ของเครื่อง เหตุใดเราจึงควรพูดคุยแยกกันเกี่ยวกับการใช้โครงข่ายประสาทเทียมสำหรับงานของตน และทำไมตอนนี้เท่านั้นเนื่องจากกระแสโฆษณาในหัวข้อนี้ไม่ลดลงมาหลายปีแล้ว? ฉันจะพยายามบอกคุณเกี่ยวกับประวัติความเป็นมาของปัญหา

การค้นหาทางอินเทอร์เน็ตเป็นระบบที่ซับซ้อนซึ่งปรากฏมานานแล้ว ในตอนแรกเป็นเพียงการค้นหาหน้าเว็บจากนั้นก็กลายเป็นตัวแก้ปัญหาและตอนนี้ก็กลายเป็นผู้ช่วยที่เต็มเปี่ยม ยิ่งอินเทอร์เน็ตมีขนาดใหญ่ขึ้น และยิ่งมีผู้คนมากขึ้น ความต้องการก็ยิ่งมากขึ้น การค้นหาก็จะยิ่งยากขึ้นเท่านั้น

ยุคแห่งการค้นหาที่ไร้เดียงสา

ในตอนแรกมีเพียงการค้นหาคำ - ดัชนีกลับหัว มีจำนวนหน้ามากเกินไป จึงต้องจัดอันดับ เริ่มคำนึงถึงภาวะแทรกซ้อนต่าง ๆ - ความถี่ของคำ, tf-idf

ยุคแห่งลิงค์

จากนั้นมีหน้ามากเกินไปในหัวข้อใด ๆ มีความก้าวหน้าครั้งสำคัญเกิดขึ้น - พวกเขาเริ่มคำนึงถึงลิงก์ PageRank ก็ปรากฏขึ้น

ยุคแห่งการเรียนรู้ของเครื่อง

อินเทอร์เน็ตมีความสำคัญในเชิงพาณิชย์ และมีนักต้มตุ๋นจำนวนมากที่พยายามหลอกอัลกอริธึมง่ายๆ ที่มีอยู่ในขณะนั้น ความก้าวหน้าที่สำคัญประการที่สองเกิดขึ้น - เครื่องมือค้นหาเริ่มใช้ความรู้เกี่ยวกับพฤติกรรมผู้ใช้เพื่อทำความเข้าใจว่าหน้าใดดีและไม่ดี

ในขั้นตอนนี้ จิตใจของมนุษย์ไม่เพียงพอที่จะทราบวิธีจัดอันดับเอกสารอีกต่อไป การเปลี่ยนแปลงครั้งต่อไปเกิดขึ้น - เครื่องมือค้นหาเริ่มใช้การเรียนรู้ของเครื่องอย่างแข็งขัน

หนึ่งในอัลกอริธึมการเรียนรู้ของเครื่องที่ดีที่สุดถูกคิดค้นใน Yandex - Matrixnet เราสามารถพูดได้ว่าการจัดอันดับได้รับความช่วยเหลือจากความฉลาดโดยรวมของผู้ใช้และ “ภูมิปัญญาของฝูงชน” ข้อมูลเกี่ยวกับไซต์และพฤติกรรมของผู้คนจะถูกแปลงเป็นปัจจัยหลายประการ ซึ่งแต่ละปัจจัยถูกใช้โดย Matrixnet เพื่อสร้างสูตรการจัดอันดับ ในความเป็นจริงสูตรการจัดอันดับเขียนโดยเครื่อง (มีขนาดประมาณ 300 เมกะไบต์)

แต่แมชชีนเลิร์นนิงแบบ “คลาสสิก” มีข้อจำกัด: ใช้งานได้เฉพาะเมื่อมีข้อมูลจำนวนมากเท่านั้น ตัวอย่างเล็กๆ น้อยๆ ผู้ใช้หลายล้านคนป้อนข้อความค้นหา [VKontakte] เพื่อค้นหาไซต์เดียวกัน ในกรณีนี้พฤติกรรมของพวกเขาเป็นสัญญาณที่ชัดเจนว่าการค้นหาไม่ได้บังคับให้ผู้คนดูผลลัพธ์ แต่จะแจ้งที่อยู่ทันทีเมื่อป้อนข้อความค้นหา

แต่ผู้คนมีความซับซ้อนมากขึ้นและพวกเขาต้องการการค้นหามากขึ้นเรื่อยๆ ขณะนี้คำขอทั้งหมดมากถึง 40% เป็นคำขอที่ไม่ซ้ำ กล่าวคือ จะไม่ทำซ้ำอย่างน้อยสองครั้งตลอดระยะเวลาการสังเกตทั้งหมด ซึ่งหมายความว่าการค้นหาไม่มีข้อมูลพฤติกรรมของผู้ใช้เพียงพอ และ Matrixnet ขาดปัจจัยอันมีค่า ข้อความค้นหาดังกล่าวในยานเดกซ์เรียกว่า "หางยาว" เนื่องจากคำค้นหาเหล่านี้รวมกันเป็นสัดส่วนที่สำคัญในการค้นหาของเรา

ยุคแห่งปัญญาประดิษฐ์

และตอนนี้ก็ถึงเวลาพูดคุยเกี่ยวกับความก้าวหน้าครั้งล่าสุด เมื่อไม่กี่ปีก่อน คอมพิวเตอร์มีความเร็วเพียงพอ และมีข้อมูลเพียงพอที่จะใช้โครงข่ายประสาทเทียม เทคโนโลยีที่ใช้เทคโนโลยีเหล่านี้เรียกอีกอย่างว่าปัญญาประดิษฐ์หรือปัญญาประดิษฐ์ เนื่องจากโครงข่ายประสาทเทียมถูกสร้างขึ้นในรูปของเซลล์ประสาทในสมองของเรา และพยายามจำลองการทำงานของบางส่วน

ความชาญฉลาดของเครื่องจักรนั้นดีกว่าวิธีการแบบเดิมๆ ในงานต่างๆ ที่มนุษย์สามารถทำได้ เช่น การรู้จำเสียงพูด หรือการรู้จำรูปแบบในรูปภาพ แต่สิ่งนี้จะช่วยค้นหาได้อย่างไร?

ตามกฎแล้ว ข้อความค้นหาที่มีความถี่ต่ำและไม่ซ้ำกันนั้นค่อนข้างยากในการค้นหา และเป็นการยากกว่ามากที่จะหาคำตอบที่ดีสำหรับข้อความค้นหาเหล่านั้น ทำอย่างไร? เราไม่ได้รับคำแนะนำจากผู้ใช้ (เอกสารใดดีกว่าและเอกสารใดแย่กว่า) ดังนั้นเพื่อแก้ไขปัญหาการค้นหา เราจำเป็นต้องเรียนรู้ที่จะเข้าใจความสัมพันธ์เชิงความหมายระหว่างสองข้อความให้ดีขึ้น: ข้อความค้นหาและเอกสาร

มันง่ายที่จะพูด

พูดอย่างเคร่งครัด โครงข่ายประสาทเทียมเป็นหนึ่งในวิธีการเรียนรู้ของเครื่อง ล่าสุด มีการบรรยายให้กับพวกเขาภายใต้กรอบของ Small ShAD โครงข่ายประสาทเทียมแสดงผลลัพธ์ที่น่าประทับใจในด้านการวิเคราะห์ข้อมูลธรรมชาติ ทั้งเสียงและภาพ สิ่งนี้เกิดขึ้นมาหลายปีแล้ว แต่ทำไมถึงไม่ถูกนำมาใช้อย่างแข็งขันในการค้นหาจนถึงตอนนี้?

คำตอบง่ายๆ ก็คือ เนื่องจากการพูดถึงความหมายนั้นยากกว่าการพูดถึงรูปภาพในรูปภาพ หรือวิธีเปลี่ยนเสียงให้เป็นคำที่ถอดรหัส อย่างไรก็ตาม ในการค้นหาความหมาย ปัญญาประดิษฐ์ได้เริ่มมาจากพื้นที่ที่มันครองราชย์มายาวนาน นั่นคือการค้นหารูปภาพ

คำไม่กี่คำเกี่ยวกับวิธีการทำงานของการค้นหารูปภาพ คุณถ่ายภาพและใช้โครงข่ายประสาทเทียมเพื่อแปลงให้เป็นเวกเตอร์ในปริภูมิ N รับคำขอ (ซึ่งอาจอยู่ในรูปแบบข้อความหรือรูปภาพอื่น) และทำเช่นเดียวกันกับคำขอนั้น แล้วคุณเปรียบเทียบเวกเตอร์พวกนี้ ยิ่งอยู่ใกล้กันมากเท่าไรรูปภาพก็ตรงกับคำขอมากขึ้นเท่านั้น

โอเค ถ้ามันใช้ได้กับรูปภาพ ทำไมไม่ใช้ตรรกะเดียวกันกับการค้นหาเว็บล่ะ

ปีศาจอยู่ในเทคโนโลยี

ให้เรากำหนดปัญหาดังต่อไปนี้ เรามีคำขอของผู้ใช้และชื่อหน้าที่ป้อนข้อมูล คุณต้องเข้าใจว่าพวกเขามีความหมายต่อกันมากแค่ไหน ในการดำเนินการนี้ จำเป็นต้องแสดงข้อความคำขอและข้อความชื่อเรื่องในรูปแบบของเวกเตอร์ดังกล่าว การคูณสเกลาร์ที่จะยิ่งใหญ่ ยิ่งเอกสารที่มีชื่อที่กำหนดมีความเกี่ยวข้องกับคำขอมากขึ้นเท่านั้น กล่าวอีกนัยหนึ่ง เราต้องการฝึกโครงข่ายประสาทเทียมในลักษณะที่สำหรับข้อความที่มีความหมายใกล้เคียงกัน จะสร้างเวกเตอร์ที่คล้ายกัน แต่สำหรับการสืบค้นและส่วนหัวทางความหมายที่ไม่เกี่ยวข้อง เวกเตอร์ควรจะแตกต่างกัน

ความซับซ้อนของงานนี้อยู่ที่การเลือกสถาปัตยกรรมและวิธีการฝึกอบรมโครงข่ายประสาทเทียมที่ถูกต้อง แนวทางแก้ไขปัญหาบางประการเป็นที่รู้จักจากสิ่งพิมพ์ทางวิทยาศาสตร์ วิธีที่ง่ายที่สุดน่าจะเป็นการแสดงข้อความเป็นเวกเตอร์โดยใช้อัลกอริธึม word2vec (น่าเสียดายที่ประสบการณ์เชิงปฏิบัติแนะนำว่านี่เป็นวิธีแก้ปัญหาที่ค่อนข้างแย่สำหรับปัญหาปัจจุบัน)

ดีเอสเอสเอ็ม

ในปี 2013 นักวิจัยจาก Microsoft Research ได้อธิบายแนวทางของพวกเขา ซึ่งเรียกว่า Deep Structured Semantic Model

อินพุตโมเดลคือข้อความของแบบสอบถามและส่วนหัว เพื่อลดขนาดของโมเดล การดำเนินการจะดำเนินการกับโมเดลเหล่านั้น ซึ่งผู้เขียนเรียกว่าการแฮชคำ เครื่องหมายเริ่มต้นและสิ้นสุดจะถูกเพิ่มลงในข้อความ หลังจากนั้นจะถูกแบ่งออกเป็นสามเหลี่ยมตัวอักษร ตัวอย่างเช่น สำหรับข้อความค้นหา [palekh] เราจะได้รูปสามเหลี่ยม [pa, ale, lekh, ex] เนื่องจากจำนวนไตรแกรมที่แตกต่างกันมีจำกัด เราจึงสามารถแสดงข้อความคำขอเป็นเวกเตอร์ขององค์ประกอบหลายหมื่นขนาด (ขนาดของตัวอักษรของเรายกกำลัง 3) องค์ประกอบของเวกเตอร์ที่สอดคล้องกับตรีแกรมของคำขอจะเท่ากับ 1 ส่วนที่เหลือ - 0 โดยพื้นฐานแล้วเราจึงทำเครื่องหมายรายการของตรีโกณมิติจากข้อความลงในพจนานุกรมที่ประกอบด้วยตรีโกณมิติที่รู้จักทั้งหมด หากคุณเปรียบเทียบเวกเตอร์ดังกล่าว คุณจะพบเพียงการมีอยู่ของไตรแกรมที่เหมือนกันในคำขอและส่วนหัวเท่านั้น ซึ่งไม่น่าสนใจเป็นพิเศษ ดังนั้นตอนนี้จำเป็นต้องแปลงเป็นเวกเตอร์อื่นซึ่งจะมีคุณสมบัติใกล้เคียงความหมายที่เราต้องการอยู่แล้ว

หลังจากเลเยอร์อินพุต ตามที่คาดไว้ในสถาปัตยกรรมเชิงลึก จะมีเลเยอร์ที่ซ่อนอยู่หลายเลเยอร์สำหรับทั้งคำขอและส่วนหัว เลเยอร์สุดท้ายมีขนาด 128 องค์ประกอบและทำหน้าที่เป็นเวกเตอร์ที่ใช้สำหรับการเปรียบเทียบ ผลลัพธ์ของโมเดลคือผลลัพธ์ของการคูณสเกลาร์ของส่วนหัวสุดท้ายและเวกเตอร์ที่ร้องขอ (เพื่อให้แม่นยำยิ่งขึ้น คือคำนวณโคไซน์ของมุมระหว่างเวกเตอร์) แบบจำลองได้รับการฝึกฝนในลักษณะที่สำหรับตัวอย่างการฝึกเชิงบวก ค่าเอาต์พุตจะมีขนาดใหญ่ และสำหรับตัวอย่างการฝึกเชิงบวกจะมีค่าน้อย กล่าวอีกนัยหนึ่ง โดยการเปรียบเทียบเวกเตอร์ของเลเยอร์สุดท้าย เราสามารถคำนวณข้อผิดพลาดในการทำนายและแก้ไขแบบจำลองเพื่อให้ข้อผิดพลาดลดลง

พวกเราที่ Yandex กำลังค้นคว้าโมเดลที่ใช้โครงข่ายประสาทเทียมอย่างจริงจัง ดังนั้นเราจึงเริ่มสนใจโมเดล DSSM ต่อไปเราจะพูดถึงการทดลองของเราในพื้นที่นี้

ทฤษฎีและการปฏิบัติ

คุณสมบัติที่เป็นลักษณะเฉพาะของอัลกอริธึมที่อธิบายไว้ในวรรณกรรมทางวิทยาศาสตร์ก็คือ อัลกอริธึมเหล่านี้ไม่ได้ทำงานนอกกรอบเสมอไป ความจริงก็คือนักวิจัย “เชิงวิชาการ” และนักวิจัยอุตสาหกรรมอยู่ในสภาพที่แตกต่างกันอย่างมีนัยสำคัญ จุดเริ่มต้น (พื้นฐาน) ที่ผู้เขียนสิ่งพิมพ์ทางวิทยาศาสตร์เปรียบเทียบวิธีแก้ปัญหาของเขาควรเป็นอัลกอริทึมที่รู้จักกันดีซึ่งช่วยให้มั่นใจถึงความสามารถในการทำซ้ำของผลลัพธ์ นักวิจัยนำผลลัพธ์ของแนวทางที่เผยแพร่ก่อนหน้านี้และแสดงให้เห็นว่าจะสามารถเอาชนะได้อย่างไร ตัวอย่างเช่น ผู้เขียน DSSM ดั้งเดิมจะเปรียบเทียบโมเดลของตนโดยใช้หน่วยเมตริก NDCG กับอัลกอริธึม BM25 และ LSA ในกรณีของนักวิจัยประยุกต์ที่ศึกษาคุณภาพการค้นหาในเครื่องมือค้นหาจริง จุดเริ่มต้นไม่ใช่อัลกอริธึมเฉพาะเจาะจงเพียงอย่างเดียว แต่เป็นการจัดอันดับโดยรวม เป้าหมายของนักพัฒนา Yandex ไม่ใช่การแซง BM25 แต่เพื่อให้ได้การปรับปรุงโดยเทียบกับปัจจัยและโมเดลที่แนะนำก่อนหน้านี้ทั้งชุด ดังนั้นพื้นฐานสำหรับนักวิจัยในยานเดกซ์จึงสูงมากและอัลกอริธึมหลายอย่างที่มีความแปลกใหม่ทางวิทยาศาสตร์และแสดงผลลัพธ์ที่ดีด้วยแนวทาง "เชิงวิชาการ" กลับกลายเป็นว่าไร้ประโยชน์ในทางปฏิบัติเนื่องจากพวกเขาไม่ได้ปรับปรุงคุณภาพของการค้นหาจริงๆ

ในกรณีของ DSSM เราพบปัญหาเดียวกัน ดังที่มักจะเกิดขึ้น ในเงื่อนไข "การต่อสู้" การใช้งานโมเดลที่แน่นอนจากบทความแสดงผลลัพธ์ที่ค่อนข้างเรียบง่าย จำเป็นต้องมี "การแก้ไขไฟล์" ที่สำคัญจำนวนหนึ่งก่อนที่เราจะได้ผลลัพธ์ที่น่าสนใจจากมุมมองเชิงปฏิบัติ ที่นี่เราจะพูดถึงการแก้ไขหลักๆ ของโมเดลดั้งเดิมซึ่งทำให้เรามีพลังมากขึ้น

เลเยอร์อินพุตขนาดใหญ่

ในโมเดล DSSM ดั้งเดิม เลเยอร์อินพุตคือชุดของอักษรไตรแกรม ขนาดของมันคือ 30,000 วิธีไตรแกรมมีข้อดีหลายประการ ประการแรก มีค่อนข้างน้อย ดังนั้นการทำงานกับพวกเขาจึงไม่ต้องใช้ทรัพยากรจำนวนมาก ประการที่สอง การใช้งานทำให้ง่ายต่อการระบุการพิมพ์ผิดและคำที่สะกดผิด อย่างไรก็ตาม การทดลองของเราแสดงให้เห็นว่า การแสดงข้อความเป็น "ถุง" ของไตรแกรมจะช่วยลดพลังการแสดงออกของเครือข่ายอย่างเห็นได้ชัด ดังนั้นเราจึงเพิ่มขนาดของเลเยอร์อินพุตอย่างรุนแรง รวมถึงนอกเหนือจากไตรแกรมตัวอักษรแล้ว ยังเพิ่มคำและวลีอีกประมาณ 2 ล้านคำด้วย ดังนั้นเราจึงนำเสนอข้อความค้นหาและส่วนหัวเป็น "ถุง" ร่วมกันของคำ บิ๊กแกรมคำ และไตรแกรมตัวอักษร

การใช้เลเยอร์อินพุตขนาดใหญ่ทำให้ขนาดโมเดล เวลาการฝึกอบรมเพิ่มขึ้น และต้องใช้ทรัพยากรการประมวลผลเพิ่มขึ้นอย่างมาก

ยากที่จะเรียนรู้: โครงข่ายประสาทเทียมต่อสู้กับตัวเองและเรียนรู้จากความผิดพลาดได้อย่างไร

การฝึกอบรม DSSM ดั้งเดิมประกอบด้วยการเปิดเผยเครือข่ายให้เห็นตัวอย่างเชิงบวกและเชิงลบจำนวนมาก ตัวอย่างเหล่านี้นำมาจากผลการค้นหา (เห็นได้ชัดว่ามีการใช้เครื่องมือค้นหา Bing สำหรับสิ่งนี้) ตัวอย่างเชิงบวกคือชื่อของเอกสารการค้นหาที่ถูกคลิก ตัวอย่างเชิงลบคือชื่อของเอกสารที่ไม่ถูกคลิก วิธีนี้มีข้อเสียบางประการ ความจริงก็คือการไม่มีการคลิกไม่ได้หมายความว่าเอกสารนั้นไม่เกี่ยวข้องเสมอไป ข้อความตรงกันข้ามก็เป็นจริงเช่นกัน - การมีอยู่ของการคลิกไม่ได้รับประกันความเกี่ยวข้องของเอกสาร โดยพื้นฐานแล้ว ด้วยการเรียนรู้ในลักษณะที่อธิบายไว้ในบทความต้นฉบับ เรามุ่งมั่นที่จะคาดการณ์ความน่าดึงดูดใจของหัวข้อข่าว โดยมีเงื่อนไขว่าหัวข้อข่าวเหล่านั้นจะต้องปรากฏในผลการค้นหา แน่นอนว่าสิ่งนี้ก็ไม่เลวเช่นกัน แต่มันมีความสัมพันธ์ทางอ้อมกับเป้าหมายหลักของเรา - เพื่อเรียนรู้ที่จะเข้าใจความใกล้ชิดทางความหมาย

ในระหว่างการทดลอง เราค้นพบว่าผลลัพธ์สามารถปรับปรุงได้อย่างมีนัยสำคัญหากเราใช้กลยุทธ์อื่นในการเลือกตัวอย่างเชิงลบ เพื่อให้บรรลุเป้าหมาย ตัวอย่างเชิงลบที่ดีคือเอกสารที่รับประกันว่าจะไม่เกี่ยวข้องกับข้อความค้นหา แต่ในขณะเดียวกันก็ช่วยให้โครงข่ายประสาทเทียมเข้าใจความหมายของคำได้ดีขึ้น ฉันสามารถหาได้จากที่ไหน?

ครั้งแรกลอง

ขั้นแรก ลองใช้ชื่อเรื่องของเอกสารสุ่มเป็นตัวอย่างเชิงลบ ตัวอย่างเช่น สำหรับคำขอ [ภาพวาด Palekh] ชื่อแบบสุ่มอาจเป็น "กฎจราจรปี 2016 ของสหพันธรัฐรัสเซีย" แน่นอนว่าเป็นไปไม่ได้ที่จะยกเว้นความเป็นไปได้ที่เอกสารที่สุ่มเลือกจากพันล้านจะเกี่ยวข้องกับคำขอนั้นโดยสิ้นเชิง แต่ความน่าจะเป็นของสิ่งนี้มีน้อยมากจนสามารถถูกละเลยได้ วิธีนี้ทำให้เราสามารถได้รับตัวอย่างเชิงลบจำนวนมากได้อย่างง่ายดาย ดูเหมือนว่าตอนนี้เราสามารถสอนเครือข่ายของเราได้อย่างชัดเจนถึงสิ่งที่เราต้องการ - เพื่อแยกแยะเอกสารที่ดีที่ผู้ใช้สนใจจากเอกสารที่ไม่เกี่ยวข้องกับคำขอ น่าเสียดายที่โมเดลที่ได้รับการฝึกตามตัวอย่างดังกล่าวกลับกลายเป็นว่าค่อนข้างอ่อนแอ โครงข่ายประสาทเทียมเป็นสิ่งที่ชาญฉลาด และมักจะหาวิธีทำให้งานของมันง่ายขึ้น ในกรณีนี้ เธอเพิ่งเริ่มค้นหาคำเดียวกันในข้อความค้นหาและส่วนหัว: มี - คู่ที่ดีไม่ - แย่ แต่เราทำเองได้ เป็นสิ่งสำคัญสำหรับเราที่เครือข่ายเรียนรู้ที่จะแยกแยะรูปแบบที่ไม่ชัดเจน

ความพยายามอีกครั้ง

การทดลองครั้งต่อไปคือการเพิ่มคำจากการสืบค้นลงในชื่อเรื่องของตัวอย่างเชิงลบ ตัวอย่างเช่น สำหรับคำขอ [ภาพวาด Palekh] ชื่อแบบสุ่มดูเหมือน [ภาพวาดกฎจราจรปี 2016 ของสหพันธรัฐรัสเซีย] โครงข่ายประสาทเทียมมีความยากเพิ่มขึ้นเล็กน้อย แต่ถึงกระนั้นก็เรียนรู้อย่างรวดเร็วที่จะแยกแยะคู่ธรรมชาติออกจากคู่ที่คอมไพล์ด้วยตนเอง เห็นได้ชัดว่าเราจะไม่ประสบความสำเร็จหากใช้วิธีการดังกล่าว

ความสำเร็จ

วิธีแก้ปัญหาที่ชัดเจนหลายอย่างจะชัดเจนหลังจากค้นพบแล้วเท่านั้น ครั้งนี้ก็เกิดขึ้นด้วย ต่อมาสักพักก็พบว่า วิธีที่ดีที่สุดการสร้างตัวอย่างเชิงลบหมายถึงการบังคับให้เครือข่าย “ต่อสู้” กับตัวเอง เรียนรู้จากความผิดพลาดของตัวเอง ในบรรดาหัวข้อข่าวแบบสุ่มหลายร้อยรายการ เราได้เลือกหัวข้อที่โครงข่ายประสาทเทียมในปัจจุบันถือว่าดีที่สุด แต่เนื่องจากส่วนหัวนี้ยังคงเป็นแบบสุ่ม จึงมีความเป็นไปได้สูงที่จะไม่ตรงกับคำขอ และเป็นพาดหัวข่าวเหล่านี้ที่เราเริ่มใช้เป็นตัวอย่างเชิงลบ กล่าวอีกนัยหนึ่ง คุณสามารถแสดงส่วนหัวแบบสุ่มที่ดีที่สุดแก่เครือข่าย ฝึกฝน ค้นหาส่วนหัวแบบสุ่มที่ดีที่สุดใหม่ แสดงเครือข่ายอีกครั้ง และอื่นๆ ทำซ้ำขั้นตอนนี้ซ้ำแล้วซ้ำอีก เราพบว่าคุณภาพของแบบจำลองดีขึ้นอย่างเห็นได้ชัด และบ่อยครั้งคู่ที่ดีที่สุดก็คล้ายคลึงกับตัวอย่างเชิงบวกจริง ๆ ปัญหาได้รับการแก้ไขแล้ว

โครงการฝึกอบรมดังกล่าวมักเรียกว่าการขุดเชิงลบอย่างหนักในวรรณกรรมทางวิทยาศาสตร์ ควรสังเกตว่าวิธีแก้ปัญหาที่คล้ายกันได้แพร่หลายในชุมชนวิทยาศาสตร์เพื่อสร้างภาพที่ดูสมจริง แบบจำลองประเภทนี้เรียกว่า Generative Adversarial Networks

เป้าหมายที่แตกต่าง

นักวิจัยจาก Microsoft Research ใช้การคลิกเอกสารเป็นตัวอย่างเชิงบวก อย่างไรก็ตาม ดังที่ได้กล่าวไปแล้ว นี่เป็นสัญญาณที่ค่อนข้างไม่น่าเชื่อถือเกี่ยวกับความสอดคล้องเชิงความหมายของส่วนหัวกับคำขอ ท้ายที่สุดแล้ว เป้าหมายของเราไม่ใช่การจัดอันดับไซต์ที่มีผู้เข้าชมมากที่สุดในผลการค้นหา แต่เป็นการค้นหาข้อมูลที่เป็นประโยชน์อย่างแท้จริง ดังนั้นเราจึงลองใช้คุณลักษณะอื่นของพฤติกรรมผู้ใช้เป็นเป้าหมายการฝึกอบรม ตัวอย่างเช่น หนึ่งในแบบจำลองคาดการณ์ว่าผู้ใช้จะอยู่บนเว็บไซต์หรือออกไป อีกประการหนึ่งคือเขาจะอยู่ในไซต์นี้นานแค่ไหน ปรากฎว่าคุณสามารถปรับปรุงผลลัพธ์ได้อย่างมากหากคุณปรับเมตริกเป้าหมายดังกล่าวให้เหมาะสม ซึ่งบ่งชี้ว่าผู้ใช้พบสิ่งที่เขาต้องการ

กำไร

โอเค สิ่งนี้ให้อะไรเราในทางปฏิบัติ? มาเปรียบเทียบพฤติกรรมของแบบจำลองประสาทของเรากับปัจจัยข้อความอย่างง่ายโดยอิงตามความสอดคล้องระหว่างคำค้นหาและข้อความ - BM25 มันมาหาเราตั้งแต่สมัยที่การจัดอันดับนั้นเรียบง่าย และตอนนี้มันสะดวกที่จะใช้เป็นระดับพื้นฐานแล้ว

ลองใช้ข้อความค้นหา [Book of Kells] เป็นตัวอย่าง และดูว่าปัจจัยต่างๆ มีนัยสำคัญอย่างไรในหัวข้อต่างๆ เพื่อควบคุมสิ่งนี้ ให้เพิ่มผลลัพธ์ที่ไม่เกี่ยวข้องอย่างชัดเจนลงในรายการส่วนหัว

ปัจจัยทั้งหมดในยานเดกซ์จะถูกทำให้เป็นมาตรฐานตามช่วงเวลา คาดว่า BM25 จะมีค่าสูงสำหรับชื่อเรื่องที่มีคำค้นหา และค่อนข้างคาดเดาได้ว่าปัจจัยนี้จะได้รับค่าเป็นศูนย์สำหรับชื่อที่ไม่มีคำที่เหมือนกันกับคำขอ ตอนนี้สังเกตว่าแบบจำลองประสาททำงานอย่างไร โดยรับรู้ถึงความเชื่อมโยงระหว่างคำขอทั้งกับชื่อภาษารัสเซียของหน้าที่เกี่ยวข้องจาก Wikipedia และกับชื่อของบทความเกี่ยวกับ ภาษาอังกฤษ! นอกจากนี้ ดูเหมือนว่าโมเดล "เห็น" ความเชื่อมโยงระหว่างข้อความค้นหากับชื่อ ซึ่งไม่ได้กล่าวถึง Book of Kells แต่มีวลีที่คล้ายกัน ("Irish Gospels") ค่าของโมเดลสำหรับชื่อที่ไม่เกี่ยวข้องจะลดลงอย่างมาก

ตอนนี้เรามาดูกันว่าปัจจัยของเราจะมีลักษณะอย่างไรหากเราจัดรูปแบบคำขอโดยไม่เปลี่ยนความหมายของมัน: [gospel of Kells]

สำหรับ BM25 การปรับรูปแบบการสืบค้นกลายเป็นหายนะอย่างแท้จริง ปัจจัยกลายเป็นศูนย์ในหัวข้อที่เกี่ยวข้อง และแบบจำลองของเราแสดงให้เห็นถึงความต้านทานต่อการกำหนดรูปแบบได้ดีเยี่ยม กล่าวคือพาดหัวที่เกี่ยวข้องยังคงมีค่าปัจจัยสูง ในขณะที่พาดหัวที่ไม่เกี่ยวข้องยังคงมีค่าปัจจัยต่ำ ดูเหมือนว่านี่เป็นพฤติกรรมที่เราคาดหวังจากสิ่งที่อ้างว่าสามารถ "เข้าใจ" ความหมายของข้อความได้

ตัวอย่างอื่น. ขอ [เรื่องผีเสื้อถูกทับ]

ดังที่เราเห็น โมเดลประสาทสามารถประเมินชื่อเรื่องได้ในระดับสูงด้วยคำตอบที่ถูกต้อง แม้ว่าจะไม่มีคำทั่วไปในแบบสอบถามก็ตาม ยิ่งไปกว่านั้น จะเห็นได้อย่างชัดเจนว่าหัวข้อที่ไม่ตอบคำถามแต่ยังคงสัมพันธ์กันในความหมายนั้นจะได้รับค่าตัวประกอบที่ค่อนข้างสูง เหมือนกับว่านางแบบของเรา "อ่าน" เรื่องราวของ Bradbury และ "รู้" ว่านี่คือสิ่งที่เขากำลังพูดถึงในคำขอ!

อะไรต่อไป?

เราอยู่ที่จุดเริ่มต้นของการเดินทางที่ยาวนานและน่าสนใจมาก เห็นได้ชัดว่าโครงข่ายประสาทเทียมมีศักยภาพที่ดีในการปรับปรุงอันดับ ทิศทางหลักที่ต้องการการพัฒนาเชิงรุกนั้นชัดเจนอยู่แล้ว

ตัวอย่างเช่น เห็นได้ชัดว่าชื่อมีข้อมูลที่ไม่สมบูรณ์เกี่ยวกับเอกสาร และเป็นการดีที่จะเรียนรู้วิธีการสร้างแบบจำลองโดยใช้ข้อความแบบเต็ม (ตามที่ปรากฏ นี่ไม่ใช่เรื่องเล็กน้อยเลย) นอกจากนี้ เราสามารถจินตนาการถึงโมเดลที่มีสถาปัตยกรรมที่ซับซ้อนกว่า DSSM ได้อย่างมาก - มีเหตุผลให้เชื่อได้ว่าด้วยวิธีนี้ เราจะสามารถจัดการกับโครงสร้างภาษาธรรมชาติบางอย่างได้ดีขึ้น เราเห็นเป้าหมายระยะยาวของเราในการสร้างแบบจำลองที่สามารถ "เข้าใจ" ความสอดคล้องเชิงความหมายระหว่างข้อความค้นหาและเอกสารในระดับที่เทียบเคียงได้กับมนุษย์ จะมีปัญหามากมายระหว่างทางไปสู่เป้าหมายนี้ - ยิ่งน่าสนใจมากเท่าไรก็ยิ่งต้องผ่านมันไปให้ได้ เราสัญญาว่าจะพูดคุยเกี่ยวกับงานของเราในด้านนี้ ติดตามสิ่งพิมพ์ต่อไป

นักเขียนนิยายวิทยาศาสตร์ Sergei Lukyanenko ร่วมกับโครงข่ายประสาทเทียม Yandex ได้สร้างผลงานในรูปแบบของซีรีส์เรื่อง "ยามเย็นในฟาร์มใกล้ Dikanka" ผู้เขียนได้พัฒนาตัวละครและโครงเรื่องหลัก จากนั้นโครงข่ายประสาทเทียมก็สร้างเรื่องราว "สัญญาที่ไม่ดี" บนพื้นฐานนี้ ซึ่งเป็นสาธารณสมบัติ

คุณสมบัติการพัฒนา

แนวคิดของโครงการเป็นของช่อง TV-3 โอกาสนี้คือการเปิดตัวภาพยนตร์เรื่อง "โกกอล Terrible Revenge" ซึ่งมีกำหนดฉายรอบปฐมทัศน์ในรัสเซียวันที่ 30 สิงหาคม 2018 ผู้อำนวยการสร้างวาเลรี เฟโดโรวิชตั้งข้อสังเกตว่ากระบวนการสร้างเรื่องราวสอดคล้องกับวิธีที่โกกอลทำงานของเขา แต่ถ้าแม่ของ Nikolai Vasilyevich เขียนตำนานพื้นบ้านและส่งเป็นจดหมายในกรณีนี้ข้อมูลจะถูกประมวลผลโดยโครงข่ายประสาทเทียมและผู้เขียนจะจัดเตรียม "อาหาร" นิทานพื้นบ้าน

โปรแกรมนี้ได้เพิ่มรายละเอียดและโครงเรื่องมากมายให้กับเรื่อง “The Bad Treaty” และยังได้จัดเตรียมภาษาการเล่าเรื่องที่คล้ายกับของ Gogol อีกด้วย ผลลัพธ์นี้สำเร็จได้ด้วยการฝึกอบรมเบื้องต้นโดยใช้ร้อยแก้วรัสเซียโดยทั่วไปและหลังจากนั้นก็เกี่ยวกับผลงานของนักเขียนโดยเฉพาะ

ความเห็นของผู้เขียน

Sergei Lukyanenko ประเมินผลลัพธ์ได้สองวิธี การทำงานร่วมกันกับยานเดกซ์ ในอีกด้านหนึ่งเขายินดีที่แม้จะมีการพัฒนาอย่างรวดเร็วของโครงข่ายประสาทเทียมและปัญญาประดิษฐ์ แต่บุคคลก็จำเป็นต้องสร้างพื้นฐานของงานสร้างสรรค์ ในทางกลับกัน ผู้เขียนรู้สึกไม่พอใจที่หนังสือสมัยใหม่บางเล่มเขียนได้แย่ยิ่งกว่าเรื่องราวที่สร้างโดยเครื่องจักร