ข้อมูลขนาดใหญ่ในโลกสมัยใหม่ ข้อมูลขนาดใหญ่ เทคโนโลยีการประมวลผลข้อมูลขนาดใหญ่

ในสภาพแวดล้อมที่พูดภาษารัสเซียจะใช้เป็นคำศัพท์ ข้อมูลขนาดใหญ่และแนวคิดเรื่อง “ข้อมูลขนาดใหญ่” คำว่า "ข้อมูลขนาดใหญ่" เป็นสำเนาคาร์บอนของคำศัพท์ภาษาอังกฤษ Big Data ไม่มีคำจำกัดความที่เข้มงวด เป็นไปไม่ได้ที่จะวาดเส้นที่ชัดเจน - มันคือ 10 เทราไบต์หรือ 10 เมกะไบต์? ชื่อนั้นเป็นเรื่องส่วนตัวมาก คำว่า "ใหญ่" ก็เหมือนกับ "หนึ่ง สอง มากมาย" ในหมู่ชนเผ่าดึกดำบรรพ์

อย่างไรก็ตาม มีความเห็นที่เป็นที่ยอมรับว่าข้อมูลขนาดใหญ่คือชุดของเทคโนโลยีที่ออกแบบมาเพื่อดำเนินการสามประการ ประการแรก ประมวลผลข้อมูลปริมาณมากขึ้นเมื่อเทียบกับสถานการณ์ "มาตรฐาน" ประการที่สอง สามารถทำงานกับข้อมูลที่มาถึงอย่างรวดเร็วในปริมาณมากได้ นั่นคือไม่ได้มีเพียงข้อมูลจำนวนมากเท่านั้น แต่ยังมีข้อมูลเพิ่มมากขึ้นเรื่อยๆ ประการที่สาม พวกเขาจะต้องสามารถทำงานร่วมกับข้อมูลที่มีโครงสร้างและข้อมูลที่มีโครงสร้างไม่ดีควบคู่กันไปในด้านต่างๆ ข้อมูลขนาดใหญ่สันนิษฐานว่าอัลกอริทึมได้รับกระแสข้อมูลที่ไม่ได้จัดโครงสร้างเสมอไป และสามารถดึงแนวคิดออกมาได้มากกว่าหนึ่งแนวคิด

ตัวอย่างทั่วไปของข้อมูลขนาดใหญ่คือข้อมูลที่มาจากศูนย์ทดลองทางกายภาพต่างๆ ตัวอย่างเช่น ซึ่งผลิตข้อมูลจำนวนมหาศาลและทำเช่นนั้นอย่างต่อเนื่อง การติดตั้งทำให้เกิดข้อมูลปริมาณมากอย่างต่อเนื่อง และนักวิทยาศาสตร์ก็ใช้ข้อมูลดังกล่าวเพื่อแก้ไขปัญหาต่างๆ มากมายไปพร้อมๆ กัน

การเกิดขึ้นของข้อมูลขนาดใหญ่ในพื้นที่สาธารณะเกิดจากการที่ข้อมูลนี้ส่งผลกระทบต่อผู้คนเกือบทั้งหมด ไม่ใช่แค่ในชุมชนวิทยาศาสตร์เท่านั้น ซึ่งปัญหาดังกล่าวได้รับการแก้ไขมาเป็นเวลานาน เข้าสู่ขอบเขตเทคโนโลยีสาธารณะ ข้อมูลขนาดใหญ่ออกมาเมื่อเราเริ่มพูดถึงจำนวนที่เฉพาะเจาะจงมาก - จำนวนประชากรโลก 7 พันล้านรวบรวมบนโซเชียลเน็ตเวิร์กและโครงการอื่น ๆ ที่รวบรวมผู้คน ยูทูบ, เฟสบุ๊ค, VKontakteโดยที่วัดจำนวนผู้คนเป็นพันล้าน และจำนวนธุรกรรมที่พวกเขาทำพร้อมกันนั้นมีมหาศาล กระแสข้อมูลในกรณีนี้คือการกระทำของผู้ใช้ เช่น ข้อมูลจากโฮสติ้งเดียวกัน ยูทูบซึ่งไหลผ่านโครงข่ายทั้งสองทิศทาง การประมวลผลไม่เพียงแต่หมายถึงการตีความเท่านั้น แต่ยังรวมถึงความสามารถในการประมวลผลแต่ละการกระทำเหล่านี้ได้อย่างถูกต้อง กล่าวคือ เพื่อวางไว้ในตำแหน่งที่ถูกต้องและทำให้ผู้ใช้แต่ละคนสามารถเข้าถึงข้อมูลนี้ได้อย่างรวดเร็ว เนื่องจากเครือข่ายสังคมออนไลน์ไม่ยอมให้มีการรอคอย

สิ่งที่เกี่ยวข้องกับ big data แนวทางที่ใช้ในการวิเคราะห์ข้อมูลส่วนใหญ่นั้นมีมานานแล้ว ตัวอย่างเช่น การประมวลผลภาพจากกล้องวงจรปิด เมื่อเราไม่ได้พูดถึงภาพเดียว แต่เป็นกระแสข้อมูล หรือหุ่นยนต์นำทาง ทั้งหมดนี้เกิดขึ้นมานานหลายทศวรรษ แต่ปัจจุบันงานประมวลผลข้อมูลส่งผลกระทบต่อผู้คนและแนวคิดจำนวนมากขึ้น

นักพัฒนาหลายคนคุ้นเคยกับการทำงานกับวัตถุคงที่และการคิดในแง่ของสถานะ ในข้อมูลขนาดใหญ่ กระบวนทัศน์จะแตกต่างออกไป คุณต้องสามารถทำงานกับข้อมูลที่ไหลอย่างต่อเนื่อง และนี่เป็นงานที่น่าสนใจ ส่งผลกระทบต่อพื้นที่มากขึ้นเรื่อยๆ

ในชีวิตของเรา ฮาร์ดแวร์และซอฟต์แวร์จำนวนมากขึ้นเรื่อยๆ กำลังเริ่มสร้างข้อมูลจำนวนมาก เช่น Internet of Things

สิ่งต่างๆ กำลังสร้างกระแสข้อมูลจำนวนมหาศาลอยู่แล้ว ระบบตำรวจ Potok ส่งข้อมูลจากกล้องทุกตัวและช่วยให้คุณค้นหารถยนต์โดยใช้ข้อมูลนี้ สายรัดข้อมือสำหรับฟิตเนส เครื่องติดตาม GPS และสิ่งอื่น ๆ ที่ตอบสนองความต้องการของบุคคลและธุรกิจกำลังเป็นที่นิยมมากขึ้น

แผนกสารสนเทศของมอสโกกำลังรับสมัครนักวิเคราะห์ข้อมูลจำนวนมาก เนื่องจากมีการรวบรวมสถิติเกี่ยวกับผู้คนจำนวนมากและมีหลายเกณฑ์ (นั่นคือ มีการรวบรวมสถิติเกี่ยวกับเกณฑ์จำนวนมากมากเกี่ยวกับแต่ละคน เกี่ยวกับแต่ละคน กลุ่มคน) คุณต้องค้นหารูปแบบและแนวโน้มในข้อมูลนี้ สำหรับงานดังกล่าว จำเป็นต้องมีนักคณิตศาสตร์ที่มีการศึกษาด้านไอที เพราะท้ายที่สุดแล้วข้อมูลจะถูกจัดเก็บไว้ใน DBMS ที่มีโครงสร้าง และคุณจะต้องสามารถเข้าถึงข้อมูลเหล่านั้นและรับข้อมูลได้

ก่อนหน้านี้ เราไม่ได้ถือว่า Big Data เป็นปัญหาด้วยเหตุผลง่ายๆ ก็คือไม่มีที่สำหรับจัดเก็บข้อมูล และไม่มีเครือข่ายในการส่งข้อมูล เมื่อโอกาสเหล่านี้ปรากฏขึ้น ข้อมูลก็เติมเต็มปริมาณทั้งหมดที่มอบให้ทันที แต่ไม่ว่าแบนด์วิดธ์และความจุข้อมูลจะขยายออกไปมากเพียงใด มันก็ย่อมมีแหล่งที่มาอยู่เสมอ เช่น การทดลองทางกายภาพ การทดลองการสร้างแบบจำลองการเพรียวลมของปีก ซึ่งจะสร้างข้อมูลมากกว่าที่เราจะถ่ายทอดได้ ตามกฎของมัวร์ ประสิทธิภาพของระบบคอมพิวเตอร์แบบขนานสมัยใหม่เพิ่มขึ้นอย่างต่อเนื่อง และความเร็วของเครือข่ายการรับส่งข้อมูลก็เพิ่มขึ้นเช่นกัน อย่างไรก็ตาม ข้อมูลจะต้องสามารถบันทึกและดึงข้อมูลจากสื่อจัดเก็บข้อมูลได้อย่างรวดเร็ว ( ฮาร์ดไดรฟ์และหน่วยความจำประเภทอื่นๆ) และนี่คือความท้าทายอีกประการหนึ่งในการประมวลผลข้อมูลขนาดใหญ่

(อย่างแท้จริง - ข้อมูลขนาดใหญ่- มาดูพจนานุกรม Oxford กันก่อน:

ข้อมูล- ปริมาณ เครื่องหมาย หรือสัญลักษณ์ที่คอมพิวเตอร์ทำงานและสามารถจัดเก็บและส่งในรูปแบบของสัญญาณไฟฟ้า บันทึกลงในสื่อแม่เหล็ก แสง หรือเครื่องกล

ภาคเรียน ข้อมูลขนาดใหญ่ใช้เพื่ออธิบายชุดข้อมูลขนาดใหญ่ที่เติบโตแบบทวีคูณเมื่อเวลาผ่านไป ในการประมวลผลข้อมูลจำนวนมาก การเรียนรู้ของเครื่องเป็นสิ่งที่ขาดไม่ได้

ประโยชน์ที่ Big Data มอบให้:

1. รวบรวมข้อมูลจากแหล่งต่างๆ
2. ปรับปรุงกระบวนการทางธุรกิจผ่านการวิเคราะห์แบบเรียลไทม์
3. จัดเก็บข้อมูลจำนวนมหาศาล
4. ข้อมูลเชิงลึก Big Data มีข้อมูลเชิงลึกมากขึ้น ข้อมูลที่ซ่อนอยู่โดยใช้ข้อมูลที่มีโครงสร้างและกึ่งมีโครงสร้าง
5. ข้อมูลขนาดใหญ่ช่วยให้คุณลดความเสี่ยงและตัดสินใจอย่างชาญฉลาดด้วยการวิเคราะห์ความเสี่ยงที่เหมาะสม

ตัวอย่างข้อมูลขนาดใหญ่

ตลาดหลักทรัพย์นิวยอร์กสร้างขึ้นทุกวัน 1 เทราไบต์ข้อมูลการซื้อขายสำหรับช่วงที่ผ่านมา

โซเชียลมีเดีย: สถิติแสดงให้เห็นว่ามีการอัพโหลดฐานข้อมูล Facebook ทุกวัน 500 เทราไบต์ข้อมูลใหม่ส่วนใหญ่สร้างขึ้นเนื่องจากการอัพโหลดรูปภาพและวิดีโอไปยังเซิร์ฟเวอร์โซเชียลเน็ตเวิร์ก การส่งข้อความ ความคิดเห็นใต้โพสต์ และอื่นๆ

เครื่องยนต์ไอพ่นสร้างขึ้น 10 เทราไบต์ข้อมูลทุกๆ 30 นาทีระหว่างเที่ยวบิน เนื่องจากมีเที่ยวบินนับพันเที่ยวบินทุกวัน ปริมาณข้อมูลจึงสูงถึงระดับเพตะไบต์

การจำแนกประเภทข้อมูลขนาดใหญ่

แบบฟอร์มข้อมูลขนาดใหญ่:

• มีโครงสร้าง
• ไม่มีโครงสร้าง
• กึ่งโครงสร้าง

แบบฟอร์มที่มีโครงสร้าง

ข้อมูลที่สามารถจัดเก็บ เข้าถึง และประมวลผลในรูปแบบที่มีรูปแบบตายตัวเรียกว่ามีโครงสร้าง เมื่อเวลาผ่านไป วิทยาการคอมพิวเตอร์มีความก้าวหน้าอย่างมากในการปรับปรุงเทคนิคในการทำงานกับข้อมูลประเภทนี้ (ซึ่งทราบรูปแบบไว้ล่วงหน้า) และเรียนรู้วิธีที่จะได้รับประโยชน์จากข้อมูลดังกล่าว อย่างไรก็ตาม ในปัจจุบันมีปัญหาที่เกี่ยวข้องกับการเพิ่มปริมาณเป็นขนาดที่วัดได้ในช่วงหลายเซตตะไบต์

1 เซตตะไบต์เท่ากับหนึ่งพันล้านเทราไบต์

เมื่อดูตัวเลขเหล่านี้ จะเห็นได้ง่ายถึงความจริงของคำว่า Big Data และความยากลำบากที่เกี่ยวข้องกับการประมวลผลและจัดเก็บข้อมูลดังกล่าว

ข้อมูลที่จัดเก็บไว้ในฐานข้อมูลเชิงสัมพันธ์มีโครงสร้างและมีลักษณะคล้ายกับตารางของพนักงานบริษัท เป็นต้น

แบบฟอร์มที่ไม่มีโครงสร้าง

ข้อมูลของโครงสร้างที่ไม่รู้จักจัดอยู่ในประเภทไม่มีโครงสร้าง นอกจากขนาดที่ใหญ่แล้ว รูปร่างนี้ยังโดดเด่นด้วยความยากลำบากในการประมวลผลและการดึงข้อมูลที่เป็นประโยชน์อีกด้วย ตัวอย่างทั่วไปของข้อมูลที่ไม่มีโครงสร้างคือแหล่งข้อมูลที่ต่างกันซึ่งประกอบด้วยข้อมูลแบบง่ายรวมกัน ไฟล์ข้อความรูปภาพและวิดีโอ ปัจจุบัน องค์กรต่างๆ สามารถเข้าถึงข้อมูลดิบหรือข้อมูลที่ไม่มีโครงสร้างจำนวนมาก แต่ไม่ทราบวิธีการดึงคุณค่าออกมา

แบบฟอร์มกึ่งโครงสร้าง

หมวดหมู่นี้ประกอบด้วยทั้งสองอย่างข้างต้น ดังนั้นข้อมูลกึ่งโครงสร้างจึงมีรูปแบบบางอย่าง แต่จริงๆ แล้วไม่ได้ถูกกำหนดโดยตารางในฐานข้อมูลเชิงสัมพันธ์ ตัวอย่างของหมวดหมู่นี้คือข้อมูลส่วนบุคคลที่แสดงในไฟล์ XML

ปราชานต์ เราชาย35 สีมา อาร์.หญิง41 สาธิต มาเน่ชาย29 ซูบราโต รอยชาย26 เยเรมีย์ เจ.ชาย35

ลักษณะของข้อมูลขนาดใหญ่

การเติบโตของ Big Data เมื่อเวลาผ่านไป:

สีน้ำเงินแสดงถึงข้อมูลที่มีโครงสร้าง (ข้อมูลองค์กร) ซึ่งจัดเก็บไว้ในฐานข้อมูลเชิงสัมพันธ์ สีอื่นๆ บ่งบอกถึงข้อมูลที่ไม่มีโครงสร้างจากแหล่งต่างๆ (โทรศัพท์ IP อุปกรณ์และเซ็นเซอร์ โซเชียลเน็ตเวิร์ก และเว็บแอปพลิเคชัน)

จากข้อมูลของ Gartner ข้อมูลขนาดใหญ่แตกต่างกันไปตามปริมาณ อัตราการสร้าง ความหลากหลาย และความแปรปรวน มาดูลักษณะเหล่านี้กันดีกว่า

1. ปริมาณ- คำว่า Big Data นั้นมีความเกี่ยวข้องกับขนาดใหญ่ ขนาดของข้อมูลเป็นตัวชี้วัดที่สำคัญที่สุดในการกำหนดค่าที่เป็นไปได้ที่จะแยกออกมา ทุกๆ วัน ผู้คน 6 ล้านคนใช้สื่อดิจิทัล ก่อให้เกิดข้อมูลประมาณ 2.5 ล้านล้านไบต์ ดังนั้นปริมาณจึงเป็นลักษณะแรกที่ต้องพิจารณา
2. ความหลากหลาย- ด้านต่อไป มันหมายถึงแหล่งที่มาที่แตกต่างกันและลักษณะของข้อมูลซึ่งอาจมีโครงสร้างหรือไม่มีโครงสร้างก็ได้ ก่อนหน้านี้ สเปรดชีตและฐานข้อมูลเป็นแหล่งข้อมูลเดียวที่ได้รับการพิจารณาในแอปพลิเคชันส่วนใหญ่ ปัจจุบัน ข้อมูลในรูปแบบอีเมล รูปภาพ วิดีโอ ไฟล์ PDF และเสียงยังได้รับการพิจารณาในการใช้งานเชิงวิเคราะห์อีกด้วย ข้อมูลที่ไม่มีโครงสร้างที่หลากหลายนี้นำไปสู่ปัญหาในการจัดเก็บ การขุด และการวิเคราะห์: 27% ของบริษัทไม่มั่นใจว่าพวกเขากำลังทำงานกับข้อมูลที่ถูกต้อง
3. ความเร็วในการสร้าง- ความรวดเร็วในการสะสมและประมวลผลข้อมูลเพื่อให้เป็นไปตามข้อกำหนดจะเป็นตัวกำหนดศักยภาพ ความเร็วเป็นตัวกำหนดความเร็วของการไหลของข้อมูลจากแหล่งที่มา - กระบวนการทางธุรกิจ บันทึกแอปพลิเคชัน ไซต์เครือข่ายสังคมออนไลน์และสื่อ เซ็นเซอร์ อุปกรณ์มือถือ การไหลของข้อมูลมีขนาดใหญ่และต่อเนื่องตลอดเวลา
4. ความแปรปรวนอธิบายความแปรปรวนของข้อมูลในบางช่วงเวลา ซึ่งทำให้การประมวลผลและการจัดการมีความซับซ้อน ตัวอย่างเช่น ข้อมูลส่วนใหญ่ไม่มีโครงสร้างตามธรรมชาติ

การวิเคราะห์ Big Data: ประโยชน์ของ Big Data คืออะไร

การส่งเสริมสินค้าและบริการ: การเข้าถึงข้อมูลจากเครื่องมือค้นหาและเว็บไซต์เช่น Facebook และ Twitter ช่วยให้ธุรกิจสามารถพัฒนากลยุทธ์การตลาดได้แม่นยำยิ่งขึ้น

ปรับปรุงการบริการให้กับลูกค้า: ระบบคำติชมของลูกค้าแบบเดิมถูกแทนที่ด้วยระบบใหม่ที่ใช้ Big Data และการประมวลผลภาษาธรรมชาติเพื่ออ่านและประเมินคำติชมของลูกค้า

การคำนวณความเสี่ยงที่เกี่ยวข้องกับการเปิดตัวผลิตภัณฑ์หรือบริการใหม่

ประสิทธิภาพการดำเนินงาน: Big Data มีโครงสร้างเพื่อให้สามารถดึงข้อมูลที่จำเป็นได้อย่างรวดเร็วและให้ผลลัพธ์ที่แม่นยำอย่างรวดเร็ว การผสมผสานระหว่าง Big Data และเทคโนโลยีการจัดเก็บข้อมูลช่วยให้องค์กรเพิ่มประสิทธิภาพการทำงานด้วยข้อมูลที่ไม่ค่อยได้ใช้

ข้อมูลขนาดใหญ่- ภาษาอังกฤษ "ข้อมูลขนาดใหญ่" คำนี้ปรากฏเป็นทางเลือกแทน DBMS และกลายเป็นหนึ่งในแนวโน้มหลักในโครงสร้างพื้นฐานด้านไอทีเมื่อยักษ์ใหญ่ในอุตสาหกรรมส่วนใหญ่ เช่น IBM, Microsoft, HP, Oracle และอื่น ๆ เริ่มใช้แนวคิดนี้ในกลยุทธ์ของพวกเขา Big Data หมายถึงอาร์เรย์ข้อมูลขนาดใหญ่ (หลายร้อยเทราไบต์) ที่ไม่สามารถประมวลผลโดยใช้วิธีการแบบเดิมได้ บางครั้ง – เครื่องมือและวิธีการในการประมวลผลข้อมูลนี้

ตัวอย่างแหล่งข้อมูล Big Data: เหตุการณ์ RFID ข้อความบนโซเชียลเน็ตเวิร์ก สถิติอุตุนิยมวิทยา ข้อมูลเกี่ยวกับตำแหน่งของสมาชิกของเครือข่ายมือถือ และข้อมูลจากอุปกรณ์บันทึกเสียง/วิดีโอ ดังนั้น “ข้อมูลขนาดใหญ่” จึงถูกนำมาใช้กันอย่างแพร่หลายในด้านการผลิต การดูแลสุขภาพ การบริหารราชการ และธุรกิจอินเทอร์เน็ต โดยเฉพาะอย่างยิ่งในการวิเคราะห์กลุ่มเป้าหมาย

ลักษณะเฉพาะ

สัญญาณของข้อมูลขนาดใหญ่ถูกกำหนดให้เป็น "สาม Vs": ปริมาณ – ปริมาณ (ใหญ่มาก); ความหลากหลาย – ความแตกต่าง, ชุด; ความเร็ว – ความเร็ว (ความต้องการการประมวลผลที่รวดเร็วมาก)

ข้อมูลขนาดใหญ่มักไม่มีโครงสร้าง และจำเป็นต้องใช้อัลกอริธึมพิเศษในการประมวลผล วิธีการวิเคราะห์ข้อมูลขนาดใหญ่ประกอบด้วย:

• (“การทำเหมืองข้อมูล”) – ชุดของแนวทางในการค้นหาความรู้ที่เป็นประโยชน์ที่ซ่อนอยู่ซึ่งไม่สามารถรับได้ด้วยวิธีการมาตรฐาน
• Crowdsourcing (ฝูงชน - "ฝูงชน" การจัดหา - ใช้เป็นแหล่งที่มา) - การแก้ปัญหาที่สำคัญผ่านความพยายามร่วมกันของอาสาสมัครที่ไม่ได้อยู่ในสัญญาจ้างงานหรือความสัมพันธ์บังคับ การประสานงานกิจกรรมโดยใช้เครื่องมือไอที
• Data Fusion & Integration (“การผสมข้อมูลและการใช้งาน”) – ชุดวิธีการเชื่อมต่อหลายแหล่งซึ่งเป็นส่วนหนึ่งของการวิเคราะห์เชิงลึก
• Machine Learning (“การเรียนรู้ของเครื่อง”) เป็นส่วนย่อยของการวิจัยปัญญาประดิษฐ์ที่ศึกษาวิธีการใช้การวิเคราะห์ทางสถิติและการทำนายตามแบบจำลองพื้นฐาน
• การจดจำภาพ (เช่น การจดจำใบหน้าในช่องมองภาพของกล้องหรือกล้องวิดีโอ)
• การวิเคราะห์เชิงพื้นที่ - การใช้โทโพโลยี เรขาคณิต และภูมิศาสตร์เพื่อสร้างข้อมูล
• การสร้างภาพข้อมูล – เอาท์พุตของข้อมูลการวิเคราะห์ในรูปแบบของภาพประกอบและไดอะแกรมโดยใช้เครื่องมือแบบโต้ตอบและแอนิเมชั่นเพื่อติดตามผลลัพธ์และสร้างรากฐานสำหรับการตรวจสอบเพิ่มเติม

ข้อมูลจะถูกจัดเก็บและวิเคราะห์บนเซิร์ฟเวอร์ประสิทธิภาพสูงจำนวนมาก เทคโนโลยีหลักคือ Hadoop ซึ่งเป็นโอเพ่นซอร์ส

เนื่องจากปริมาณข้อมูลจะเพิ่มขึ้นเมื่อเวลาผ่านไป ความยากจึงไม่ได้อยู่ที่การรับข้อมูล แต่อยู่ที่วิธีการประมวลผลให้เกิดประโยชน์สูงสุด โดยทั่วไป กระบวนการทำงานร่วมกับ Big Data ประกอบด้วย การรวบรวมข้อมูล จัดโครงสร้าง การสร้างข้อมูลเชิงลึกและบริบท การพัฒนาคำแนะนำในการดำเนินการ ก่อนเริ่มขั้นตอนแรก สิ่งสำคัญคือต้องกำหนดวัตถุประสงค์ของงานให้ชัดเจน: ข้อมูลที่จำเป็นสำหรับอะไร เช่น การกำหนดกลุ่มเป้าหมายของผลิตภัณฑ์ มิฉะนั้นอาจมีความเสี่ยงที่จะได้รับข้อมูลจำนวนมากโดยไม่เข้าใจว่าสามารถนำมาใช้ได้อย่างไร

Yulia Sergeevna Volkova นักศึกษาชั้นปีที่ 4 มหาวิทยาลัยการเงินภายใต้รัฐบาลสหพันธรัฐรัสเซีย สาขา Kaluga Kaluga [ป้องกันอีเมล]

Big Data ในโลกสมัยใหม่

บทคัดย่อ บทความนี้เน้นไปที่การนำเทคโนโลยี Big Data ไปประยุกต์ใช้ในสังคมสมัยใหม่ของเรา มีการศึกษาลักษณะสำคัญของ Big Data โดยคำนึงถึงการใช้งานหลักๆ เช่น การธนาคาร การค้าปลีก ภาครัฐและเอกชน และแม้กระทั่งชีวิตประจำวัน การศึกษาเผยให้เห็นข้อเสียของการใช้เทคโนโลยี Big Data ความจำเป็นในการพัฒนากฎระเบียบในการใช้ Big Data ได้รับการสรุปไว้แล้ว: Big Data, ธนาคาร, ภาคการธนาคาร, การค้าปลีก, ภาคเอกชน, ภาครัฐ

เมื่อระดับของการบูรณาการเครื่องมือเทคโนโลยีสารสนเทศเข้ากับพื้นที่ต่าง ๆ ของสังคมยุคใหม่เพิ่มขึ้น ข้อกำหนดสำหรับความสามารถในการปรับตัวเพื่อแก้ไขปัญหาใหม่ที่ต้องใช้ข้อมูลปริมาณมากก็เพิ่มขึ้นเช่นกัน มีข้อมูลจำนวนมากที่ไม่สามารถประมวลผลด้วยวิธีเดิมๆ ได้ รวมถึงข้อมูลที่มีโครงสร้าง ข้อมูลสื่อ และอ็อบเจ็กต์สุ่ม และหากเทคโนโลยีที่มีอยู่ในปัจจุบันสามารถรับมือกับการวิเคราะห์ของเทคโนโลยีแรกได้ไม่มากก็น้อยการวิเคราะห์ของเทคโนโลยีที่สองและสามก็ยังคงเป็นงานที่หนักหนาสาหัส การวิจัยแสดงให้เห็นว่าปริมาณข้อมูลสื่อ เช่น กล้องวงจรปิด ภาพถ่ายทางอากาศ ข้อมูลสุขภาพดิจิทัล และวัตถุสุ่มที่จัดเก็บไว้ในเอกสารสำคัญและคลาวด์จำนวนมาก เพิ่มขึ้นทุกปี ข้อมูลจำนวนมหาศาลได้กลายเป็นกระบวนการระดับโลกและถูกเรียกว่า ข้อมูลขนาดใหญ่ ผลงานของนักวิทยาศาสตร์ทั้งต่างประเทศและรัสเซียอุทิศให้กับการศึกษา Big Data: James Manyika, Michael Chui, Toporkov V.V., Budzko V.I. บริษัทขนาดใหญ่ระดับโลก เช่น McKinsey& Company, СNews Analytics, SAP, Oracle, IBM, Microsoft, Teradata และอื่นๆ อีกมากมาย มีส่วนสนับสนุนอย่างมากในการศึกษาเทคโนโลยีนี้ พวกเขามีส่วนร่วมในการประมวลผลและวิเคราะห์ข้อมูลและสร้างระบบซอฟต์แวร์และฮาร์ดแวร์โดยใช้ Big Data ตามรายงานของ McKinsey Institute: “Big Data คือชุดของข้อมูลที่มีขนาดเกินกว่าความสามารถของเครื่องมือซอฟต์แวร์ฐานข้อมูลทั่วไปสำหรับการจับ จัดเก็บ จัดการและ วิเคราะห์ข้อมูล” โดยพื้นฐานแล้ว แนวคิดของข้อมูลขนาดใหญ่เกี่ยวข้องกับการทำงานกับข้อมูลที่มีปริมาณมากและองค์ประกอบที่หลากหลาย อัปเดตอย่างต่อเนื่องและอยู่ในแหล่งต่างๆ เพื่อเพิ่มประสิทธิภาพในการดำเนินงาน สร้างผลิตภัณฑ์ใหม่ และเพิ่มความสามารถในการแข่งขัน บริษัทที่ปรึกษา Forrester ให้สูตรที่กระชับและชัดเจน: “ข้อมูลขนาดใหญ่ผสมผสานเทคนิคและเทคโนโลยีที่ดึงความหมายจากข้อมูลที่มีขีดจำกัดสูงสุดในการใช้งานจริง” ในปัจจุบัน สาขาข้อมูลขนาดใหญ่มีลักษณะเฉพาะดังต่อไปนี้: ปริมาณ – ปริมาณ ฐานข้อมูลที่สะสมแสดงถึงข้อมูลจำนวนมาก ความเร็ว—ความเร็ว คุณลักษณะนี้บ่งชี้อัตราการสะสมข้อมูลที่เพิ่มขึ้น (90% ของข้อมูลถูกรวบรวมในช่วง 2 ปีที่ผ่านมา) ความหลากหลาย—ความหลากหลาย เช่น ความสามารถในการประมวลผลข้อมูลที่มีโครงสร้างและไม่มีโครงสร้างของรูปแบบต่างๆ พร้อมกัน ผู้เชี่ยวชาญด้านการตลาดชอบเติม “V” ที่นี่ บางคนยังพูดถึงความจริง บางคนเสริมว่าเทคโนโลยีข้อมูลขนาดใหญ่จะต้องนำผลประโยชน์มาสู่ธุรกิจอย่างแน่นอน (คุณค่า) คาดว่าภายในปี 2563 จำนวนข้อมูลที่สะสมบนโลกนี้จะเพิ่มขึ้นสองเท่าทุก ๆ สองปี ข้อมูลที่มีอยู่มากมายทำให้คุณต้องการใช้ในการวิเคราะห์และพยากรณ์ ปริมาณมหาศาลต้องใช้เทคโนโลยีที่เหมาะสม ทุกวันนี้ บริษัทต่างๆ ต้องประมวลผลข้อมูลจำนวนมหาศาลในปริมาณที่ยากต่อการจินตนาการ ซึ่งนำไปสู่ความจริงที่ว่าฐานข้อมูลแบบเดิมไม่สามารถรับมือกับงานดังกล่าวได้ และสิ่งนี้นำไปสู่ความจำเป็นในการนำเทคโนโลยี Big Data มาใช้ ตารางแสดงลักษณะเปรียบเทียบของ Big Data และฐานข้อมูลแบบเดิม พื้นฐานสำหรับการก่อตัวของตารางนี้คือการวิจัยโดย V. I. Budzko และ Moscow Exchange ตารางที่ 1 ลักษณะเปรียบเทียบของข้อมูลขนาดใหญ่และข้อมูลดั้งเดิม

ฐานข้อมูลแบบดั้งเดิมพื้นที่แอปพลิเคชัน Big Data

สาขาวิชาหนึ่งหรือหลายสาขาวิชา ขอบเขตของเทคโนโลยี Big Data นั้นกว้างใหญ่ ตั้งแต่การระบุความต้องการของลูกค้าไปจนถึงการวิเคราะห์ความเสี่ยง ลักษณะข้อมูล เฉพาะข้อมูลที่มีโครงสร้าง ข้อมูลจำนวนมหาศาลที่มีโครงสร้างที่แตกต่างกันและ/หรือความไม่แน่นอนที่ซับซ้อน วิธีการจัดเก็บข้อมูล แบบกระจายอำนาจแบบรวมศูนย์ การจัดเก็บและประมวลผลข้อมูล โมเดลแนวตั้ง โมเดลแนวนอน จำนวนข้อมูลสำหรับการประมวลผล จากกิกะไบต์ (109 ไบต์) เป็นเทราไบต์ (1,012 ไบต์) จากเพตาไบต์ (1,015 ไบต์) ถึงเอ็กซาไบต์ (1,018 ไบต์) IT ) ดังนั้นขอบเขตของฐานข้อมูลแบบเดิมจึงครอบคลุมเพียงหนึ่งหรือหลายฐานข้อมูล และพื้นที่ดังกล่าวควรมีเฉพาะข้อมูลที่มีโครงสร้างเท่านั้น สำหรับ Big Data นั้น ขอบเขตการใช้งานนั้นกว้างขวางด้วยข้อมูลจำนวนมหาศาลที่มีโครงสร้างที่ซับซ้อน จากผลการศึกษาของ CNews Analytics ที่นำเสนอในรูปที่ 1 พบว่าตลาดรัสเซียกำลังเผชิญกับปรากฏการณ์เช่น Big Data ซึ่ง แสดงให้เห็นถึงระดับวุฒิภาวะของบริษัทที่เพิ่มขึ้น บริษัทหลายแห่งเปลี่ยนมาใช้เทคโนโลยี Big Data เนื่องจากปริมาณข้อมูลที่ประมวลผลแล้ว มากกว่า 44% สร้างพื้นที่ได้ประมาณ 100 เทราไบต์ และ 13% มีปริมาณข้อมูลเกิน 500 เทราไบต์

รูปที่ 1. ปริมาณข้อมูลที่ประมวลผลในบริษัทต่างๆ

ปริมาณดังกล่าวไม่สามารถประมวลผลด้วยฐานข้อมูลแบบเดิมได้ ดังนั้นบริษัทดังกล่าวจึงมองเห็นวิธีแก้ปัญหาในการเปลี่ยนมาใช้ Big Data ไม่ใช่แค่การประมวลผลปริมาณมากเท่านั้น แต่ยังเป็นการเพิ่มความสามารถในการแข่งขัน เพิ่มความภักดีของลูกค้าต่อผลิตภัณฑ์ของตน และดึงดูดผลิตภัณฑ์ใหม่ ๆ ลูกค้าที่ใช้งานโซลูชันดังกล่าวมากที่สุด ได้แก่ ธนาคาร โทรคมนาคม และการค้าปลีก โดยเปอร์เซ็นต์จะแสดงอยู่ในรูปที่ 2 จำนวนบริษัทที่ใช้หรือพร้อมใช้บิ๊กดาต้าในภาคการขนส่ง พลังงาน และอุตสาหกรรมจะสังเกตเห็นได้น้อยลง ตัวอย่างแรกของการใช้ข้อมูลขนาดใหญ่ก็ปรากฏในภาครัฐเช่นกัน

รูปที่ 2. โครงสร้างอุตสาหกรรมการใช้ Big Data

สำหรับรัฐบาลตะวันตก การประมาณการต่างๆ ระบุว่าเศรษฐกิจดิจิทัลอยู่ระหว่าง 3% ถึง 21% ของ GDP ของกลุ่มประเทศ G20 ภาครัฐของรัสเซียยังไม่บรรลุผลสำคัญในการทำงานกับข้อมูลขนาดใหญ่ ปัจจุบันในรัสเซีย องค์กรการค้าส่วนใหญ่สนใจเทคโนโลยีดังกล่าว เช่น เครือข่ายค้าปลีก ธนาคาร บริษัทโทรคมนาคม ตามข้อมูลของสมาคมการสื่อสารอิเล็กทรอนิกส์แห่งรัสเซีย ปริมาณเศรษฐกิจดิจิทัลในสหพันธรัฐรัสเซียมีเพียง 1 ล้านล้านเท่านั้น ถู. - ประมาณ 1.5% ของ GDP อย่างไรก็ตาม สหพันธรัฐรัสเซียมีศักยภาพมหาศาลในการเติบโตในระบบเศรษฐกิจดิจิทัล แม้ว่าภาคส่วน Big Data จะมีอยู่ไม่มากนัก แต่ก็มีการประเมินการใช้งานเทคโนโลยีเหล่านี้อย่างมีประสิทธิภาพตามตัวอย่างจริงแล้ว ปัจจุบันธนาคารต่างๆ ประมวลผลข้อมูลโดยเฉลี่ยประมาณ 3.8 เพโตไบต์ โดยใช้เทคโนโลยี Big Data เพื่อบรรลุภารกิจบางอย่าง:  การรวบรวมข้อมูลเกี่ยวกับการใช้บัตรเครดิต  การรวบรวมข้อมูลเกี่ยวกับสินเชื่อ  44% 16% 13% 7% 20%ธนาคารโทรคมนาคมการขายปลีกภาคสาธารณะอื่นๆ การรวบรวมข้อมูลโปรไฟล์ลูกค้า การรวบรวมข้อมูลการออมของลูกค้า ธนาคารอ้างว่าตั้งแต่เริ่มใช้เทคโนโลยีบิ๊กดาต้า พวกเขาสามารถดึงดูดลูกค้าใหม่ มีปฏิสัมพันธ์กับลูกค้าทั้งเก่าและใหม่ได้ดีขึ้น และรักษาความภักดีของพวกเขา ในปี 2015 CNews Analytics ได้ทำการสำรวจธนาคารรัสเซียที่ใหญ่ที่สุดสามสิบแห่งโดยพิจารณาตามสินทรัพย์ทั้งหมด เพื่อค้นหาว่าพวกเขาใช้เทคโนโลยีข้อมูลขนาดใหญ่ใดบ้างและเพื่อวัตถุประสงค์อะไร เมื่อเปรียบเทียบกับการสำรวจในปี 2014 จำนวนธนาคารชั้นนำ 30 แห่งที่รายงานการใช้เทคโนโลยีบิ๊กดาต้าเพิ่มขึ้น แต่การเปลี่ยนแปลงนี้มีแนวโน้มมากกว่าเนื่องจากการเปลี่ยนแปลงองค์ประกอบของ 30 อันดับแรก รูปที่ 3 แสดงการเปรียบเทียบการสำรวจในปี 2558 กับปี 2557 จากการสำรวจโดย A. Kiryanova

ข้าว. 3. การใช้ Big Data โดยธนาคารชั้นนำของรัสเซีย 30 แห่ง

ตามการประมาณการของบริษัท IBS พบว่า 80% ของธนาคารที่ตอบรับเชิงบวกกำลังใช้ Big Data Appliance ซึ่งเป็นระบบซอฟต์แวร์และฮาร์ดแวร์สำหรับจัดเก็บและประมวลผลข้อมูล โซลูชันเหล่านี้มักทำหน้าที่เป็นพื้นที่จัดเก็บข้อมูลเชิงวิเคราะห์หรือธุรกรรม ซึ่งมีข้อได้เปรียบหลักคือประสิทธิภาพสูงเมื่อทำงานกับข้อมูลจำนวนมาก อย่างไรก็ตาม การใช้ข้อมูลขนาดใหญ่ในธนาคารรัสเซียยังอยู่ในช่วงเริ่มต้น สาเหตุของการปรับตัวที่ช้าในรัสเซียนั้นแสดงออกมาจากทัศนคติที่ระมัดระวังของผู้เชี่ยวชาญด้านไอทีของลูกค้าต่อเทคโนโลยีใหม่ พวกเขาไม่มั่นใจว่าเทคโนโลยีข้อมูลขนาดใหญ่จะช่วยแก้ปัญหาได้เต็มที่ แต่สำหรับตลาดอเมริกา ธนาคารต่างๆ ได้สะสมข้อมูลไว้แล้ว 1 เอ็กซาไบต์ ซึ่งเทียบได้กับบันทึก mp3 ถึง 275 พันล้านครั้ง จำนวนแหล่งที่มาของข้อมูลมีมากมาย  การเยี่ยมชมลูกค้าของสำนักงานธนาคาร  บันทึกการโทร  พฤติกรรมของลูกค้าบนเครือข่ายสังคม  ข้อมูลเกี่ยวกับธุรกรรมบัตรเครดิต  และ อื่นๆ การค้าปลีกแบบออฟไลน์ใช้ข้อมูลขนาดใหญ่เพื่อวิเคราะห์พฤติกรรมของลูกค้า ออกแบบเส้นทางรอบๆ พื้นที่ขาย จัดเรียงสินค้าอย่างถูกต้อง วางแผนการซื้อ และเพิ่มยอดขายในท้ายที่สุด ในการค้าปลีกออนไลน์ กลไกการขายนั้นสร้างขึ้นจากข้อมูลขนาดใหญ่: ผู้ใช้จะได้รับผลิตภัณฑ์ตามการซื้อครั้งก่อนและความชอบส่วนบุคคล ข้อมูลที่ถูกรวบรวม เช่น บนโซเชียลเน็ตเวิร์ก ในทั้งสองกรณี การวิเคราะห์ข้อมูลขนาดใหญ่จะช่วยลดต้นทุน เพิ่มความภักดีของลูกค้า และเข้าถึงกลุ่มเป้าหมายได้มากขึ้น ในขณะที่บริษัทต่างๆ พัฒนาศักยภาพในการซื้อขาย ฐานข้อมูลแบบเดิมก็ไม่สามารถตอบสนองความต้องการทางธุรกิจที่กำลังเติบโตได้อีกต่อไป ซึ่งเป็นสาเหตุที่ระบบไม่สามารถให้รายละเอียดที่เพียงพอในการบัญชีการจัดการได้ ด้วยการเปลี่ยนไปใช้ข้อมูลขนาดใหญ่ เทคโนโลยีใหม่ทำให้สามารถเพิ่มประสิทธิภาพการจัดการการกระจายผลิตภัณฑ์ บรรลุความเกี่ยวข้องของข้อมูลและความเร็วในการประมวลผลเพื่อประเมินผลที่ตามมาจากการตัดสินใจของฝ่ายบริหาร และสร้างรายงานด้านการจัดการได้อย่างรวดเร็ว ปริมาณข้อมูลที่สะสมทั้งหมดมากกว่า 100 เอ็กซาไบต์ ในขณะที่ Walmart เพียงอย่างเดียวประมวลผลข้อมูล 2.5 เพตาไบต์ต่อชั่วโมงโดยใช้ข้อมูลขนาดใหญ่ ยิ่งไปกว่านั้น จากการใช้เทคโนโลยี Big Data ความสามารถในการทำกำไรในการดำเนินงานเพิ่มขึ้น 60% และตามสถิติของ Hadoop หลังจากการใช้งาน Big Data ประสิทธิภาพการวิเคราะห์เพิ่มขึ้นในการประมวลผลของอัลกอริทึม 120 และผลกำไรเพิ่มขึ้น 710% แต่ ถ้าเราคำนึงถึงการค้าปลีกในรัสเซีย ก็แสดงว่า Big Data กำลังเริ่มได้รับแรงผลักดัน เนื่องจากช่องว่างในการประมวลผลข้อมูลแตกต่างกันมาก ตัวอย่างเช่น การค้าปลีกออนไลน์น้อยกว่าในประเทศจีนถึง 18 เท่า และการหมุนเวียนข้อมูลทั้งหมดที่ผลิตในการค้าปลีกออนไลน์นั้นน้อยกว่าร้านค้า Amazon แห่งเดียวถึง 4.5 เท่า ในขณะเดียวกัน จำนวนร้านค้าออนไลน์ในรัสเซียที่ใช้ Big Data มีไม่ถึง 4 หมื่นร้าน ในขณะที่ในยุโรปจำนวนร้านค้าดังกล่าวมีมากกว่า 550,000 ร้านค้า สิ่งที่ทำให้ตลาดค้าปลีกของรัสเซียมีลักษณะเฉพาะคือยังคงพัฒนาและยังไม่เกิดขึ้นอย่างสมบูรณ์ ในชีวิตประจำวันของเรา มีการใช้เทคโนโลยี Big Data ซึ่งเรายังคิดไม่ถึงด้วยซ้ำ 15 ล้านเพลงทุกวัน ซึ่งคิดเป็นประมาณ 1.5~2 เพตาไบต์ ได้รับการประมวลผลโดย shazam ซึ่งเป็นบริการเพลงทั่วโลก และ จากนั้นโปรดิวเซอร์เพลงก็ทำนายความนิยมของศิลปิน Big Data ยังใช้ในการประมวลผลข้อมูลเกี่ยวกับบัตรเครดิต เช่น มาสเตอร์การ์ดและวีซ่า ดังนั้น ธุรกรรม 65 พันล้านรายการต่อปีโดยใช้บัตร 1.9 พันล้านใบที่ร้านค้า 32 ล้านรายจึงได้รับการประมวลผลโดยมาสเตอร์การ์ดเพื่อคาดการณ์แนวโน้มการค้า ทุกๆ วัน ผู้คนทั่วโลกโพสต์ข้อมูล 19 เทราไบต์บนโซเชียลเน็ตเวิร์ก เช่น ทวิตเตอร์ และ เฟสบุ๊ค พวกเขาดาวน์โหลดและประมวลผลรูปภาพ เขียน ส่งข้อความ และอื่นๆ โครงสร้างพื้นฐานยังใช้เทคโนโลยี Big Data ตั้งแต่รถรางไปจนถึงเครื่องบินและจรวด ดังนั้นในรถไฟใต้ดินลอนดอน ประตูหมุนจึงบันทึกประมาณ 20 ล้านรอบทุกวัน อันเป็นผลมาจากการวิเคราะห์ที่ดำเนินการบนพื้นฐานของเทคโนโลยี Big Data ทำให้สามารถระบุจุดศูนย์กลางที่เป็นไปได้ 10 แห่ง ซึ่งจะนำมาพิจารณาในการพัฒนาต่อไปของ รถไฟใต้ดิน ไม่ต้องสงสัยเลยว่าความหลากหลายและปริมาณของข้อมูลที่เกิดจากการโต้ตอบทุกประเภทเป็นพื้นฐานที่มีประสิทธิภาพสำหรับธุรกิจในการสร้างและปรับแต่งการคาดการณ์ ระบุรูปแบบ ประเมินประสิทธิภาพ ฯลฯ อย่างไรก็ตาม ทุกสิ่งมีข้อเสียในตัวเองซึ่งจำเป็นต้องพิจารณาอย่างรอบคอบด้วย แม้จะมีข้อดีที่ชัดเจนและมีศักยภาพของการใช้ Big Data แต่การใช้งานก็มีข้อเสียเช่นกัน ซึ่งส่วนใหญ่เกี่ยวข้องกับข้อมูลปริมาณมาก วิธีการเข้าถึงที่แตกต่างกัน และบ่อยครั้งที่ทรัพยากรสนับสนุนการทำงานด้านความปลอดภัยของข้อมูลไม่เพียงพอในองค์กร ปัญหาที่เกี่ยวข้องกับการใช้เทคโนโลยี Big Data แสดงไว้ในรูปที่ 4

ข้าว. 4. ปัญหาการใช้ Big Data

ปัญหาทั้งหมดนี้นำไปสู่การที่บริษัทหลายแห่งระมัดระวังการนำเทคโนโลยีข้อมูลขนาดใหญ่มาใช้ เนื่องจากเมื่อทำงานร่วมกับบุคคลที่สาม พวกเขาเองก็ประสบปัญหาในการเปิดเผยข้อมูลภายในที่บริษัทไม่สามารถเปิดเผยได้โดยใช้ทรัพยากรของตนเองเท่านั้น ในความคิดของฉัน ขั้นตอนที่สำคัญที่สุด บนเส้นทางสู่การนำเทคโนโลยีที่ใช้บิ๊กดาต้าไปประยุกต์ใช้อย่างเต็มรูปแบบ จะต้องมีแง่มุมทางกฎหมาย มีกฎหมายที่จำกัดการรวบรวม การใช้ และการจัดเก็บข้อมูลส่วนบุคคลบางประเภทอยู่แล้ว แต่ไม่ได้จำกัดข้อมูลขนาดใหญ่โดยสิ้นเชิง ดังนั้นจึงต้องมีกฎหมายพิเศษสำหรับเรื่องนี้ เพื่อให้สอดคล้องกับกฎหมายใหม่ที่เปลี่ยนแปลงอย่างรวดเร็ว บริษัทต่างๆ จะต้องจัดทำรายการกฎระเบียบที่เกี่ยวข้องเบื้องต้นและอัปเดตรายการนี้เป็นประจำ อย่างไรก็ตาม แม้จะมีข้อบกพร่องข้างต้นทั้งหมด ตามที่ประสบการณ์ของตัวแทนชาวตะวันตกแสดงให้เห็น เทคโนโลยี Big Data ก็ช่วยได้ เพื่อแก้ปัญหาทั้งงานธุรกิจสมัยใหม่และเพิ่มขีดความสามารถในการแข่งขันและงานที่เกี่ยวข้องกับชีวิตของผู้คนโดยตรง บริษัทรัสเซียกำลังอยู่บนเส้นทางสู่การนำเทคโนโลยี Big Data มาใช้ทั้งในด้านการผลิตและในที่สาธารณะ เนื่องจากปริมาณข้อมูลเพิ่มขึ้นเกือบสองเท่าทุกปี เมื่อเวลาผ่านไป หลายด้านในชีวิตของเราจะเปลี่ยนแปลงไปโดย Big Data

ลิงก์ไปยังแหล่งที่มา 1. BudzkoV I. ระบบความพร้อมใช้งานสูงและ Big Data // Big Data ในเศรษฐกิจแห่งชาติปี 2013 หน้า 1619.2 Korotkova T. “EMC Data Lake 2.0 - วิธีการเปลี่ยนผ่านสู่การวิเคราะห์ Big Data และเศรษฐกิจดิจิทัล” http://bigdata cnews.ru/ News/Line/20151203_EMC_DATA_LAKE_20_POMOZHET_PEREJTI_K_ANALITIKE.3. Kiryanova A. "ข้อมูลขนาดใหญ่ไม่ได้กลายเป็น Maynstam ในธนาคารรัสเซีย" http://www.cnews/top/bolshiev Mejnstrimom.4.cnews “อินโฟกราฟิก: ข้อมูลขนาดใหญ่มาถึงรัสเซีย ” http://bigdata.cnews.ru/articles/infografika_bolshie_dannye_prishli_v_rossiyu.5.CNews “อินโฟกราฟิก: การค้าปลีกใช้ข้อมูลขนาดใหญ่อย่างไร” http://bigdata.cnews.ru/articles/infografika_kak_roznitsa_ispolzuet ไม่มีบทบัญญัติทางกฎหมายพิเศษในโลก เกี่ยวกับ Big Data ข้อมูลควรถูกปกปิดเพื่อปกป้องแหล่งข้อมูลดั้งเดิม บริษัทจะต้องมั่นใจว่าข้อกำหนดด้านความปลอดภัยของข้อมูลทั้งหมดได้รับการตรวจสอบและสนับสนุน การใช้โซลูชัน Big Data อาจส่งผลให้เกิดการสร้างหรือค้นพบข้อมูลที่เป็นความลับก่อนหน้านี้ การจัดการข้อมูล การรักษาข้อกำหนดด้านความปลอดภัยของข้อมูล กฎหมาย การระบุความเสี่ยง 6.CNews "Infographics" : BigData Technologies" http://bigdata.cnews.ru/articles/big_data_v_zhizni_cheloveka.7.CNews"Infographics: Big Data ทำอะไรได้บ้างในธนาคาร" http://bigdata.cnews.ru/ บทความ/infografika_chto_mogut_bolshie_dannye.8.Moscow Exchange " การตรวจสอบเชิงวิเคราะห์ของตลาด BigData" http://habrahabr.ru/company/moex/blog/256747/9 Big Data (BigData) http://www.tadviser.ru/index.php/Article: Big_Data_(Big_Data).10.BigData – ไฟฟ้าแห่งศตวรรษที่ XXI http://bit.samag.ru/archive/article/1463.11.McKinsey Global Institute “ Bigdata: ขอบเขตถัดไปของนวัตกรรม การแข่งขัน และประสิทธิภาพการทำงาน" (มิถุนายน 2554)

เรามักจะเจอคำและคำจำกัดความที่ทันสมัยอยู่เป็นประจำ ซึ่งความหมายดูเหมือนเข้าใจง่ายสำหรับเรา แต่เราไม่มีภาพที่ชัดเจนว่าสิ่งนี้คืออะไรและทำงานอย่างไร

หนึ่งในแนวคิดเหล่านี้คือ Big Data ในภาษารัสเซียบางครั้งคุณสามารถพบคำแปลตามตัวอักษร - "ข้อมูลขนาดใหญ่" แต่บ่อยครั้งที่ผู้คนพูดและเขียนตามที่เป็นอยู่: Big Data ทุกคนคงเคยได้ยินหรือเจอวลีนี้บนอินเทอร์เน็ตและดูเหมือนง่าย แต่ความหมายที่แท้จริงนั้นไม่ชัดเจนสำหรับนักมานุษยวิทยาในสำนักงานซึ่งอยู่ห่างไกลจากความซับซ้อนของโลกดิจิทัล

ความพยายามที่ยอดเยี่ยมในการเติมเต็มช่องว่างนี้ในสมองของผู้ใช้ที่หลากหลายคือบทความของ Bernard Marr นักเขียนคนโปรดคนหนึ่งของเราซึ่งมีชื่อว่า “บิ๊กดาต้าคืออะไร? คำอธิบายง่ายๆ สำหรับทุกคน"- ปราศจากศัพท์เฉพาะที่ลึกซึ้งโดยมีวัตถุประสงค์เพียงเพื่ออธิบายแนวคิดหลักของปรากฏการณ์นี้ให้ทุกคนทราบ โดยไม่คำนึงถึงการศึกษาและสาขากิจกรรม

ในความเป็นจริง ในช่วงไม่กี่ปีที่ผ่านมา เราอาศัยอยู่ในโลกที่เต็มไปด้วย Big Data แต่เรายังคงสับสนในการทำความเข้าใจว่าแท้จริงแล้วคืออะไร ส่วนหนึ่งเป็นเพราะแนวคิดของ Big Data เองก็ได้รับการเปลี่ยนแปลงและคิดใหม่อยู่ตลอดเวลา เนื่องจากโลกของเทคโนโลยีขั้นสูงและการประมวลผลข้อมูลจำนวนมากมีการเปลี่ยนแปลงอย่างรวดเร็ว โดยมีตัวเลือกใหม่ๆ เพิ่มมากขึ้น และปริมาณข้อมูลนี้ก็เพิ่มขึ้นอย่างต่อเนื่อง

Big Data 2017 หมายถึงอะไร?

ทุกอย่างเริ่มต้นจากการเพิ่มจำนวนข้อมูลที่เราสร้างขึ้นตั้งแต่รุ่งอรุณของยุคดิจิทัล สิ่งนี้เกิดขึ้นได้อย่างมากจากการเติบโตของจำนวนและพลังของคอมพิวเตอร์ การขยายตัวของอินเทอร์เน็ต และการพัฒนาเทคโนโลยีที่สามารถรวบรวมข้อมูลจากโลกแห่งความเป็นจริงที่เราทุกคนอาศัยอยู่และแปลงเป็นข้อมูลดิจิทัล

ในปี 2560 เราผลิตข้อมูลเมื่อเราออนไลน์ เมื่อเราใช้สมาร์ทโฟนที่ติดตั้ง GPS เมื่อเราสื่อสารกับเพื่อน ๆ บนโซเชียลเน็ตเวิร์ก เมื่อเราดาวน์โหลด แอปพลิเคชันมือถือหรือเพลงในขณะที่เราช้อปปิ้ง

เราสามารถพูดได้ว่าเราทิ้งรอยทางดิจิทัลไว้เบื้องหลัง ไม่ว่าเราทำอะไรก็ตาม ตราบใดที่การกระทำของเรารวมถึงธุรกรรมดิจิทัลด้วย นั่นคือเกือบตลอดเวลาและทุกที่

นอกจากนี้ ปริมาณข้อมูลที่สร้างโดยเครื่องจักรเองก็เพิ่มขึ้นในอัตรามหาศาล ข้อมูลถูกสร้างขึ้นและถ่ายโอนเมื่ออุปกรณ์อัจฉริยะของเราสื่อสารกัน โรงงานการผลิตทั่วโลกมีอุปกรณ์ที่รวบรวมและส่งข้อมูลทั้งกลางวันและกลางคืน

ในอนาคตอันใกล้นี้ ถนนของเราจะเต็มไปด้วยรถยนต์ที่ขับเคลื่อนด้วยตนเอง สร้างแผนภูมิเส้นทางของตนเองตามแผนที่ 4 มิติที่สร้างขึ้นแบบเรียลไทม์

Big Data ทำอะไรได้บ้าง?

ข้อมูลทางประสาทสัมผัส รูปภาพ ข้อความ เสียงและวิดีโอที่เติบโตอย่างไม่มีที่สิ้นสุดเป็นพื้นฐานของ Big Data ซึ่งเราสามารถนำไปใช้ในรูปแบบที่ไม่อาจจินตนาการได้เมื่อไม่กี่ปีที่ผ่านมา

ปัจจุบัน โครงการที่ใช้ Big Data ช่วย:

- รักษาโรคและป้องกันโรคมะเร็ง- ยาที่ใช้ Big Data จะวิเคราะห์บันทึกทางการแพทย์และรูปภาพจำนวนมหาศาล ซึ่งทำให้สามารถวินิจฉัยโรคได้ตั้งแต่เนิ่นๆ และมีส่วนช่วยในการสร้างสรรค์วิธีการรักษาแบบใหม่

- ต่อสู้กับความหิว- เกษตรกรรมกำลังประสบกับการปฏิวัติ Big Data อย่างแท้จริง ซึ่งทำให้สามารถใช้ทรัพยากรในลักษณะที่จะเพิ่มผลผลิตสูงสุดโดยมีการแทรกแซงน้อยที่สุดในระบบนิเวศ และเพิ่มประสิทธิภาพการใช้เครื่องจักรและอุปกรณ์

- ค้นพบดาวเคราะห์อันห่างไกล- ตัวอย่างเช่น NASA วิเคราะห์ข้อมูลจำนวนมหาศาลและใช้ข้อมูลดังกล่าวเพื่อสร้างแบบจำลองของภารกิจในอนาคตไปยังโลกที่ห่างไกล

- คาดการณ์เหตุฉุกเฉินในลักษณะต่างๆ และลดความเสียหายที่อาจเกิดขึ้น ข้อมูลจากเซ็นเซอร์หลายตัวสามารถคาดเดาได้ว่าแผ่นดินไหวครั้งต่อไปจะเกิดขึ้นที่ไหนและเมื่อใด หรือพฤติกรรมของผู้คนในกรณีฉุกเฉิน ซึ่งช่วยเพิ่มโอกาสรอดชีวิตได้

- ป้องกันอาชญากรรมผ่านการใช้เทคโนโลยีที่ช่วยให้สามารถจัดสรรทรัพยากรได้อย่างมีประสิทธิภาพมากขึ้นและตรงไปยังจุดที่ต้องการมากที่สุด

และสิ่งที่ใกล้เคียงที่สุดสำหรับพวกเราส่วนใหญ่ Big Data ทำให้ชีวิตของคนธรรมดาง่ายขึ้นและสะดวกยิ่งขึ้น ทั้งการช้อปปิ้งออนไลน์ การวางแผนการเดินทาง และการนำทางในมหานคร

เลือก เวลาที่ดีที่สุดการซื้อตั๋วเครื่องบินและตัดสินใจว่าจะดูภาพยนตร์หรือซีรีส์โทรทัศน์เรื่องใดจะง่ายขึ้นมากด้วยการทำงานของ Big Data

มันทำงานอย่างไร?

Big Data ทำงานบนหลักการที่ว่า ยิ่งคุณรู้เกี่ยวกับบางสิ่งบางอย่างมากเท่าไร คุณก็ยิ่งสามารถคาดการณ์สิ่งที่จะเกิดขึ้นในอนาคตได้แม่นยำมากขึ้นเท่านั้น การเปรียบเทียบข้อมูลแต่ละรายการและความสัมพันธ์ระหว่างข้อมูลเหล่านั้น (เรากำลังพูดถึงข้อมูลจำนวนมหาศาลและการเชื่อมต่อที่เป็นไปได้จำนวนมากอย่างไม่น่าเชื่อระหว่างข้อมูลเหล่านั้น) ช่วยให้เราสามารถค้นพบรูปแบบที่ซ่อนอยู่ก่อนหน้านี้ได้ ซึ่งทำให้สามารถตรวจสอบปัญหาภายในได้และเข้าใจในที่สุดว่าเราจะจัดการกระบวนการใดกระบวนการหนึ่งได้อย่างไร

บ่อยครั้งที่กระบวนการประมวลผลข้อมูลจำนวนมากเกี่ยวข้องกับแบบจำลองอาคารตามข้อมูลที่รวบรวมและการจำลองการทำงาน ในระหว่างที่การตั้งค่าคีย์มีการเปลี่ยนแปลงอยู่ตลอดเวลา ในขณะที่แต่ละครั้งระบบจะตรวจสอบว่า "การเปลี่ยนแปลงการตั้งค่า" ส่งผลต่อผลลัพธ์ที่เป็นไปได้อย่างไร

กระบวนการนี้เป็นแบบอัตโนมัติโดยสมบูรณ์ เนื่องจากเรากำลังพูดถึงการวิเคราะห์การจำลองนับล้านครั้งและผ่านทุกขั้นตอน ตัวเลือกที่เป็นไปได้จนกว่าจะพบแบบแผน (แผนที่ต้องการ) หรือจนกระทั่งเกิด "การตรัสรู้" ซึ่งจะช่วยแก้ปัญหาที่ทุกอย่างเริ่มต้นขึ้น

ต่างจากโลกแห่งวัตถุและการคำนวณที่คุ้นเคย ข้อมูลจะได้รับในรูปแบบที่ไม่มีโครงสร้างนั่นคือเป็นการยากที่จะใส่ลงในตารางที่มีเซลล์และคอลัมน์ที่เราคุ้นเคย ข้อมูลจำนวนมหาศาลถูกส่งผ่านเป็นรูปภาพหรือวิดีโอ ตั้งแต่ภาพถ่ายดาวเทียมไปจนถึงภาพเซลฟี่ที่คุณโพสต์บน Instagram หรือ Facebook รวมถึงอีเมลและรายการข้อความโต้ตอบแบบทันทีหรือการโทร

เพื่อให้ความหมายเชิงปฏิบัติแก่กระแสข้อมูลที่หลากหลายและไม่มีที่สิ้นสุดนี้ Big Data มักจะใช้เทคโนโลยีการวิเคราะห์ที่ทันสมัยที่สุด ซึ่งรวมถึง ปัญญาประดิษฐ์และการเรียนรู้ของเครื่อง (นี่คือเวลาที่โปรแกรมบนคอมพิวเตอร์ฝึกโปรแกรมอื่น)

คอมพิวเตอร์เรียนรู้ที่จะกำหนดว่าข้อมูลใดเป็นตัวแทน เช่น การจดจำรูปภาพ ภาษา และสามารถทำได้เร็วกว่ามนุษย์มาก

พี่ใหญ่?

สัดส่วนของโอกาสที่ไม่เคยเกิดขึ้นมาก่อนที่ Big Data มอบให้เราในปัจจุบัน จำนวนข้อกังวลและคำถามที่เกี่ยวข้องกับการใช้งานมีเพิ่มขึ้น

ความหนาแน่นของข้อมูลส่วนบุคคล Big Data รวบรวมข้อมูลจำนวนมหาศาลเกี่ยวกับชีวิตส่วนตัวของเรา มีข้อมูลมากมายที่เราอยากจะเก็บเป็นความลับ

ความปลอดภัย. แม้ว่าเราจะตัดสินใจว่าการถ่ายโอนข้อมูลส่วนบุคคลทั้งหมดของเราไปยังเครื่องเพื่อวัตถุประสงค์เฉพาะที่เป็นประโยชน์ต่อเรานั้นไม่ใช่เรื่องผิด แต่เราจะแน่ใจได้หรือไม่ว่าข้อมูลของเราถูกจัดเก็บไว้ในที่ปลอดภัย
ใครและอย่างไรสามารถรับประกันเรื่องนี้กับเรา?

การเลือกปฏิบัติ เมื่อรู้ทุกอย่างแล้ว เป็นที่ยอมรับหรือไม่ที่จะเลือกปฏิบัติต่อผู้คนโดยพิจารณาจากสิ่งที่รู้เกี่ยวกับพวกเขาด้วย Big Data ธนาคารใช้ประวัติเครดิตของคุณ และบริษัทประกันภัยจะกำหนดราคาประกันภัยรถยนต์ตามสิ่งที่พวกเขารู้เกี่ยวกับคุณ ไกลแค่ไหนนี้สามารถไปได้?

สันนิษฐานได้ว่าเพื่อลดความเสี่ยง บริษัท หน่วยงานภาครัฐ และแม้แต่บุคคลทั่วไปจะใช้สิ่งที่พวกเขาสามารถเรียนรู้เกี่ยวกับเราได้ และด้วยเหตุผลบางประการ เป็นการจำกัดการเข้าถึงทรัพยากรและข้อมูลของเรา

ด้วยประโยชน์ทั้งหมด เราต้องตระหนักว่าข้อกังวลเหล่านี้เป็นส่วนสำคัญของ Big Data เช่นกัน จนกระทั่งเมื่อไม่นานมานี้ นักวิทยาศาสตร์ยังงงงวยกับคำตอบเหล่านี้ แต่ตอนนี้ถึงเวลาแล้วที่กระแสดังกล่าวได้เข้าถึงธุรกิจต่างๆ ที่ต้องการใช้ประโยชน์จาก Big Data เพื่อจุดประสงค์ของตนเอง และอาจเต็มไปด้วยผลที่ตามมาอย่างหายนะ