Big data: ความท้าทาย 'โอกาสล้านล้านดอลลาร์'

สิ่งหนึ่งที่สร้างความประทับใจให้ฉันในการประชุมสุดยอดเทคโนโลยี Bloomberg Enterprise เมื่อวานคือการให้ความสำคัญกับการจัดการข้อมูลด้วยวิธีการใหม่ - กล่าวอีกนัยหนึ่งคือการจัดการกับสิ่งที่เรียกว่า "ข้อมูลขนาดใหญ่"

บทสนทนาบางส่วนเกี่ยวข้องกับคุณค่าของข้อมูลขนาดใหญ่และไม่ว่าจะเป็น "โอกาสล้านล้านดอลลาร์" หรือไม่ในขณะที่คนอื่นจัดการกับความท้าทายเฉพาะแต่ละองค์กรและอุตสาหกรรมโดยรวมในการปรับใช้เทคนิคใหม่ ๆ เหล่านี้อย่างกว้างขวาง

เจอราร์ดฟรานซิสหัวหน้าฝ่ายโซลูชั่นองค์กรระดับโลกของบลูมเบิร์ก Bloomberg LP เริ่มต้นวันโดยแนะนำว่าสิ่งที่สำคัญที่สุดที่ บริษัท สามารถทำได้คือ "ใช้ประโยชน์จากมูลค่าของข้อมูลโดยใช้มัน" และมุ่งเน้นไปที่การเข้าถึงคุณภาพและการไหลของ ข้อมูลภายในองค์กร ในแผงควบคุมที่ตามมามีการพูดคุยมากมายเกี่ยวกับเครื่องมือใหม่ที่จัดการกับข้อมูลรวมถึงปัญหาเฉพาะในการจัดเก็บการจัดการและการค้นหาผู้คนเพื่อจัดการกับข้อมูล

ในแผงทั่วไปเกี่ยวกับแนวโน้มขององค์กร Dwight Merriman ประธานและผู้ร่วมก่อตั้ง MongoDB กล่าวว่าชั้นข้อมูลของแอพพลิเคชั่นแทร็กกำลังมี "การหยุดชะงักและการเปลี่ยนแปลงที่ใหญ่ที่สุดที่เราเคยเห็นใน 25 ปี" เขากล่าวว่า บริษัท ต่างๆใช้ฐานข้อมูลเชิงสัมพันธ์เป็นเวลา 25 ปีขึ้นไปทำให้เป็นเทคโนโลยีที่เก่าแก่ที่สุดในกองซ้อน แต่ตอนนี้มีสิ่งต่าง ๆ เกิดขึ้นกับที่จัดเก็บไฟล์เช่น Hadoop และเทคโนโลยีฐานข้อมูลใหม่ซึ่งมักจะจัดกลุ่มเป็น "NoSQL" เขาชี้ให้เห็นว่า Big Data ไม่ได้เกี่ยวกับ "ใหญ่" แต่เกี่ยวกับรูปร่างของข้อมูลประเภทของข้อมูลและการย้ายไปสู่การจัดการกับข้อมูลตามเวลาจริง

เบนจามินฟรายหัวหน้าฝ่าย Google ของ Google ยอมรับว่าองค์กรส่วนใหญ่ไม่มีปัญหา "ข้อมูลขนาดใหญ่" ชุดข้อมูลจำนวนมาก - ด้วยสิ่งต่าง ๆ เช่นข้อมูลทรัพยากรบุคคลและข้อมูลทางการเงิน - ไม่ใช่เรื่องใหญ่อะไรเขากล่าว สิ่งสำคัญคือความยืดหยุ่นที่คุณต้องใช้ในการจัดการข้อมูลอย่างถูกต้อง

Big Data คืออะไร

Gary Bloom ของ MarkLogic, Mark Bregman ของ Neustar, Mark Palmer ของ Streambase และ Vipul Nagrath แห่ง Bloomberg

แนวคิดนั้น - ความยืดหยุ่นนั้นมีความสำคัญเท่ากับขนาดของข้อมูล - ถูกสะท้อนในอีกพาเนลในวันต่อมา ผู้เข้าร่วมประชุมเห็นพ้องกันว่า บริษัท ต่างๆกำลังเผชิญกับการใช้งานข้อมูลที่หนักหน่วงมาเป็นเวลานาน แต่เมื่อไม่นานมานี้ ตัวอย่างเช่น Mark F. Bregman รองประธานอาวุโสและประธานเจ้าหน้าที่ฝ่ายเทคโนโลยีของ Neustar กล่าวว่าขณะนี้บาง บริษัท กำลัง "เก็บทุกอย่าง" โดยหวังว่าจะเป็นสิ่งที่มีค่า

"ความหมายที่ยิ่งใหญ่ยิ่งมีความซับซ้อนยิ่งขึ้น" แกรี่บลูมซีอีโอและประธานของ MarkLogic กล่าว เขาตั้งข้อสังเกตว่าแอปพลิเคชัน "ข้อมูลขนาดใหญ่" จำนวนมากที่เกี่ยวข้องกับข้อมูลประเภทต่าง ๆ มากมาย แต่ไม่ใช่ปริมาณที่คุณได้ยินในแอปพลิเคชัน "ข้อมูลขนาดใหญ่"

เขาอ้างตัวอย่างการจราจรทางอากาศที่รวมข้อมูลสภาพอากาศข้อมูลสนามบินข้อมูลเชิงพื้นที่ข้อมูลเที่ยวบินข้อมูลการจองสายการบินและข้อมูลโซเชียล เขาตั้งข้อสังเกตว่าการจัดการกับข้อมูลที่แตกต่างนั้นยากที่จะทำกับฐานข้อมูลเชิงสัมพันธ์แบบดั้งเดิมสะท้อนความเห็นก่อนหน้านี้จาก Merriman ของ MongoDB ว่านี่เป็น "การเปลี่ยนแปลงเชิงกำเนิดครั้งแรกในฐานข้อมูลใน 25 ปี" เนื่องจากเราย้ายจากเมนเฟรมไปสู่ยุคของฐานข้อมูลเชิงสัมพันธ์

เขาตั้งข้อสังเกตว่าหลายคนพูดคุยเกี่ยวกับข้อมูลโซเชียลมีเดีย แต่จำเป็นต้องรวมกับข้อมูลอื่น ๆ เพื่อให้มีบางสิ่งที่คุณสามารถใช้ประโยชน์ได้จริง ๆ การรวมข้อมูลนี้คือ "มูลค่าที่แท้จริง"

แน่นอนว่าบางแอปพลิเคชั่นเกี่ยวข้องกับข้อมูลจำนวนมากโดย Bregman กล่าวว่าความหลากหลายเป็นเพียงปัจจัยเดียวเท่านั้น เขาอ้างถึงข้อมูล DNS ซึ่งสามารถสร้างข้อมูล 8TB ต่อวันได้อย่างง่ายดายและจำเป็นต้องจัดเก็บสิ่งต่าง ๆ ใน Hadoop Bregman และคนอื่น ๆ ตั้งข้อสังเกตว่าเมื่อพูดถึง "การใช้อักษรตัวพิมพ์ใหญ่ข้อมูล" คุณค่าที่แท้จริงไม่ได้อยู่ในข้อมูลดิบ แต่อยู่ในการวิเคราะห์เมื่อมันกลายเป็นสิ่งที่คุณสามารถใช้ได้ คนอื่น ๆ ในแผงเห็นด้วย

Mark Palmer ซีอีโอของ Streambase กล่าวว่าการรวมข้อมูลจำนวนมากเข้ากับการวิเคราะห์สตรีมมิ่งเป็นเรื่องสำคัญในหลาย ๆ แอปพลิเคชัน และพูดคุยเกี่ยวกับคุณค่าพิเศษที่สามารถสร้างขึ้นได้โดยการรวมการวิเคราะห์แบบดั้งเดิมและแบบเรียลไทม์

แต่เขาเห็นด้วยว่าความซับซ้อนของข้อมูลเป็นปัญหา เขาอ้างว่า Vivek Ranadivéผู้บริหาร Tibco (ซึ่งปัจจุบันเป็นเจ้าของ Streambase) ซื้อทีมบาสเก็ตบอลเพื่อหาว่าเทคโนโลยีสามารถปรับปรุงประสบการณ์ของแฟน ๆ ได้อย่างไร เขาพูดคุยกันอีกครั้งเกี่ยวกับ "การแมปข้อมูลประเภทต่าง ๆ " เริ่มจากสตรีม Twitter แต่ยังใช้ประโยชน์จากข้อมูลประเภทอื่น

Bloom กล่าวว่าทุกอย่างขึ้นอยู่กับแอปพลิเคชันโดยกล่าวว่า "ความหน่วงแฝงอยู่ในสายตาของผู้ดู" แอพพลิเคชั่นบางตัวจำเป็นต้องแยกวิเคราะห์ข้อมูลบน wire ก่อนที่มันจะกระทบฐานข้อมูล

Bregman นำเสนอปัญหาที่ว่าแทนที่จะเป็นการยากที่จะย้ายทรัพยากรการคำนวณตอนนี้การย้ายข้อมูลทำได้ยากขึ้นมาก เขากล่าวว่าสำหรับหลาย ๆ แอปพลิเคชัน "การล็อคอิน" คือตำแหน่งของข้อมูล เมื่อคุณจัดเก็บข้อมูลของคุณในระบบคลาวด์สาธารณะจะเป็นการยากที่จะย้ายข้อมูล ด้วยเหตุนี้เขากล่าวว่าหลายองค์กรต้องการจัดเก็บข้อมูลจำนวนมากในสถานที่ของตนเองจากนั้นสามารถย้ายไปยังผู้ให้บริการที่แตกต่างกันสำหรับการคำนวณการทำงาน ยืมคำจาก Bloom's MarkLogic เขาพูดคุยเกี่ยวกับวิธีที่องค์กรอาจต้องการ "ศูนย์ข้อมูลเป็นศูนย์กลางข้อมูล" เป็นสถานที่ที่คุณเก็บข้อมูลจำนวนมาก

Big Data เป็น 'โอกาสล้านล้านดอลลาร์หรือไม่'

Porter Bibb จาก MediaTech Capital Partners, Doug Cutting ของ Cloudera, Gaurav Dhillon ของ Snaplogic และ Jason Kelly ของ Bloomberg Link

อีกกลุ่มกล่าวถึงโอกาสและความท้าทายจากข้อมูลขนาดใหญ่ซึ่งสะท้อนความเห็นจาก Porter Bibb หุ้นส่วนผู้จัดการของ MediaTech Capital Partners Bibb กล่าวว่ามีประโยชน์มากกว่าหนึ่งล้านล้านดอลลาร์สำหรับ บริษัท ที่ใช้เทคนิคใหม่ จนถึงปัจจุบันเขากล่าวว่าเรา "ยังไม่ได้เริ่มแตะศักยภาพที่เทคโนโลยีนี้มีให้"

Bibb พูดถึงความสำคัญขององค์กรในการจัดวางกลยุทธ์ข้อมูลกับกลยุทธ์ทางธุรกิจและเป็นห่วงว่าระบบขององค์กรและรัฐบาลส่วนใหญ่ไม่ถูกต้อง

ในช่วงแรกนั้น Scott Weiss จาก Andreessen Horowitz กล่าวว่า "Hadoop เป็นเหมือนการเก็บรักษาอุณหภูมิ" ดังนั้นผู้ดำเนินรายการ Jason Kelly จาก Bloomberg Link จึงถาม Cloudera หัวหน้าสถาปนิก Doug Cutting ผู้เป็นหนึ่งในผู้สร้าง Hadoop ในตอนแรก ที่.

การตัดกล่าวว่า Hadoop อนุญาตให้ผู้คนทำงานกับข้อมูลมากขึ้น เขากล่าวว่าองค์กรต่างๆกำลังดึงข้อมูลออกจากเทปแทนที่จะทำให้เป็นออนไลน์และใช้งานได้ ลูกค้ากำลังย้ายจากการทำงานกับข้อมูล 90 วันไปเป็นข้อมูลห้าหรือ 10 ปีใน "คลังข้อมูลที่ใช้งานอยู่"

จำนวนปัญหาเฉพาะของการจัดการกับข้อมูลทั้งหมดนี้เกิดขึ้นอีกครั้งในแผงนี้ Gaurav Dhillon ซีอีโอ Snaplogic พูดคุยเกี่ยวกับ "data gravity" ว่ามันไม่สมเหตุสมผลเลยที่จะนำข้อมูลที่อยู่ในสถานที่ใน Hadoop และย้ายไปยังระบบคลาวด์ แต่ในเวลาเดียวกันหากมีข้อมูลในระบบคลาวด์เช่นการวิเคราะห์การคลิกกระแสก็ไม่สมเหตุสมผลเลยที่จะย้ายไปที่สถานที่นั้น เขากล่าวว่าเขาเห็น "โอกาสข้ามพรมแดน" น้อยมากในการเคลื่อนย้ายข้อมูล

การตัดกล่าวว่าเขาไม่เชื่อว่ามีนักวิทยาศาสตร์ด้านข้อมูลขาดแคลน เขากล่าวว่ามีผู้คนมากมายที่เข้าใจคณิตศาสตร์และธุรกิจ แต่พวกเขาไม่มีเครื่องมือ คุณสามารถเรียนรู้พื้นฐานของเครื่องมือและสิ่งที่พวกเขาทำในสองสามสัปดาห์เขากล่าว แต่การทำความเข้าใจธุรกิจของคุณใช้เวลาหลายปี แต่มีคนจำนวนมากที่เข้าใจสิ่งนั้น

Dhillon ยังสะท้อนถึงข้อกังวลเกี่ยวกับกฎหมายที่เกี่ยวข้องกับข้อมูลที่สามารถจัดเก็บได้ในที่ใด เขากล่าวว่าตลาดแนวดิ่งบางแห่งจำเป็นต้องจัดเก็บข้อมูลในสถานที่ แต่ก็กังวลเกี่ยวกับสิ่งต่าง ๆ เช่นความต้องการที่จะไม่ย้ายข้อมูลออกจากประเทศต้นทาง สิ่งนี้เป็นสิ่งที่เกินความจริงสำหรับสิ่งต่างๆเช่นการเปิดเผยของสโนว์เดนและการละเมิดข้อมูลเขากล่าวว่า "ความเร่งรีบในการออกกฎหมายไม่เคยดีเลย"

ถามว่าเขากังวลว่าการละเมิด Snowden และ Target ทำให้ลูกค้ากลัวข้อมูลหรือไม่การตัดกล่าวว่าเขาเป็นห่วงว่ามีคนจำนวนมากกังวล ผู้คนจำนวนมากกลัวด้วยเทคโนโลยีเขากล่าวและมันเป็นความล้มเหลวของอุตสาหกรรมที่จะทำให้ลูกค้าสบายใจในความคิดที่ว่าข้อมูลของพวกเขาไม่ได้ถูกใช้งาน “ คุณไม่ต้องน่าขนลุก” เขากล่าว

ในตอนท้ายมีการพูดคุยกันมากมายเกี่ยวกับการประเมินมูลค่าโดย Bibb ชี้ให้เห็นว่าการลงทุนของ Intel ใน Cloudera เมื่อเร็ว ๆ นี้เป็นเรื่องที่ "ยิ่งใหญ่" เนื่องจากเป็นการตรวจสอบสิ่งที่ บริษัท กำลังทำอยู่ เขากล่าวว่า บริษัท ขนาดใหญ่อื่น ๆ เช่น Oracle, IBM, Microsoft และ Amazon ต่างก็วนเวียนอยู่กับ บริษัท วิเคราะห์ที่คาดการณ์ "ยุคตื่นทองกำลังจะเริ่มขึ้น"

Dhillon กล่าวว่าการประเมินมูลค่าสะท้อนให้เห็นถึงสิ่งที่ บริษัท ประปานำไปสู่ตลาดข้อมูลขนาดใหญ่ เขาบอกว่าเขามีความสุขที่ได้เห็นคน "เลือกและพลั่ว" ได้รับการประเมินมูลค่าที่ดี แต่เขาบอกว่าเขามีความกลัวเล็กน้อยว่าการประเมินมูลค่ากำลังก้าวไปข้างหน้าของตลาด

Bibb กล่าวว่าเขาคิดว่าข้อมูลขนาดใหญ่อาจถูก overexposed ในสื่อ แต่ก็เปิดรับแสงน้อยเกินไปใน "c-suite" (หมายถึง CEO, CFO และผู้บริหารระดับสูงอื่น ๆ ) เขากล่าวว่ามันมีศักยภาพทางเศรษฐกิจขนาดใหญ่ที่ยังไม่ถูกค้นพบ ."