วิธีจิ๊กซอว์ของ google พยายามที่จะล้างพิษอินเทอร์เน็ต

อินเทอร์เน็ตสามารถรู้สึกเหมือนเป็นพิษ โทรลล์สืบเชื้อสายมาจากส่วนแสดงความคิดเห็นและหัวข้อโซเชียลมีเดียเพื่อเหวี่ยงคำพูดและการคุกคามซึ่งทำให้เกิดการสนทนาที่กระจ่างแจ้งในการโจมตีโฆษณาและกลุ่มกอง การแสดงความคิดเห็นออนไลน์มักจะดูเหมือนไม่คุ้มกับกรดกำมะถันที่เกิดขึ้น

แพลตฟอร์มโซเชียลขนาดใหญ่รวมถึง Facebook, Twitter และ YouTube ยอมรับว่าพวกเขาไม่สามารถติดตามปัญหาเหล่านี้ได้อย่างเพียงพอ พวกเขากำลังแข่งกับบ็อตหมุนรอบและไม่พึงประสงค์อื่น ๆ ทุกคนที่ลื่นผ่านตัวกรองเนื้อหา มนุษย์ไม่สามารถอ่านทุกความคิดเห็นบนเว็บได้ ผู้ที่พยายามเสียใจมันบ่อยๆ

ยักษ์ใหญ่ด้านเทคโนโลยีได้ทดลองกับการผสมระหว่างความหลากหลายของมนุษย์อัลกอริธึม AI และตัวกรองเพื่อลุยน้ำท่วมเนื้อหาที่ไหลผ่านฟีดในแต่ละวัน ตัวต่อกำลังพยายามหาพื้นตรงกลาง บริษัท ในเครือ Alphabet และศูนย์บ่มเพาะเทคโนโลยีซึ่งก่อนหน้านี้รู้จักกันในชื่อ Google Ideas นั้นเริ่มพิสูจน์ให้เห็นแล้วว่าการเรียนรู้ด้วยเครื่อง (ML) กลายเป็นเครื่องมือสำหรับผู้ดูแลมนุษย์สามารถเปลี่ยนวิธีที่เราแก้ไขปัญหาความเป็นพิษของอินเทอร์เน็ต

เปอร์สเปคทีฟคือ API ที่พัฒนาโดย Jigsaw และทีมงาน Counter Abuse Technology ของ Google ใช้ ML เพื่อตรวจจับการล่วงละเมิดและการล่วงละเมิดทางออนไลน์และให้คะแนนความคิดเห็นตามผลกระทบที่รับรู้ที่อาจมีต่อการสนทนาในการเสนอราคาเพื่อให้ชีวิตผู้ดูแลของมนุษย์ง่ายขึ้น

มุมมองท่ามกลางการแข่งขันตะโกน

เทคโนโลยีโอเพ่นซอร์สได้รับการประกาศครั้งแรกในปี 2560 แม้ว่าการพัฒนาจะเริ่มขึ้นเมื่อไม่กี่ปีก่อน บางเว็บไซต์แรกที่ต้องทำการทดลองกับ Perspective นั้นเป็นสิ่งพิมพ์ข่าวเช่น The New York Times และไซต์ต่าง ๆ เช่น Wikipedia แต่เมื่อเร็ว ๆ นี้มุมมองได้พบบ้านในเว็บไซต์เช่น Reddit และแพลตฟอร์มแสดงความคิดเห็น Disqus (ซึ่งใช้ใน PCMag.com)

CJ Adams ผู้จัดการผลิตภัณฑ์สำหรับเปอร์สเปคทีฟกล่าวว่าโครงการต้องการตรวจสอบว่าเสียงของผู้คนเงียบงันในโลกออนไลน์อย่างไร จิ๊กซอว์ต้องการสำรวจว่าการละเมิดเป้าหมายหรือบรรยากาศการคุกคามโดยทั่วไปสามารถสร้างเอฟเฟกต์หนาวเหน็บทำให้ผู้คนรู้สึกท้อแท้จนถึงจุดที่พวกเขารู้สึกว่ามันไม่คุ้มค่ากับเวลาหรือพลังงานในการเพิ่มเสียงให้กับการสนทนา บ่อยครั้งที่คุณเห็นทวีตโพสต์หรือแสดงความคิดเห็นและเลือกที่จะไม่ตอบเพราะต่อสู้กับโทรลล์และการได้รับ Mad Online ไม่คุ้มค่ากับการทำให้รุนแรงขึ้น?

"มันง่ายมากที่จะทำลายการสนทนาออนไลน์" อดัมส์กล่าว "มันง่ายที่จะกระโดดเข้าไป แต่คนคนหนึ่งที่มีความหมายหรือพิษสามารถขับเสียงอื่น ๆ ออกมาบางทีคน 100 คนอ่านบทความหรือเริ่มถกเถียงกันและบ่อยครั้งที่คุณจบลงด้วยเสียงที่ดังที่สุดในห้อง ในอินเทอร์เน็ตที่ได้รับการปรับให้เหมาะกับการชอบและการแชร์ดังนั้นคุณจะเงียบเสียงเหล่านี้ทั้งหมดแล้วสิ่งที่กำหนดการอภิปรายเป็นเพียงเสียงที่ดังที่สุดในห้อง - การแข่งขันตะโกน "

จิ๊กซอว์และ Google

Google เป็น บริษัท คร่าวๆที่ได้รับผลกระทบจากปัญหาด้านความปลอดภัยของข้อมูลและการผลักดันให้พนักงานมีส่วนร่วมในโครงการเพนตากอนและจีนรวมถึงการเปิดเผยเรื่องการล่วงละเมิดทางเพศ ไม่ต้องพูดถึงการพิจารณาคดีในสภาคองเกรสที่ซุนดาร์พิชัยซีอีโอถูกฝ่ายนิติบัญญัติย่าง

เมื่อถึงตัวต่อจิ๊กซอว์ศูนย์บ่มเพาะความเห็นแก่ผู้อื่นของตัวอักษรสิ่งต่าง ๆ น่าทึ่งน้อยกว่าเล็กน้อย ทีมใช้เวลาตรวจสอบรูปแบบทางเทคนิคของการเซ็นเซอร์เช่น DNS เป็นพิษด้วยแอป Intra และ DDoS โจมตีด้วย Project Shield ด้วยมุมมองเป้าหมายที่เป็นนามธรรมมากขึ้น แทนที่จะใช้การเรียนรู้ของเครื่องเพื่อตรวจสอบว่าอะไรคืออะไรหรือไม่ขัดกับกฎที่กำหนดความท้าทายของเปอร์สเปคทีฟคือความคิดเห็นเชิงอัตวิสัยอย่างเข้มข้น: การจำแนกผลกระทบทางอารมณ์ของภาษา

ในการทำเช่นนั้นคุณต้องใช้การประมวลผลภาษาธรรมชาติ (NLP) ซึ่งแบ่งประโยคเพื่อให้เห็นรูปแบบ ทีมมุมมองกำลังเผชิญปัญหาเช่นอคติยืนยันการคิดแบบกลุ่มและพฤติกรรมการก่อกวนในสภาพแวดล้อมที่เทคโนโลยีได้ขยายขอบเขตการเข้าถึงและทำให้พวกเขาแก้ไขได้ยากขึ้น



AI คือ 'ผิดและโง่ในบางครั้ง'

การปรับปรุงการสนทนาออนไลน์ด้วยการเรียนรู้ของเครื่องไม่ใช่เรื่องง่าย มันยังคงเป็นสาขาการวิจัยที่เกิดขึ้นใหม่ อัลกอริทึมสามารถลำเอียง, ระบบการเรียนรู้ของเครื่องต้องมีการปรับแต่งไม่มีที่สิ้นสุดและปัญหาที่ยากที่สุดและสำคัญที่สุดยังไม่ได้สำรวจส่วนใหญ่

กลุ่มการวิจัยการสนทนา AI ซึ่งสร้างมุมมองเริ่มต้นจากการประชุมกับหนังสือพิมพ์ผู้จัดพิมพ์และไซต์อื่น ๆ ที่โฮสต์การสนทนา เว็บไซต์แรก ๆ ที่ให้ทดลองใช้เทคโนโลยี ได้แก่ The New York Times, Wikipedia, The Guardian และ The Economist

ในปี 2560 ทีมเปิดการสาธิตมุมมองเริ่มต้นผ่านทางเว็บไซต์สาธารณะซึ่งเป็นส่วนหนึ่งของการทดสอบอัลฟ่าทำให้ผู้คนจำนวนมากแสดงความคิดเห็นที่เลวทรามต่ำช้าลงในเว็บไซต์ มันก็เหมือนกับการทดลองของไมโครซอฟท์ที่ล้มเหลวในการทดลอง Tay chatbot ของไมโครซอฟท์ยกเว้นแทนที่จะหลอกล่อบอตให้ตอบทวีตของชนชั้นเหยียดตัวจิ๊กซอว์ใช้ความรุนแรงของฝูงชนเป็นข้อมูลการฝึกอบรมในการป้อนข้อมูลโมเดล

การทดสอบสาธารณะครั้งแรกไม่ได้ราบรื่น สายของ "Trolls ทั่วอเมริกา" ซึ่งทำลายความเป็นพิษในการแสดงความคิดเห็นทั่วประเทศจากการให้คะแนนมุมมองแสดงให้เห็นว่าอัลกอริทึมโดยไม่ได้ตั้งใจแยกแยะกับกลุ่มโดยเชื้อชาติเอกลักษณ์ทางเพศหรือรสนิยมทางเพศ

อดัมส์เป็นคนตรงไปตรงมาเกี่ยวกับความจริงที่ว่าการทดสอบครั้งแรกของเปอร์สเปคทีฟเผยจุดบอดที่สำคัญและความลำเอียงอัลกอริทึม เช่นเดียวกับเครื่องมือการสรรหาของ Amazon ที่ถูกทิ้งซึ่งฝึกอบรมข้อมูลงานที่มีข้อบกพร่องมาหลายสิบปีและพัฒนาอคติโดยสมัครใจต่อผู้สมัครหญิงโมเดลมุมมองเริ่มต้นมีข้อบกพร่องที่เห็นได้ชัดเนื่องจากข้อมูลที่ผ่านการฝึกอบรม

"ในตัวอย่างของกลุ่มเป้าหมายบ่อย ๆ ถ้าคุณดูการกระจายข้ามความคิดเห็นในชุดข้อมูลการฝึกอบรมมีความคิดเห็นจำนวนเล็กน้อยที่หายไปซึ่งรวมคำว่า 'เกย์' หรือ 'สตรีนิยม' และใช้มันในเชิงบวก วิธี "อดัมส์อธิบาย "ความคิดเห็นที่ไม่เหมาะสมใช้คำว่า insults ดังนั้น ML ที่มองไปที่รูปแบบจะพูดว่า" เฮ้การปรากฏตัวของคำนี้เป็นตัวทำนายที่ดีว่าความเชื่อมั่นนี้เป็นพิษหรือไม่ "

ตัวอย่างเช่นอัลกอริทึมอัลฟาอาจมีข้อความที่ผิดพลาดเช่น "ฉันเป็นเกย์ที่น่าภาคภูมิใจ" หรือ "ฉันเป็นสตรีนิยมและผู้ข้ามเพศ" ที่มีคะแนนความเป็นพิษสูง แต่กระบวนการฝึกอบรมที่โปร่งใสต่อสาธารณชน - ในขณะที่เจ็บปวด - เป็นบทเรียนที่ทรงคุณค่าสำหรับจิ๊กซอว์เนื่องจากผลของอคติที่ไม่ได้ตั้งใจ "อดัมส์กล่าว

เมื่อฝึกอบรมรูปแบบการเรียนรู้ของเครื่องจักรเกี่ยวกับบางสิ่งที่น่าวิตกและเป็นส่วนตัวเกี่ยวกับการละเมิดและการล่วงละเมิดทางออนไลน์การมีอคติของอัลกอริทึมก็ตอกย้ำว่าทำไม AI เพียงอย่างเดียวจึงไม่ใช่ทางออก บริษัท โซเชียลเช่น Facebook และ YouTube ต่างก็ปรับเปลี่ยนคุณสมบัติการปรับแต่งเนื้อหา AI ของแพลตฟอร์มของพวกเขาเฉพาะในการย้อนรอยท่ามกลางเรื่องอื้อฉาวและการแก้ไขแน่นอนโดยการจ้างผู้ดูแลคนนับพัน

จิ๊กซอว์ของแทคเป็นลูกผสมของทั้งสอง มุมมองไม่ใช่อัลกอริธึม AI ในการตัดสินใจในสุญญากาศ API ถูกรวมเข้ากับการจัดการชุมชนและส่วนต่อประสานเนื้อหาเพื่อทำหน้าที่เป็นเครื่องมือช่วยเหลือสำหรับผู้ดูแลมนุษย์ วิศวกรที่มีมุมมองอธิบายการกลั่นกรองคำพูดแสดงความเกลียดชังที่มีและไม่มี ML โดยใช้การเปรียบเทียบแบบกองหญ้า: AI ช่วยโดยอัตโนมัติในกระบวนการคัดแยกส่งเสียงกองหญ้าขนาดใหญ่ลงไปในขณะที่ยังให้มนุษย์พูดสุดท้ายว่า

“ นี่เป็นขีดความสามารถใหม่ของ ML” อดัมส์กล่าว “ ผู้คนพูดกันว่า AI ฉลาดแค่ไหน แต่บ่อยครั้งที่พวกเขาไม่ได้พูดถึงวิธีที่ผิดและเป็นใบ้ในบางครั้งตั้งแต่เริ่มต้นเรารู้ว่านี่จะทำให้เกิดข้อผิดพลาดมากมายดังนั้นเราจึงพูดว่า 'นี่ เครื่องมือมีประโยชน์สำหรับการกลั่นกรองมนุษย์โดยใช้เครื่องจักร แต่ยังไม่พร้อมที่จะทำการตัดสินใจอัตโนมัติ ' แต่อาจใช้ปัญหา 'เข็มในกองหญ้า' เพื่อค้นหาคำพูดที่เป็นพิษนี้และทำให้มันกลายเป็นหญ้าแห้งจำนวนหนึ่ง”



คะแนนความเป็นพิษคืออะไร?

แง่มุมที่แตกต่างกันมากที่สุดของการสร้างแบบจำลองของเปอร์สเปคทีฟคือการใส่ตัวเลขลงในตัวแปรที่เป็นอัตนัยว่า "ความเป็นพิษ" สิ่งแรกที่อดัมส์ชี้ให้เห็นคือคะแนนของเปอร์สเปคทีฟเป็นการบ่งชี้ความน่าจะเป็นไม่ใช่ความรุนแรง ตัวเลขที่สูงขึ้นแสดงถึงความเป็นไปได้ที่รูปแบบในข้อความจะคล้ายกับรูปแบบในความคิดเห็นที่ผู้คนติดแท็กว่าเป็นพิษ

สำหรับสิ่งที่ "พิษ" หมายถึงอะไรจริง ๆ ทีมมุมมองกำหนดอย่างกว้าง ๆ ว่า "ความคิดเห็นที่หยาบคายไม่สุภาพหรือไร้เหตุผลที่น่าจะทำให้คุณออกจากการสนทนา" แต่วิธีการที่สามารถแสดงออกได้ ในปี 2561 จิ๊กซอว์ได้ร่วมมือกับห้องปฏิบัติการปัญญาประดิษฐ์โรดส์ (RAIL) เพื่อพัฒนาแบบจำลอง ML ที่สามารถเลือกรูปแบบที่คลุมเครือมากขึ้นของการข่มขู่หรือคำพูดแสดงความเกลียดชังเช่นความคิดเห็นที่น่ารังเกียจ

จนถึงจุดนี้โมเดลของเปอร์สเปคทีฟส่วนใหญ่ได้รับการฝึกฝนโดยการขอให้ผู้คนให้คะแนนความเห็นทางอินเทอร์เน็ตในระดับ "เป็นพิษมาก" ถึง "ดีต่อสุขภาพ" นักพัฒนาสามารถปรับรูปแบบเพื่อตั้งค่าสถานะความคิดเห็นเหนือขีด จำกัด ที่แน่นอนจาก 0.0 ถึง 1.0 คะแนนที่สูงกว่า 0.9 แสดงว่ามีความเป็นไปได้สูงที่จะมีพิษและคะแนนที่ 0.5 หรือต่ำกว่าหมายถึงความมั่นใจในระดับอัลกอริทึมที่ต่ำกว่ามาก เปอร์สเปคทีฟยังใช้สิ่งที่เรียกว่าการทำให้เป็นมาตรฐานของคะแนนซึ่งทำให้นักพัฒนามีพื้นฐานที่สอดคล้องกันเพื่อใช้ในการตีความคะแนน Adams อธิบายว่าขึ้นอยู่กับฟอรั่มหรือเว็บไซต์นักพัฒนาสามารถผสมและจับคู่โมเดล ดังนั้นเมื่อชุมชนไม่รังเกียจความหยาบคายแอตทริบิวต์นั้นสามารถถูกลดทอนลงได้

อดัมส์แสดงให้ฉันเห็นอินเทอร์เฟซการควบคุมการสาธิตที่รวมเข้ากับ Perspective API ในแผงการดูแลระบบถัดจากตัวเลือกเพื่อเรียงลำดับความคิดเห็นตามด้านบนใหม่ล่าสุดและอื่น ๆ เป็นไอคอนรูปธงขนาดเล็กเพื่อเรียงลำดับตามความเป็นพิษ นอกจากนี้ยังมีกลไกการตอบรับในตัวสำหรับผู้ดำเนินการคนเพื่อบอกมุมมองว่ามีการให้คะแนนความคิดเห็นอย่างไม่ถูกต้องและปรับปรุงแบบจำลองเมื่อเวลาผ่านไป

เขาคลิกผ่านอินเทอร์เฟซตัวอย่างเพื่อกลั่นกรองความคิดเห็นในหน้าพูดคุยของวิกิพีเดียที่ทำคะแนนโดยโมเดลเปอร์สเปคทีฟที่แตกต่างกันและกราฟฮิสโตแกรมแสดงความคิดเห็นที่น่าจะเป็นการโจมตีผู้เขียนหน้าเว็บ

“ เราต้องการสร้างเครื่องมือการตรวจสอบโดยใช้เครื่องช่วยในการติดธงสิ่งต่าง ๆ เพื่อให้มนุษย์ตรวจสอบ แต่เราไม่ต้องการคำจำกัดความจากศูนย์กลางหรือบางคนบอกว่าอะไรดีและไม่ดี” อดัมส์กล่าว "ดังนั้นถ้าฉันจัดเรียงตามความเป็นพิษคุณจะเห็นความคิดเห็นเฉลี่ยอยู่ด้านบน แต่ถ้าคุณสนใจมากขึ้นสมมุติว่าการโจมตีตัวตนหรือการคุกคามมากกว่าตัวชี้วัดเช่นการสบถบางทีคุณอาจไม่ได้ใช้แบบจำลองความเป็นพิษทั่วไป ส่วนผสมที่คุณสามารถผสมได้เรานำเสนอสิ่งเหล่านี้และนักพัฒนาให้น้ำหนักกับมัน "

การทดสอบ RAIL ใช้วิธีละเอียดยิ่งขึ้น นักเรียนที่จบการศึกษาจากฟอร์ดกำลังสร้างชุดข้อมูลจำนวนหนึ่งหมื่นความคิดเห็นจากหนังสือพิมพ์ Globe ของ แคนาดา และ ส่วนความเห็นของ Mail และหน้า Wikipedia Talk พวกเขากำลังขอให้ "ผู้ประกาศข้อความ" ของมนุษย์เพื่อตอบคำถามเกี่ยวกับความคิดเห็นแต่ละรายการที่เกี่ยวข้องกับคุณลักษณะย่อยห้าประการของ "เนื้อหาที่ไม่ดีต่อสุขภาพ": ศัตรูหรือดูถูก (โทรลล์), ยกฟ้อง, วางตัวหรือสนับสนุน

การเข้าร่วมในคุณลักษณะที่ละเอียดยิ่งขึ้นเหล่านี้ได้เปิดเผยปัญหาที่ซับซ้อนใหม่โดยมีอคติที่ไม่ได้ตั้งใจไปยังกลุ่มที่เฉพาะเจาะจงและผลบวกที่เป็นเท็จด้วยความคิดเห็นประชดประชัน มันเป็นส่วนหนึ่งของความเจ็บปวดที่เพิ่มขึ้นของ AI การให้อาหารแก่ข้อมูลมากขึ้นเพื่อช่วยให้เข้าใจความหมายโดยนัยและโดยอ้อมของคำพูดของมนุษย์ ทีมยังคงทำการคอมไพล์และใส่คำอธิบายความคิดเห็นหลายพันรายการและมีแผนจะเผยแพร่ชุดข้อมูลสุดท้ายเมื่อต้นปีนี้

“ สิ่งที่เราต้องการทำคือสิ่งที่ชุมชนสามารถให้คะแนนความคิดเห็นชุดหนึ่งและจากนั้นเราสามารถทำให้พวกเขามีรูปแบบมุมมองแบบผสมเพื่อให้ตรงกับความต้องการ” อดัมส์กล่าว



Tested อยากรู้อยากเห็นของ Reddit

Reddit เป็นพิภพเล็ก ๆ ของทุกสิ่งที่ดีและแย่มากเกี่ยวกับอินเทอร์เน็ต มีชุมชน subreddit สำหรับทุกหัวข้อและโพรงสนใจแปลก ๆ ที่คุณคิด จิ๊กซอว์ไม่ได้ทำงานร่วมกับ Reddit ในระดับองค์กร แต่หนึ่งในสถานที่ที่น่าสนใจที่สุดที่การทดสอบ AI ของเปอร์สเปคทีฟกำลังถูกทดสอบอยู่ใน subreddit ที่เรียกว่า r / changemyview

น่าแปลกที่มีมุมอินเทอร์เน็ตที่ยังคงมีการถกเถียงและอภิปรายอย่างแท้จริง เปลี่ยนมุมมองของฉันหรือ CMV ไม่เหมือน subred อื่น ๆ ส่วนใหญ่ แนวคิดคือการโพสต์ความคิดเห็นที่คุณยอมรับอาจมีข้อบกพร่องหรือเปิดรับการเปลี่ยนแปลงจากนั้นฟังและทำความเข้าใจในมุมมองอื่น ๆ เพื่อดูว่าพวกเขาสามารถเปลี่ยนใจคุณในปัญหาหรือไม่ หัวข้อมีตั้งแต่หัวข้อธรรมดา ๆ เช่นลำดับการรับชมที่เหมาะสมสำหรับภาพยนตร์ Star Wars ไปจนถึงการพูดคุยอย่างจริงจังในประเด็นต่าง ๆ เช่นการเหยียดเชื้อชาติการเมืองการควบคุมอาวุธปืนและศาสนา

เปลี่ยนมุมมองของฉันเป็นแบบทดสอบที่น่าสนใจสำหรับเปอร์สเปคทีฟเนื่องจาก subreddit มีชุดรายละเอียดของกฎสำหรับการเริ่มต้นและการกลั่นกรองการสนทนาที่กระตุ้นการโต้แย้งและการถกเถียงอย่างดุเดือดโดยการออกแบบ Kal Turnbull ผู้ซึ่งดำเนินการโดย u / Snorrrlax บน Reddit เป็นผู้ก่อตั้งและเป็นหนึ่งในผู้ดูแลของ r / changemyview Turnbull บอกกับ PCMag ว่า Perspective API เข้ากันได้ดีกับ Rule 2 ของ Sub ซึ่งโดยทั่วไปจะห้ามพูดหยาบคายหรือไม่เป็นมิตร

“ ฟังดูเหมือนกฎง่าย ๆ แต่ก็มีความแตกต่างกันนิดหน่อย” เทิร์นบูลล์ซึ่งประจำอยู่ในสกอตแลนด์กล่าว “ มันยากที่จะทำให้กฎนี้เป็นแบบอัตโนมัติโดยไม่ต้องมีความฉลาดในเรื่องภาษา Reddit ให้สิ่งนี้เรียกว่า AutoModerator ซึ่งคุณสามารถตั้งค่าตัวกรองและคำหลักสำหรับการตั้งค่าสถานะ แต่มีผลบวกปลอมจำนวนมากและมันค่อนข้างยากที่จะจับเพราะใครบางคนสามารถพูดคำที่ไม่ดีโดยไม่ดูถูกคนอื่นและพวกเขาสามารถดูถูกคนอื่นโดยไม่ใช้คำพูดที่ไม่ดีเลย”

จิ๊กซอว์เอื้อมมือไปที่ Turnbull ในเดือนมีนาคม 2561 การทำงานร่วมกันเริ่มต้นด้วยกฎข้อที่ 2 แต่ในไม่ช้าทีมก็ได้สร้างแบบจำลองมุมมองสำหรับกฎอื่น ๆ เช่นกัน มันไม่ใช่การบูรณาการอย่างเต็มรูปแบบของโอเพนซอร์ซโอเพนซอร์ส แต่เป็นบอต Reddit ที่ช่วยให้ผู้ดูแลสามารถตั้งค่าสถานะความคิดเห็นเหนือขีดจำกัดความเป็นพิษที่กำหนด

ในช่วงหกปีที่ผ่านมา Turnbull และตัวดัดแปลงอื่น ๆ ทำสิ่งเหล่านี้ด้วยตนเองจากคิวของรายงาน AutoModerator (คำหลักที่มีการตั้งค่าสถานะ) และรายงานผู้ใช้ จิ๊กซอว์ใช้เวลาหลายปีในการจดบันทึกการละเมิดกฎจากผู้ดำเนินรายการซึ่งพวกเขาติดตามผ่านส่วนขยายของเบราว์เซอร์และสร้างโมเดลเปอร์สเปคทีฟตามข้อมูลนั้นรวมกับโมเดลความเป็นพิษบางส่วนของเปอร์สเปคทีฟ ตลอดปี 2561 ตัวดัดแปลง CMV ให้ข้อเสนอแนะในประเด็นต่าง ๆ เช่นผลบวกปลอมเกินและจิ๊กซอว์ปรับเปลี่ยนเกณฑ์การให้คะแนนในขณะที่ยังคงวางโมเดลของกฎของ CMV ต่อไป



การตัดสินที่ซับซ้อนในการโต้วาทีออนไลน์

(มุมมองบ็อตที่รวมเข้ากับส่วนต่อประสาน Reddit)

เปอร์สเปคทีฟไม่ได้มีไว้สำหรับการดูแลกฎของ subreddit ทั้งหมด กฎที่ซับซ้อนหรือเป็นนามธรรมบางอย่างยังคงอยู่นอกเหนือขอบเขตของ ML ประเภทนี้ที่สามารถเข้าใจได้

ยกตัวอย่างเช่นกฎข้อที่ 4 ควบคุมระบบคะแนนย่อยของเดลต้าในขณะที่กฎขหยุดผู้ใช้จากการเล่นผู้สนับสนุนของปีศาจหรือใช้โพสต์สำหรับ "soapboaxing" การกลั่นกรองที่เหมาะสมเช่นนั้นต้องการข้อมูลเชิงบริบทและความเข้าใจของมนุษย์ล้วนเพื่อให้ทราบว่ามีใครบางคนโต้เถียงประเด็นด้วยเหตุผลของแท้หรือเพียงแค่หลอกล่อ

สำหรับอนาคตอันใกล้เราจะยังคงต้องการมนุษย์ดัดแปลง สถานการณ์การตัดสินที่ซับซ้อนมากขึ้นเหล่านี้คือจุดที่ผู้ดูแล CMV เริ่มเห็นรอยร้าวในการสร้างแบบจำลอง AI และระบบอัตโนมัติที่ชาญฉลาดกว่าสามารถกำหนดได้ว่าทั้งหมดนี้สามารถปรับขนาดได้หรือไม่

“ ฉันคิดว่าเหตุผลที่ว่าทำไมเรื่องนี้ซับซ้อนมากเพราะมันเป็นการรวมกันของการตัดสินของเราในการโพสต์ดั้งเดิมและการโต้ตอบของพวกเขาตลอดการสนทนาทั้งหมดดังนั้นจึงไม่ใช่แค่ความคิดเห็นเดียวที่ก่อให้เกิดแบบจำลอง” Turnbull กล่าว "ถ้ามีการโต้เถียงกันไปมาและในที่สุดก็มีความคิดเห็นว่า 'ขอบคุณ' หรือการรับรู้เราจะปล่อยให้มันไปแม้ว่ากฎจะถูกทำลายก่อนหน้านี้ในหัวข้อหรือตลกเรื่องเบาที่ในบริบท อาจดูเหมือนจะหยาบคาย - เป็นสิ่งที่ดีของมนุษย์และนั่นคือสิ่งที่บอทยังไม่ได้รับ "

Change My View เป็น subreddit เพียงรุ่นเดียวที่ใช้ Perspective ML model เพื่อทำการกลั่นกรองในขณะนี้แม้ว่า Adams กล่าวว่าทีมได้รับการร้องขอการเข้าถึงจากหลาย ๆ ตัว ชุดกฏเฉพาะของ CMV ทำให้มันเป็นกรณีทดสอบในอุดมคติ แต่โมเดลเปอร์สเปคทีฟอ่อน แต่ละ subreddits สามารถปรับแต่งอัลกอริทึมการให้คะแนนเพื่อให้ตรงกับแนวทางชุมชนของพวกเขา

ขั้นตอนต่อไปของ Turnbull คือการถอด CMV ออกจาก Reddit เพราะชุมชนมีจำนวนมากกว่าเขากล่าว ในช่วงหกเดือนที่ผ่านมาผู้เริ่มต้นรูปแบบใหม่ของผู้ดูแลได้ทำงานกับจิ๊กซอว์ในไซต์เฉพาะที่มีฟังก์ชั่นการทำงานที่ลึกกว่าอินเตอร์เฟส mod และบอตของ Reddit

โครงการนี้ยังอยู่ในการทดสอบอัลฟ่าเท่านั้น แต่ Turnbull พูดคุยเกี่ยวกับคุณสมบัติต่างๆเช่นการเตือนเชิงรุกเมื่อผู้ใช้พิมพ์ความคิดเห็นที่อาจผิดกฎการรายงานในตัวเพื่อให้ผู้ควบคุมบริบทเพิ่มเติมและข้อมูลประวัติเพื่อทำการตัดสินใจ Turnbull เน้นว่าไม่มีแผนการที่จะปิดหรือย้าย subreddit แต่เขาตื่นเต้นกับการทดลองใหม่

• ความคิดเห็นทั้งหมดพอดีกับพิมพ์

  ทั้งนี้ขึ้นอยู่กับวันในสัปดาห์เว็บไซต์ ของ New York Times ได้รับความคิดเห็นจาก 12, 000 ถึงมากกว่า 18, 000 ความคิดเห็น จนถึงกลางปี ​​2560 ส่วนความคิดเห็นของบทความได้รับการตรวจสอบโดยเจ้าหน้าที่การจัดการชุมชนเต็มเวลาที่อ่านความคิดเห็นทุกข้อและตัดสินใจว่าจะอนุมัติหรือปฏิเสธ

  บาสซีย์เอติมซึ่งจนถึงเดือนนี้เป็นบรรณาธิการชุมชนของหนังสือพิมพ์ เดอะไทมส์ ใช้เวลาหนึ่งทศวรรษที่โต๊ะทำงานชุมชนและเป็นบรรณาธิการมาตั้งแต่ปี 2014 ที่ระดับสูงสุดของวันทำงานทีมอาจมีคนไม่กี่คนที่กลั่นกรองความคิดเห็นเกี่ยวกับเรื่องราวความคิดเห็น จัดการกับข่าว สเปรดชีตแบ่งออกและติดตามความรับผิดชอบที่แตกต่างกัน แต่ทีมงานประมาณหนึ่งโหลคนถูกกำหนดใหม่หรือย้ายไปรอบ ๆ อย่างต่อเนื่องขึ้นอยู่กับข่าวชั้นนำของช่วงเวลา พวกเขายังเลี้ยงเกร็ดเล็กเกร็ดน้อยจากความคิดเห็นกลับไปที่นักข่าวสำหรับอาหารสัตว์เรื่องที่อาจเกิดขึ้น

  ในที่สุดก็เห็นได้ชัดว่านี่เป็นมนุษย์มากกว่า 12 คนที่สามารถจัดการได้ ส่วนความคิดเห็นเกี่ยวกับเรื่องราวจะต้องปิดลงหลังจากที่มีความคิดเห็นถึงจำนวนสูงสุดที่ทีมสามารถดูแลได้

  กลุ่มพัฒนาผู้ชมหนังสือพิมพ์ได้ทำการทดลองกับการเรียนรู้ด้วยเครื่องสำหรับการอนุมัติความคิดเห็นขั้นพื้นฐานที่ชัดเจน แต่ Etim กล่าวว่ามันไม่ได้ฉลาดหรือปรับแต่งเป็นพิเศษ The Times ประกาศความร่วมมือครั้งแรกกับ Jigsaw ในเดือนกันยายน 2559 ตั้งแต่นั้นเป็นต้นมาส่วนความคิดเห็นได้ขยายจากที่ปรากฏน้อยกว่าร้อยละ 10 ของเรื่องราวทั้งหมดเป็นประมาณ 30 เปอร์เซ็นต์ในวันนี้และปีนเขา

  จากมุมมองของจิ๊กซอว์ศูนย์บ่มเพาะมองเห็นโอกาสในการป้อนข้อมูลที่ไม่เปิดเผยตัวตนในมุมมองจากความคิดเห็นนับล้านต่อวันกลั่นกรองโดยผู้เชี่ยวชาญที่สามารถช่วยปรับปรุงกระบวนการ เพื่อเป็นการแลกเปลี่ยนข้อมูลการฝึกอบรม ML แบบไม่ระบุชื่อ Jigsaw และ Times ทำงานร่วมกันเพื่อสร้างแพลตฟอร์มชื่อ Moderator ซึ่งเปิดตัวในเดือนมิถุนายน 2017



Inside Moderator อินเทอร์เฟซความคิดเห็น NYT

(เอื้อเฟื้อภาพโดย The New York Times )

ผู้ดำเนินรายการได้รวมโมเดลของเปอร์ สเปคทีฟเข้ากับ ความคิดเห็น ไทม์ที่ มีการดูแลแบบไม่เปิดเผยชื่อมากกว่า 16 ล้านรายการย้อนกลับไปในปี 2550

สิ่งที่ทีมชุมชนเห็นจริง ๆ ในอินเทอร์เฟซผู้ดูแลคือแดชบอร์ดที่มีแผนภูมิฮิสโตแกรมเชิงโต้ตอบที่แสดงภาพการแยกส่วนความคิดเห็นเหนือขีด จำกัด ที่แน่นอน ตัวอย่างเช่นพวกเขาสามารถลากตัวเลื่อนไปมาเพื่ออนุมัติความคิดเห็นทั้งหมดโดยอัตโนมัติด้วยคะแนนสรุปเพียง 0 ถึง 20 เปอร์เซ็นต์ซึ่งขึ้นอยู่กับการรวมความเป็นไปได้ของความคิดเห็นสำหรับความหยาบคายความเป็นพิษและโอกาสที่จะถูกปฏิเสธ มีปุ่มควบคุมด่วนด้านล่างเพื่ออนุมัติหรือปฏิเสธความคิดเห็นเลื่อนหรือติดแท็กความคิดเห็นเพื่อปรับปรุงการสร้างแบบจำลองของเปอร์สเปคทีฟต่อไป

"สำหรับแต่ละส่วนของเว็บไซต์เราวิเคราะห์ความคิดเห็นที่เข้ามาและวิธีที่ Perspective จะติดแท็กพวกเขาเราใช้ทั้งโมเดลมุมมองสาธารณะและโมเดลของเราที่ไม่ซ้ำกับ The New York Times " Etim กล่าว "ฉันจะวิเคราะห์ความคิดเห็นจากแต่ละส่วนและพยายามหาจุดตัดที่เราสบายใจที่จะพูดว่า 'ตกลงทุกสิ่งที่อยู่เหนือความน่าจะเป็นนี้โดยใช้แท็กความเป็นพิษเฉพาะเช่นความลามกอนาจารเช่นเราจะอนุมัติ"

การเรียนรู้ด้วยเครื่องกำลังอนุมัติความคิดเห็นเล็กน้อย (ประมาณร้อยละ 25 หรือมากกว่านั้น) Etim กล่าว) เนื่องจาก Times ทำงานเพื่อแสดงความคิดเห็นเกี่ยวกับเรื่องราวเพิ่มเติมและท้ายที่สุดเพื่อกำหนดวิธีที่ตัวกรองโมเดลและอนุมัติความคิดเห็นสำหรับส่วนต่างๆของเว็บไซต์ แบบจำลองจะอนุมัติความคิดเห็นเท่านั้น การปฏิเสธยังคงจัดการโดยผู้กลั่นกรองมนุษย์ทั้งหมด

การตัดความคิดเห็นด้วยตนเองเหล่านั้นหายไป โดยทั่วไปแล้วความคิดเห็นจะปิดลงในเนื้อเรื่องทั้ง 24 ชั่วโมงหลังจากที่เผยแพร่ทางออนไลน์หรือหนึ่งวันหลังจากที่ตีพิมพ์ในสิ่งพิมพ์ Etim กล่าว

'เราไม่ได้แทนที่คุณด้วยเครื่องจักร'

ขั้นตอนต่อไปคือการสร้างคุณสมบัติเพิ่มเติมในระบบเพื่อช่วยผู้ดูแลจัดลำดับความสำคัญว่าความคิดเห็นใดควรพิจารณาก่อน มากขึ้นการทำสิ่งที่เป็นกระบวนการแบบแมนนวลอัตโนมัติทำให้ผู้ดูแลสามารถใช้เวลาทำงานร่วมกับนักข่าวเพื่อตอบความคิดเห็นได้อย่างมั่นใจ มันสร้างวงข้อเสนอแนะที่ความคิดเห็นนำไปสู่การรายงานการติดตามและเรื่องราวเพิ่มเติม - สามารถบันทึกและจัดสรรทรัพยากรใหม่เพื่อสร้างวารสารศาสตร์มากขึ้น

“ โมเดอเรเตอร์และเปอร์สเปคทีฟทำให้ เดอะไทมส์ ตอบสนองต่อความกังวลของผู้อ่านได้มากขึ้นเพราะเรามีทรัพยากรที่จะทำเช่นนั้นไม่ว่าจะเป็นการเขียนเรื่องราวของตัวเองหรือทำงานร่วมกับนักข่าวเพื่อหาเรื่องราว” Etim กล่าว "สิ่งที่ยอดเยี่ยมเกี่ยวกับโครงการนี้คือเราไม่ได้เลิกจ้างใครเราไม่ได้แทนที่คุณด้วยเครื่องจักรเราแค่ใช้มนุษย์ที่เรามีประสิทธิภาพมากขึ้นและทำการตัดสินใจที่ยากลำบาก"

กระดาษเปิดให้ทำงานร่วมกับสิ่งพิมพ์อื่น ๆ เพื่อช่วยให้ส่วนที่เหลือของอุตสาหกรรมใช้เทคโนโลยีประเภทนี้ มันสามารถช่วยแหล่งข่าวท้องถิ่นที่มีทรัพยากร จำกัด ในการรักษาส่วนความคิดเห็นโดยไม่ต้องมีพนักงานที่ทุ่มเทและใช้ความคิดเห็นตามที่ Times ทำเพื่อค้นหาโอกาสในการขายที่เป็นไปได้และเชื้อเพลิงสื่อสารมวลชนระดับรากหญ้า

Etim เปรียบการควบคุมแบบ AI ช่วยด้วยการให้คันไถแบบเชิงกลกับแบบจอบ คุณสามารถทำงานได้ดีขึ้นมากด้วยคันไถ

“ หากมุมมองสามารถพัฒนาได้อย่างถูกวิธีหวังว่าจะสามารถสร้างแนวทางอย่างน้อยหนึ่งชุดที่สามารถทำซ้ำได้สำหรับร้านค้าเล็ก ๆ ” เขากล่าว “ มันเป็นเกมที่ยาวนาน แต่เราได้สร้างพื้นฐานจำนวนมากเพื่อเป็นส่วนหนึ่งของประสบการณ์ผู้อ่านแล้วบางทีเอกสารในท้องถิ่นเหล่านี้อาจมีความคิดเห็นอีกครั้งและสร้างหัวหาดเล็ก ๆ กับผู้เล่นโซเชียลใหญ่ ๆ ”



กรีดร้องสู่ก้นบึ้ง

เมื่อมาถึงจุดนี้พวกเราส่วนใหญ่ได้เห็นคนโจมตีหรือก่อกวนบนสื่อสังคมออนไลน์สำหรับการแสดงความคิดเห็น ไม่มีใครต้องการให้เกิดขึ้นกับพวกเขายกเว้นโทรลล์ที่เจริญเติบโตในสิ่งนั้น และเราได้เรียนรู้ว่าการตะโกนใส่คนแปลกหน้าที่ไม่เคยฟังการโต้เถียงอย่างมีเหตุผลไม่ใช่การใช้เวลาอันมีค่าของเรา

มุมมองพยายามที่จะรักษาไว้ซึ่งไดนามิก แต่ CJ Adams กล่าวว่าเป้าหมายที่กว้างขึ้นคือการเผยแพร่ข้อมูลการวิจัยและโมเดล UX โอเพ่นซอร์สใหม่เพื่อสร้างโครงสร้างการสนทนาใหม่ - เป็นงานที่น่ากลัว การทำให้อินเทอร์เน็ตเป็นสถานที่ที่มีสุขภาพดีซึ่งคุ้มค่ากับเวลาของผู้คนนั่นหมายถึงการปรับระบบเหล่านี้นอกเหนือจากส่วนความคิดเห็นข่าวและ subreddits ในที่สุดเครื่องมือ AI จะต้องสามารถจัดการกับแอพโซเชียลขนาดใหญ่และเครือข่ายที่มีอิทธิพลต่อการปฏิสัมพันธ์แบบดิจิตอลในชีวิตประจำวันของเรา

วางสิ่งที่ Facebook, Twitter และยักษ์ใหญ่ทางสังคมอื่น ๆ กำลังทำอยู่ภายในวิธีที่ตรงที่สุดเพื่อบรรลุเป้าหมายนี้คือการผลักดันเทคโนโลยีจากผู้ดำเนินการไปยังผู้ใช้งานเอง อดัมส์ชี้ไปที่โครงการปะการังเพื่อทราบว่าอาจมีลักษณะอย่างไร

โครงการปะการังก่อตั้งขึ้นครั้งแรกในฐานะความร่วมมือระหว่าง Mozilla Foundation, New York Times และ Washington Post Coral กำลังสร้างเครื่องมือโอเพนซอร์สเช่นแพลตฟอร์ม Talk เพื่อส่งเสริมการสนทนาออนไลน์และให้เว็บไซต์ข่าวเป็นทางเลือกในการปิดส่วนความคิดเห็น Talk กำลังเสริมสร้างแพลตฟอร์มสำหรับผู้เผยแพร่ออนไลน์เกือบ 50 รายรวมถึง Post, New York Magazine, The Wall Street Journal และ The Intercept

เมื่อต้นเดือนที่ผ่านมา Vox Media ได้รับโครงการ Coral จาก Mozilla Foundation มีแผนที่จะ "รวมลึก" เข้ากับ Chorus การจัดการเนื้อหาและแพลตฟอร์มการเล่าเรื่อง

มุมมองมีปลั๊กอินสำหรับโครงการปะการังที่ใช้เทคโนโลยีพื้นฐานเช่นการให้คะแนนและเกณฑ์ความเป็นพิษตาม ML เพื่อให้คำแนะนำเชิงรุกแก่ผู้ใช้ขณะพิมพ์ ดังนั้นเมื่อผู้ใช้กำลังเขียนความคิดเห็นที่มีวลีที่ถูกตั้งค่าว่าเป็นการละเมิดหรือการล่วงละเมิดการแจ้งเตือนอาจปรากฏขึ้นสำหรับผู้ใช้ที่พูดว่า "ก่อนที่คุณจะโพสต์สิ่งนี้อย่าลืมแนวทางชุมชนของเรา" หรือ "ภาษาในความคิดเห็นนี้อาจละเมิด หลักเกณฑ์ของชุมชนทีมผู้ดูแลของเราจะตรวจสอบในไม่ช้า "

“ เขยิบเล็ก ๆ น้อย ๆ นั้นสามารถช่วยให้ผู้คนใช้เวลาคิดในวินาทีนั้น แต่มันก็ไม่ได้บล็อกใครเลย” อดัมส์กล่าว "มันไม่ได้หยุดการอภิปราย"

เป็นกลไกที่แพลตฟอร์มการแชทและสตรีมวิดีโอเกมได้รวมเข้าด้วยกันเพื่อป้องกันการล่วงละเมิดและการล่วงละเมิด ผู้ใช้ Twitter สามารถได้รับประโยชน์อย่างชัดเจนจากระบบดังกล่าวเช่นกัน

มันพูดถึงแนวคิดที่นักวิทยาศาสตร์การวิจัยของ MIT Lippmann นำเสนอในการตีพิมพ์ในอนาคตของ PCMag: เขาพูดคุยเกี่ยวกับกลไกในตัวที่จะให้ผู้คนหยุดและคิดก่อนที่พวกเขาจะแบ่งปันข้อมูลออนไลน์เพื่อช่วยยับยั้งการเผยแพร่ข้อมูลที่ผิด แนวคิดนี้นำไปใช้กับการสนทนาออนไลน์ด้วย เราได้สร้างระบบการสื่อสารที่ไม่มีแรงเสียดทานซึ่งสามารถขยายการเข้าถึงแถลงการณ์ได้อย่างรวดเร็วในบางครั้ง แต่บางครั้งแรงเสียดทานเพียงเล็กน้อยก็เป็นเรื่องที่ดี Lippmann กล่าว

มุมมองไม่ได้เกี่ยวกับการใช้ AI เป็นวิธีแก้ปัญหาแบบครอบคลุม มันเป็นวิธีในการสร้างแบบจำลอง ML ให้เป็นเครื่องมือสำหรับมนุษย์เพื่อช่วยให้พวกเขาดูแลประสบการณ์ของตัวเอง แต่ข้อแตกต่างประการหนึ่งคือถ้าคุณทำให้ผู้คนสามารถปรับแต่งเสียงออนไลน์ที่พวกเขาไม่ชอบได้ง่ายขึ้นอินเทอร์เน็ตจะกลายเป็นห้องเสียงก้องมากกว่าที่เคยเป็นมา

เมื่อถามว่าเครื่องมืออย่างเช่นเปอร์สเปคทีฟสามารถทำให้เรื่องนี้รุนแรงขึ้นได้หรือไม่อดัมส์กล่าวว่าเขาเชื่อว่ามีห้องสะท้อนเสียงออนไลน์อยู่หรือไม่เพราะไม่มีกลไกในการจัดการสนทนาที่ผู้คนไม่เห็นด้วย

“ เส้นทางที่มีการต่อต้านน้อยที่สุดคือ 'คนพวกนี้กำลังต่อสู้กันเถอะปล่อยให้พวกเขาเห็นด้วยกับตัวเองในมุมของตัวเอง "คุณปล่อยให้คนอื่นตะโกนออกจากห้องหรือปิดการสนทนาเราต้องการมุมมองในการสร้างทางเลือกที่สาม"

อดัมส์วางตัวอย่างสถานการณ์ ถ้าคุณขอห้อง 1, 000 คน "วันนี้คุณอ่านอะไรซักอย่างที่คุณห่วงใยจริง ๆ " ผู้ใช้อินเทอร์เน็ตส่วนใหญ่จะชี้ไปที่บทความทวีตโพสต์หรือสิ่งที่พวกเขาอ่านออนไลน์ แต่ถ้าคุณถามพวกเขาว่า "มีกี่คนที่คิดว่ามันคุ้มค่ากับเวลาที่จะแสดงความคิดเห็นหรือมีการอภิปราย?" มือทั้งสองในห้องจะลงไป

"สำหรับพวกเราหลายคนมันก็ไม่คุ้มค่ากับความพยายามโครงสร้างของการสนทนาที่เรามีตอนนี้ก็หมายความว่ามันเป็นความรับผิดชอบหากคุณมีความคิดที่สมเหตุสมผลในปัจจุบันหรือบางสิ่งที่คุณต้องการแบ่งปันสำหรับคนส่วนใหญ่ ไม่ต้องการมีส่วนร่วม "อดัมส์กล่าว "นั่นหมายความว่าจาก 1, 000 คนที่อยู่ในห้องคุณมีเพียงตัวแทนเพียงไม่กี่คนในการอภิปรายสมมติว่ามี 10 คนฉันมีศรัทธาอย่างลึกซึ้งที่เราสามารถสร้างโครงสร้างที่ทำให้คนอื่น ๆ 990 คนกลับมาสู่การสนทนา และทำในวิธีที่พวกเขาพบว่าคุ้มค่ากับเวลาของพวกเขา "