Ibm วัตสันช่วยให้นักศึกษามหาวิทยาลัยเรียนรู้ภาษาจีนกลาง

มหาวิทยาลัยมาไกลในการศึกษาภาษาของพวกเขาย้ายเกินชั้นเรียนแบบดั้งเดิมในห้องบรรยายและบทเรียนที่อัดแล้วโดยไม่ต้องโต้ตอบ ตอนนี้นักเรียนสามารถเข้าถึงเทคโนโลยีเช่นปัญญาประดิษฐ์ (AI) และการประมวลผลภาษาธรรมชาติ (NLP) ในสภาพแวดล้อมการเรียนรู้ที่ดื่มด่ำ นั่นคือสิ่งที่เกิดขึ้นที่ห้องทดลองระบบความรู้ความเข้าใจ (Immigive and Immersive Systems Lab) (CISL) บนทรอยนิวยอร์กวิทยาเขตของ Rensselaer Polytechnic Institute (RPI) อยู่ที่นี่ที่สถาบันได้ร่วมมือกับ IBM Research เพื่อสร้างเทคโนโลยีสำหรับหลักสูตรฤดูร้อนหกสัปดาห์ที่นักเรียนมีปฏิสัมพันธ์กับตัวแทน AI ในสภาพแวดล้อมที่รวมถึงตลาดริมถนนและร้านอาหาร

หลักสูตรนี้มีชื่อว่า "AI-Assisted Immersive Chinese" มีระบบแสดงภาพพาโนรามา 360 องศาของฉากที่สร้างด้วยคอมพิวเตอร์ในห้อง Cognitive Immersive Room (CIR) ซึ่งเรียกว่า "Situations Room" ฉากเสมือนเกิดขึ้นในประเทศจีน นักเรียนสนทนากับอวตารที่ขับเคลื่อนโดยวัตสันผู้ช่วยและได้รับการแก้ไขเกี่ยวกับคำพูดและการออกเสียง ใน CIR นักเรียนใช้การสนทนา AI, การสร้างคำบรรยาย, การรับรู้บริบทปริภูมิและเทคโนโลยีการจดจำใบหน้าและท่าทาง

CIR เป็นตัวอย่างของศักยภาพที่หลากหลายสำหรับ IBM Watson ในหลายอุตสาหกรรมนอกเหนือจากการศึกษา อุตสาหกรรมเหล่านี้รวมถึงการเกษตรทรัพยากรมนุษย์ (HR) และการจัดการยานพาหนะ

ที่ RPI นอกเหนือจากผู้ช่วยวัตสันนักเรียนใช้คำพูดของวัตสันเป็นข้อความ, ข้อความเป็นคำพูดของวัตสันและเครื่องมือแปลภาษาในการศึกษาของพวกเขา

นักเรียนเรียนภาษาจีนโดยใช้ AI ในวิทยาเขต RPI (เครดิตรูปภาพ: IBM Research / RPI)

ประสบการณ์การเรียนรู้ที่คล่องแคล่ว

สำหรับจูเลียนหวู่จูเนียร์ที่ RPI ประสบการณ์ AI ที่ดื่มด่ำเป็นวิธีที่น่าดึงดูดในการเรียนรู้ภาษาจีนเพราะมันทำให้เขามีวิธีการเรียนรู้ที่คล่องแคล่วมากขึ้น เนื่องจากภาษาจีนกลางเป็นภาษาวรรณยุกต์ที่การเปลี่ยนระดับเสียงสามารถเปลี่ยนความหมายของคำได้รูปภาพประจำตัวในประสบการณ์ AI ให้เสียงสะท้อนกลับเพื่อให้แน่ใจว่าวงศ์และนักเรียนคนอื่น ๆ ได้รับการออกเสียงที่ถูกต้อง

การทำงานกับ AI ใน CIR นั้นให้สมดุลกับเวลาเรียนปกติ "การประชุมเพื่อพูดคุยกับคอมพิวเตอร์ … ช่วยได้มากในด้านการเรียนรู้ภาษาโดยเฉพาะทักษะทางวาจา" หว่องกล่าว

ชั้นเรียนภาษาจีนกลางของวงพบกันสัปดาห์ละสี่ครั้ง ในวันจันทร์และวันศุกร์เขาเข้าร่วมชั้นเรียนในห้องเรียนแบบดั้งเดิมกับเฮเลนโจวรองศาสตราจารย์ที่ RPI ที่นั่นเขาได้เรียนรู้คำศัพท์ใหม่และได้รับการแนะนำให้รู้จักกับวลีและโครงสร้างไวยากรณ์ ในวันอังคารและวันพฤหัสบดีชั้นเรียนจะเข้าร่วมใน CIR ซึ่งนักเรียนทำการสนทนากับตัวแทนเสมือนจริง ในสภาพแวดล้อมของร้านอาหารวงษ์กล่าวว่านักเรียนสามารถผ่านกระบวนการทั้งหมดของการนั่งลงในร้านอาหารดูเมนูสั่งอาหารพูดกับบริกรเกี่ยวกับวิธีการเตรียมอาหารและจ่ายบิล สภาพแวดล้อมอื่น ๆ ได้แก่ สวนตลาดและโรงเรียน

โจวระบุว่าห้องพักแบบแมนดารินในห้องเรียนที่แตกต่างจากสภาพแวดล้อมแบบดั้งเดิมเพราะมันให้ประสบการณ์ด้านภาษาและวิดีโอแบบต่อเนื่อง เธอกล่าวว่าชั้นเรียนแบบดั้งเดิมจะมีส่วนร่วมและโต้ตอบน้อยลง "ในการจำลองสถานการณ์ในห้องเรียนที่น่าดื่มด่ำเรามีตัวแทนสองคนต่อสู้กันเองเพื่อพยายามชักชวนให้นักเรียนซื้อผลิตภัณฑ์" โจวกล่าว "ดังนั้นนักเรียนจะเข้าใจด้วยประสบการณ์ส่วนตัวมากกว่าการดูวิดีโอหรือฟังการบรรยายเท่านั้นฉันเชื่อว่าพวกเขาจะรับวัฒนธรรมได้ง่ายกว่าการเรียนรู้จากตำราหรือฟังเทป"

ใน CIR นักเรียนทำแบบทดสอบที่เกี่ยวข้องกับฉากที่พวกเขาโต้ตอบและยกมือขึ้นเพื่อให้คำตอบ เทคโนโลยีการมองเห็นด้วยคอมพิวเตอร์จากกล้องในห้องจับท่าทางของพวกเขา ผู้ช่วย AI ให้แบบทดสอบที่เกี่ยวข้องกับฉากและนักเรียนต้องตอบด้วยวลีภาษาจีน

“ หากคุณต้องการเลือกหนึ่งในป๊อปอัพที่อยู่บนหน้าจอคุณสามารถถือมือเปิดปาล์มแล้วปิดมือ” Wong อธิบาย "คุณเลือกสิ่งที่เคอร์เซอร์เปิดอยู่ในขณะนี้สำหรับคำถามเล็ก ๆ น้อย ๆ ถ้าคุณรู้ว่าคำตอบที่ถูกต้องคืออะไรคุณสามารถเลื่อนมือของคุณไปยังตัวละครที่คุณต้องการเลือกแล้วปิดมือเพื่อเลือกมัน จะแจ้งให้คุณทราบว่าคุณทำถูกหรือไม่ "

ตัวแทนเสมือนเข้าใจนักเรียนเป็นส่วนใหญ่ยกเว้นเมื่อพวกเขาไม่ได้อยู่ใกล้กับปากไมโครโฟน ระบบมีการตั้งค่าการจดจำเสียงที่แตกต่างกันซึ่งจะไปรับนักเรียนหากพวกเขาไม่ออกเสียง นอกจากนี้ยังให้ข้อเสนอแนะในการสนทนาทันทีหากคุณไม่มีอาจารย์ ในเวลาของตัวเองนักเรียนในชั้นเรียนภาษาจีนจะไปที่เว็บไซต์เพื่อเข้าถึงคลิปเสียงเพื่อฝึกฝน

คุณลักษณะที่เยี่ยมยอดของประสบการณ์ดื่มด่ำที่ RPI คือการรับรู้บริบทเชิงพื้นที่ซึ่งเอเจนต์เสมือนจริงหลายรายการบนหน้าจอสามารถบอกได้ว่าคุณกำลังสบตากับใคร “ ถ้าคุณพูดอะไรบางอย่างในขณะที่มองหาตัวแทนคนหนึ่งตัวแทนก็จะตอบโต้และไม่ใช่ตัวแทนคนอื่น” หว่องกล่าว

นักเรียนใช้ท่าทางและเทคโนโลยีการจดจำใบหน้าของ IBM Watson เป็นส่วนหนึ่งของชั้นเรียนภาษาจีนกลางที่ RPI (เครดิตรูปภาพ: IBM Research / RPI )

วิธีการพัฒนาประสบการณ์ที่สมจริง

ประสบการณ์ที่ดื่มด่ำที่ RPI เกิดขึ้นเมื่ออาจารย์สอนภาษาและอาจารย์ออกแบบเกมพบกันเพื่อหารือเกี่ยวกับวิธีการสอนภาษาที่ดีกว่า แผนการที่จะพัฒนาเกมสวมบทบาทในไม่ช้าก็หันมาพูดคุยกันถึงวิธีการสอนภาษาจีนกลางผ่านสถานการณ์จำลองในชีวิตจริงตามที่ Hui Su ผู้ซึ่งเป็นทั้งผู้อำนวยการฝ่ายประสบการณ์ผู้ใช้ที่ IBM Research และผู้อำนวยการ CISL IBM และ RPI เริ่มพัฒนาหลักสูตร ณ สิ้นปี 2558 และพวกเขาได้จัดตั้งห้องปฏิบัติการร่วมในเวลานั้น CISL จากนั้นก็เริ่มเป็นรูปเป็นร่างในไม่ช้า

"วัตถุประสงค์ของห้องปฏิบัติการคือการสร้างสภาพแวดล้อมทางปัญญาและการดื่มด่ำเพื่อปรับปรุงกิจกรรมกลุ่มเพื่อเพิ่มความฉลาดของกลุ่มในบริบทของการเรียนรู้และการตัดสินใจ" ซูกล่าว "เรายังให้ความสำคัญกับการสร้างห้องประชุมที่เต็มไปด้วยความรู้ความเข้าใจ … เพื่อดูข้อมูลของสถานการณ์ที่สำคัญและพยายามทำความเข้าใจข้อมูลและสร้างการตัดสินใจหรือข้อเสนอแนะสำหรับผู้มีอำนาจตัดสินใจ"

ในฐานะส่วนหนึ่งของโปรแกรมการเรียนรู้ภาษา AI IBM และ RPI กำลังทดลองใช้การวิเคราะห์เส้นชั้นความสูง ซูอธิบายว่าเทคโนโลยีนี้ทำงานอย่างไร "เมื่อคุณพูดพยางค์เมื่อคุณออกเสียงพยางค์เทคโนโลยีพื้นฐานจะจับเสียงและสร้างรูปทรงที่เห็นได้ชัดว่าคุณออกเสียงพยางค์อย่างไร" Su กล่าว "จากนั้นจะใช้รูปร่างที่มองเห็นได้และเปรียบเทียบรูปร่างของภาพนั้นกับรูปร่างที่เป็นภาพของเจ้าของภาษา"

จากนั้นนักเรียนสามารถปรับการออกเสียงเพื่อให้ได้เสียงที่ถูกต้อง พวกเขาจะได้เรียนรู้ว่าพวกเขาจำเป็นต้องเปลี่ยนการออกเสียงของพยางค์บางอย่าง ด้วยความรู้ที่นักเรียนได้รับจากการเรียนรู้ภาษาจีนในห้องเรียนที่เต็มไปด้วยเทคโนโลยีของวัตสันพวกเขาจะมีความมั่นใจในการสนทนาในชีวิตจริงมากขึ้น

"ความคิดทั้งหมดคือการให้บริบททางวัฒนธรรมที่เพียงพอผ่านสภาพแวดล้อมที่น่าทึ่งของเราและเทคโนโลยี AI เพื่อให้นักเรียนฝึกหัดออกกำลังกาย" ซูกล่าว "พวกเขาจะไม่มีความกลัวเหมือนพูดคุยกับผู้คนในชีวิตจริง"

นักเรียนฝึกฝนภาษาจีนกลางในสภาพแวดล้อมร้านอาหารเสมือนจริงโดยใช้เทคโนโลยี IBM Watson (เครดิตรูปภาพ: IBM Research / RPI )

สะพานเชื่อมระหว่างอุตสาหกรรมเทคโนโลยีกับสถาบันการศึกษา

IBM และ RPI สามารถสร้างสะพานเชื่อมระหว่างนักวิจัยและอาจารย์ของไอบีเอ็มโดยไอบีเอ็มได้ฝังนักวิจัยไว้ที่วิทยาเขตคือซู ในขณะเดียวกันโจวอาจารย์ประจำชั้นเรียนของ RPI ยังให้ข้อเสนอแนะแก่นักออกแบบผู้ใช้และครูเกี่ยวกับวิธีการปรับปรุงประสบการณ์การดื่มด่ำในห้องเรียน

"ฉันต้องให้ข้อเสนอแนะแก่พวกเขาทันทีเพื่อแก้ไขข้อบกพร่องหรือปรับปรุงการออกแบบเพื่อให้เราสามารถนำเสนอห้องเรียนที่เป็นธรรมชาติมากขึ้นให้กับนักเรียน" โจวกล่าว "มีงานที่เกี่ยวข้องมากมาย แต่ก็คุ้มค่า"

อนาคตของการเรียนรู้ภาษา

• ซอฟแวร์การเรียนรู้ภาษาที่ดีที่สุดสำหรับ 2019 ซอฟต์แวร์การเรียนภาษาที่ดีที่สุดสำหรับ 2019
• ไอบีเอ็มเปิดตัวเครื่องมือ AI วัตสันที่ได้รับการฝึกอบรมมาแล้วในหลายอุตสาหกรรมไ
• AI พูดภาษาของเราจริง ๆ AI พูดภาษาของเราจริง ๆ

โจวกล่าวว่าสภาพแวดล้อมแบบดื่มด่ำนั้นมีค่าเพราะความสามารถในการสร้างสภาพแวดล้อมในชีวิตจริง “ สภาพแวดล้อมที่น่าดึงดูดใจของ AI ไม่เพียง แต่จะช่วยยกระดับการพูดและการฟังของนักเรียนเท่านั้น แต่ยังรวมถึงการใช้ภาษานั้นในสถานการณ์จริงด้วย” โจวกล่าว "นั่นเป็นเหตุผลว่าทำไม AI จึงเหมาะอย่างยิ่งสำหรับฉันในฐานะผู้สอนเพื่อให้นักเรียนสามารถใช้ภาษาได้ตั้งแต่เนิ่นๆแม้กระทั่งสำหรับผู้เริ่มต้นเรียนโดยไม่ต้องเดินทางไปต่างประเทศ"

สภาพแวดล้อมการเรียนรู้ต่อเนื่องแบบเดียวกับที่มีให้ที่ RPI จะช่วยเพิ่มบทบาทของ AI ในห้องเรียน ด้วยประสบการณ์ที่ AI จัดเตรียมผ่านตัวแทนเสมือนจริงนักเรียนจะพร้อมรับมือกับสถานการณ์ต่างๆในโลกแห่งความเป็นจริงด้วยทักษะภาษาที่จำเป็น