การถ่ายภาพเชิงคำนวณพร้อมสำหรับการถ่ายภาพระยะใกล้

ชาวอเมริกันมากกว่า 87 ล้านคนเดินทางไปต่างประเทศในปี 2560 ซึ่งเป็นตัวเลขที่บันทึกจากสำนักงานการท่องเที่ยวและการท่องเที่ยวแห่งชาติของสหรัฐ หากคุณอยู่ในหมู่พวกเขาบางทีคุณอาจไปที่ปลายทางเช่นสโตนเฮนจ์ทัชมาฮาลอ่าวฮาลองหรือกำแพงเมืองจีน และคุณอาจใช้โทรศัพท์ของคุณเพื่อถ่ายภาพพาโนรามาหรือแม้แต่หมุนตัวคุณเองไปรอบ ๆ พร้อมกับโทรศัพท์ของคุณเพื่อถ่ายภาพทิวทัศน์มุมกว้าง 360 องศา

หากคุณประสบความสำเร็จ - หมายถึงไม่มีส่วนที่ไม่ตรงแนวขอบภาพมืดหรือการเปลี่ยนสี - จากนั้นคุณจะได้สัมผัสกับตัวอย่างที่เรียบง่ายและมีประสิทธิภาพของการถ่ายภาพคอมพิวเตอร์ แต่ในช่วงไม่กี่ปีที่ผ่านมาการถ่ายภาพเชิงคอมพิวเตอร์ได้ขยายออกไปมากกว่าการใช้งานที่แคบ มันไม่เพียง แต่ให้มุมมองที่แตกต่างในการถ่ายภาพเท่านั้น แต่ยังเปลี่ยนวิธีที่เราดูโลกของเรา

การถ่ายภาพเชิงคำนวณคืออะไร?

Marc Levoy ศาสตราจารย์ด้านวิทยาการคอมพิวเตอร์ (ตำแหน่ง) ที่ Stanford University วิศวกรหลักของ Google และหนึ่งในผู้บุกเบิกในสาขาที่เกิดขึ้นใหม่นี้ได้กำหนดภาพถ่ายการคำนวณเป็นความหลากหลายของ "เทคนิคการถ่ายภาพเชิงคอมพิวเตอร์ที่เพิ่มหรือขยายขีดความสามารถของการถ่ายภาพดิจิตอล เอาท์พุทเป็นภาพถ่ายธรรมดา แต่ภาพถ่ายที่ไม่สามารถถ่ายด้วยกล้องแบบดั้งเดิม "

Josh Haftel ผู้จัดการผลิตภัณฑ์หลักของ Adobe กล่าวว่าการเพิ่มองค์ประกอบการคำนวณในการถ่ายภาพแบบดั้งเดิมนั้นช่วยให้มีโอกาสใหม่ ๆ โดยเฉพาะอย่างยิ่งสำหรับ บริษัท ด้านภาพและซอฟต์แวร์: "วิธีที่ฉันเห็นการถ่ายภาพเชิงคอมพิวเตอร์คือการเปิดโอกาสให้เราทำสองสิ่ง พวกเขาคือพยายามและเสริมขีด จำกัด ทางกายภาพมากมายที่มีอยู่ในกล้องมือถือ "

การทำให้สมาร์ทโฟนจำลองความชัดลึกตื้น (DOF) - จุดเด่นของภาพที่ดูเป็นมืออาชีพเพราะมันแยกการมองเห็นวัตถุออกจากฉากหลัง - เป็นตัวอย่างที่ดี สิ่งที่ป้องกันกล้องในอุปกรณ์ที่บางมากเช่นโทรศัพท์ไม่สามารถจับภาพด้วย DOF แบบตื้นคือกฎของฟิสิกส์

"คุณไม่มี ตื้น ความลึกของสนามที่มีเซ็นเซอร์ขนาดเล็กมาก "Haftel กล่าว แต่เซ็นเซอร์ขนาดใหญ่ต้องใช้เลนส์ขนาดใหญ่และเนื่องจากคนส่วนใหญ่ต้องการให้โทรศัพท์ของพวกเขาเป็นบางเฉียบเซ็นเซอร์ขนาดใหญ่ที่จับคู่กับเลนส์ขนาดใหญ่ที่ใหญ่ไม่ใช่ตัวเลือกแทน โทรศัพท์สร้างขึ้นด้วยเลนส์เดี่ยวขนาดเล็กและเซ็นเซอร์ขนาดเล็กทำให้เกิดฟิลด์ที่มีความลึกมากซึ่งทำให้วัตถุทั้งหมดอยู่ใกล้และไกลด้วยการโฟกัสที่คมชัด

Haftel กล่าวว่าผู้ผลิตสมาร์ทโฟนและกล้องธรรมดาสามารถชดเชยสิ่งนี้ได้โดยใช้การถ่ายภาพเชิงคำนวณเพื่อ "โกงโดยการจำลองเอฟเฟกต์ในลักษณะที่หลอกตา" ดังนั้นอัลกอริทึมจะใช้ในการกำหนดสิ่งที่ถือว่าเป็นพื้นหลังและสิ่งที่ถือว่าเป็นเรื่องเบื้องหน้า จากนั้นกล้องจะจำลอง DOF แบบตื้นโดยการทำให้ฉากหลังเบลอ

วิธีที่สอง Haftel กล่าวว่าสามารถใช้การถ่ายภาพเชิงคำนวณได้คือการใช้กระบวนการและเทคนิคใหม่เพื่อช่วยให้ช่างภาพทำสิ่งที่ไม่สามารถทำได้ด้วยเครื่องมือแบบดั้งเดิม ตัวอย่าง Haftel ชี้ไปที่ HDR (ช่วงไดนามิกสูง)

"HDR คือความสามารถในการถ่ายหลายภาพพร้อมกันหรือต่อเนื่องกันอย่างรวดเร็วจากนั้นผสานเข้าด้วยกันเพื่อเอาชนะข้อ จำกัด ของความสามารถตามธรรมชาติของเซ็นเซอร์" ในความเป็นจริง HDR โดยเฉพาะบนอุปกรณ์มือถือสามารถขยายช่วงโทนเสียงที่เกินกว่าที่เซ็นเซอร์รับภาพสามารถถ่ายได้ตามธรรมชาติช่วยให้คุณสามารถบันทึกรายละเอียดเพิ่มเติมในส่วนที่สว่างที่สุดและเงาที่มืดที่สุด

เมื่อการถ่ายภาพเชิงคำนวณตกสั้น

การใช้งานการถ่ายภาพเชิงคำนวณไม่ประสบความสำเร็จ ความพยายามอย่างกล้าหาญสองประการคือกล้อง Lytro และ Light L16: แทนที่จะผสมผสานคุณสมบัติภาพถ่ายแบบดั้งเดิมและการคำนวณ (เช่น iPhone, โทรศัพท์ Android และกล้องแบบสแตนด์อโลนบางตัว) Lytro และ Light L16 พยายามโฟกัสเฉพาะที่การถ่ายภาพเชิงคอมพิวเตอร์เท่านั้น

คนแรกที่ตีตลาดคือกล้องไฟสนาม Lytro ในปี 2012 ซึ่งช่วยให้คุณปรับโฟกัสของภาพถ่ายหลังจากที่คุณจับภาพได้ มันทำได้โดยการบันทึกทิศทางของแสงที่เข้าสู่กล้องซึ่งกล้องแบบดั้งเดิมไม่ได้ทำ เทคโนโลยีน่าสนใจ แต่กล้องมีปัญหารวมถึงความละเอียดต่ำและอินเทอร์เฟซที่ใช้งานยาก

นอกจากนี้ยังมีกรณีการใช้งานที่ค่อนข้างแคบ ในขณะที่ Dave Etchells ผู้ก่อตั้งผู้จัดพิมพ์และหัวหน้าบรรณาธิการของ Imaging Resource ชี้ให้เห็นว่า "ในขณะที่สามารถโฟกัสได้หลังจากความจริงแล้วเป็นคุณลักษณะที่ยอดเยี่ยมรูรับแสงของกล้องมีขนาดเล็กมากคุณไม่สามารถแยกระยะทางได้อย่างแท้จริง นอกจากว่าจะมีบางสิ่งที่ใกล้กับกล้องจริงๆ "

ตัวอย่างเช่นสมมติว่าคุณกำลังยิงนักเบสบอลที่เพชรเบสบอลท้องถิ่น คุณสามารถถ่ายรูปใกล้รั้วและจับผู้เล่นผ่านรั้วแม้ว่าเขาจะอยู่ไกล จากนั้นคุณสามารถเปลี่ยนโฟกัสจากรั้วเป็นเครื่องเล่นได้อย่างง่ายดาย แต่เมื่อ Etchells ชี้ให้เห็น "คุณถ่ายภาพแบบนี้บ่อยแค่ไหนกัน?"

อุปกรณ์ล่าสุดที่มีเป้าหมายที่จะเป็นกล้องคำนวณแบบสแตนด์อโลนคือ Light L16 ซึ่งเป็นความพยายามในการผลิตกล้องแบบพกพาที่บางและมีคุณภาพของภาพและประสิทธิภาพเทียบเท่ากล้อง D-SLR ระดับไฮเอนด์หรือกล้องมิเรอร์เลส L16 ได้รับการออกแบบด้วยโมดูลเลนส์และเซ็นเซอร์ 16 แบบในตัวกล้องเดียว มีอำนาจ ซอฟต์แวร์ออนบอร์ดจะสร้างภาพหนึ่งภาพจากโมดูลต่างๆ

Etchells เริ่มประทับใจในแนวคิดของ Light L16 แต่ในฐานะผลิตภัณฑ์จริงเขาพูดว่า "มันมีปัญหาหลายอย่าง"

ตัวอย่างเช่นแสงกล้อง และ บริษัท ถ่ายภาพที่ทำให้ Light L16 อ้างว่าข้อมูลจากเซ็นเซอร์ตัวเล็ก ๆ เหล่านั้นจะเทียบเท่ากับการมีเซ็นเซอร์ขนาดใหญ่เพียงตัวเดียว “ พวกเขายังอ้างว่ามันจะเป็นคุณภาพของ D-SLR” Etchells กล่าว แต่ในการทดสอบภาคสนามของพวกเขาทรัพยากรการถ่ายภาพพบว่านี่ไม่ใช่กรณี

มีปัญหาอื่น ๆ รวมถึงบริเวณบางส่วนของภาพถ่ายที่มีสัญญาณรบกวนมากเกินไป "แม้ในบริเวณที่สว่างของภาพ … และไม่มีช่วงไดนามิกใด ๆ : เงาเพิ่งเสียบเข้าทันที" Etchells กล่าวซึ่งหมายความว่าแน่นอน ส่วนต่างๆของรูปภาพ - รวมถึงภาพตัวอย่างที่ บริษัท ใช้ในการโปรโมตกล้อง - แทบไม่มีรายละเอียดใด ๆ ในเงา

“ มันเป็นเพียงแค่ภัยพิบัติในที่แสงน้อย” Etchells กล่าว ระยะเวลามันไม่ได้เป็นกล้องที่ดีมาก ๆ "

อะไรต่อไป?

แม้จะมีข้อบกพร่องเหล่านี้ แต่หลาย บริษัท ก็กำลังประสบความสำเร็จในการนำระบบประมวลผลการถ่ายภาพมาใช้ใหม่ ในบางกรณีพวกเขาพร่ามัวเส้นแบ่งระหว่างสิ่งที่ถือว่าเป็นภาพถ่ายและสื่อประเภทอื่น ๆ เช่นวิดีโอและ VR (ความจริงเสมือน)

ตัวอย่างเช่น Google จะขยายแอป Google Photos โดยใช้ AI (ปัญญาประดิษฐ์) สำหรับคุณสมบัติใหม่รวมถึงการปรับภาพขาวดำ Microsoft กำลังใช้ AI ในแอพ Pix สำหรับ iOS เพื่อให้ผู้ใช้สามารถเพิ่มนามบัตรลงใน LinkedIn ได้อย่างราบรื่น ในไม่ช้า Facebook จะเปิดตัวคุณลักษณะรูปถ่าย 3 มิติซึ่ง "เป็นประเภทสื่อใหม่ที่ช่วยให้ผู้คนสามารถบันทึกช่วงเวลา 3 มิติได้ทันทีโดยใช้สมาร์ทโฟนเพื่อแชร์บน Facebook" และในแอพ Lightroom ของ Adobe ช่างภาพมือถือสามารถใช้คุณสมบัติ HDR และถ่ายภาพในรูปแบบไฟล์ RAW

VR และการถ่ายภาพเชิงคำนวณ

ในขณะที่อุปกรณ์มือถือและแม้กระทั่งกล้องแบบสแตนด์อโลนกำลังใช้การถ่ายภาพเชิงคำนวณด้วยวิธีที่น่าสนใจ มากกว่า กรณีการใช้งานที่มีประสิทธิภาพมาจากโลกของแพลตฟอร์มที่ขยายความเป็นจริงเช่น VR และ AR (ความเป็นจริงยิ่ง) สำหรับเจมส์จอร์จซีอีโอและผู้ร่วมก่อตั้ง Scatter สตูดิโอสื่อดื่มด่ำในนิวยอร์กถ่ายภาพเชิงคำนวณ คือ เปิดหนทางใหม่สำหรับศิลปินในการแสดงวิสัยทัศน์ของพวกเขา

"ที่ Scatter เราเห็นการถ่ายภาพเชิงคำนวณเป็นแกนกลางที่เปิดใช้งานเทคโนโลยีของสาขาวิชาความคิดสร้างสรรค์ใหม่ที่เรากำลังพยายามบุกเบิก … การเพิ่มการคำนวณสามารถเริ่มสังเคราะห์และจำลองสิ่งเดียวกันที่ดวงตาของเราทำกับภาพที่เรา ดูในสมองของเรา "จอร์จกล่าว

เป็นหลักมันมาลงปัญญา เราใช้สมองของเราเพื่อคิดและเข้าใจภาพที่เรารับรู้

“ คอมพิวเตอร์เริ่มมองเห็นโลกและมองเห็นสิ่งต่าง ๆ และทำความเข้าใจกับสิ่งที่พวกเขาทำในแบบเดียวกับที่เราทำได้” จอร์จกล่าว ดังนั้นการถ่ายภาพเชิงคำนวณจึงเป็น "ชั้นการสังเคราะห์และสติปัญญาที่เพิ่มขึ้นซึ่งนอกเหนือไปจากการถ่ายภาพที่บริสุทธิ์ แต่จริงๆแล้วเริ่มที่จะจำลองประสบการณ์ของมนุษย์ในการรับรู้บางสิ่ง"

วิธีที่ Scatter ใช้การถ่ายภาพเชิงคำนวณเรียกว่าการ ถ่ายภาพเชิงปริมาตร ซึ่งเป็นวิธีการบันทึกเรื่องจากมุมมองที่หลากหลายจากนั้นใช้ซอฟต์แวร์เพื่อวิเคราะห์และสร้างมุมมองเหล่านั้นทั้งหมดในรูปแบบสามมิติ (ทั้งรูปถ่ายและวิดีโอสามารถเป็นปริมาตรและปรากฏเป็นโฮโลแกรมแบบสามมิติที่คุณสามารถเคลื่อนที่ไปมาได้ภายในประสบการณ์ VR หรือ AR) "ฉันสนใจเป็นพิเศษในความสามารถในการสร้างสิ่งต่าง ๆ ในแบบสองมิติ "จอร์จพูดว่า "ในความทรงจำของเราถ้าเราเดินผ่าน พื้นที่ จริง ๆ แล้วเราสามารถระลึกเชิงพื้นที่ที่สิ่งต่าง ๆ มีความสัมพันธ์ซึ่งกันและกัน "

จอร์จบอกว่า Scatter นั้นสามารถสกัดและสร้างพื้นที่ที่ "สามารถนำทางได้อย่างอิสระและอิสระในแบบที่คุณสามารถเคลื่อนที่ผ่านได้เช่นวิดีโอเกมหรือโฮโลแกรมมันเป็นสื่อใหม่ที่เกิดจาก จุดตัดระหว่างวิดีโอเกมกับการสร้างภาพยนตร์ที่การถ่ายภาพเชิงคำนวณและการสร้างภาพยนตร์เชิงปริมาตรช่วยให้ "

เพื่อช่วยให้ผู้อื่นผลิต VR ปกป้องปริมาตร Scatter ได้พัฒนา DepthKit ซึ่งเป็นแอพพลิเคชั่นซอฟต์แวร์ที่ช่วยให้ผู้สร้างภาพยนตร์ใช้ประโยชน์จากเซ็นเซอร์ความลึกจากกล้องเช่น Microsoft Kinect เป็นอุปกรณ์เสริมสำหรับกล้องวิดีโอ HD ในการทำเช่นนั้น DepthKit ซึ่งเป็น CGI และซอฟต์แวร์วิดีโอไฮบริดจะสร้างรูปแบบ 3 มิติที่เหมือนจริง "เหมาะสำหรับการเล่นตามเวลาจริงในโลกเสมือนจริง" George กล่าว

Scatter ได้ผลิตประสบการณ์ VR ที่ทรงพลังมากมายกับ DepthKit โดยใช้การถ่ายภาพเชิงคำนวณและเทคนิคการสร้างภาพยนตร์เชิงปริมาตร ในปี 2014 จอร์จร่วมมือกับโจนาธานมินาร์ดในการสร้าง "คลาวด์" ซึ่งเป็นสารคดีสำรวจศิลปะของรหัสซึ่งรวมถึงองค์ประกอบแบบอินเทอร์แอคทีฟ ในปี 2560 Scatter ได้ทำการดัดแปลง VR จากภาพยนตร์ Zero Days โดยใช้ VR เพื่อให้มุมมองที่เป็นเอกลักษณ์ในโลกสงครามไซเบอร์ที่มองไม่เห็น - เพื่อดูสิ่งต่าง ๆ จากมุมมองของไวรัส Stuxnet

หนึ่งในโครงการที่เกี่ยวข้องกับ DepthKit ที่ทรงพลังที่สุดคือ "เทอร์มินัล 3" ซึ่งเป็นประสบการณ์ที่เติมความเป็นจริงของศิลปินชาวปากีสถาน Asad J. Malik ซึ่งเปิดตัวเมื่อต้นปีที่เทศกาลภาพยนตร์ TriBeCa ประสบการณ์ช่วยให้คุณก้าวเข้าสู่รองเท้าของเจ้าหน้าที่ตระเวนชายแดนของสหรัฐอเมริกาผ่านทาง Microsoft HoloLens และซักถามโฮโลแกรม 3 มิติที่เหมือนผีของคนที่ดูเหมือนจะเป็นมุสลิม (มีทั้งหมดหกตัวอักษรที่คุณสามารถสัมภาษณ์ได้)

“ ซาดเป็นชนพื้นเมืองของปากีสถานที่อพยพไปยังสหรัฐอเมริกาเพื่อเข้าเรียนในวิทยาลัยและมีประสบการณ์ด้านลบที่น่าสนใจเกี่ยวกับภูมิหลังของเขาและสาเหตุที่เขาอยู่ที่นั่นด้วยเหตุนี้เขาจึงสร้าง 'เทอร์มินัล 3'” จอร์จกล่าว

หนึ่งในกุญแจสู่สิ่งที่ทำให้เกิดประสบการณ์ที่น่าสนใจคือทีมของมาลิกที่ 1RIC สตูดิโอเพิ่มความเป็นจริงของเขาใช้ DepthKit เปลี่ยนวิดีโอให้เป็นโฮโลแกรมเชิงปริมาตรซึ่งสามารถนำเข้าสู่เอนจิ้นวิดีโอเกมแบบเรียลไทม์เช่น Unity หรือ 3D เครื่องมือกราฟิกเช่น Maya และ Cinema 4D ด้วยการเพิ่มข้อมูลเซ็นเซอร์ความลึกจาก Kinect ไปยังวิดีโอ D-SLR เพื่อวางตำแหน่งโฮโลแกรมภายในพื้นที่เสมือน AR อย่างถูกต้องซอฟต์แวร์ DepthKit จะเปลี่ยนวิดีโอให้เป็น การคำนวณ วีดีโอ กระดานหมากรุกสีดำและสีขาวใช้สำหรับปรับเทียบ D-SLR และ Kinect ด้วยกันจากนั้นกล้องทั้งสองสามารถใช้พร้อมกันเพื่อถ่ายภาพปริมาตรและวิดีโอ

• 10 เคล็ดลับด่วนในการแก้ไขรูปภาพที่ไม่ดีของคุณ 10 เคล็ดลับด่วนสำหรับแก้ไขรูปภาพที่ไม่ดีของคุณ
• 10 เคล็ดลับการถ่ายภาพดิจิตอลขั้นพื้นฐาน 10 เคล็ดลับการถ่ายภาพดิจิตอลขั้นพื้นฐาน 10 เคล็ดลับ
• 10 เคล็ดลับและเทคนิคง่าย ๆ สำหรับภาพถ่ายสมาร์ทโฟนที่ดีขึ้น 10 เคล็ดลับและเทคนิคง่าย ๆ สำหรับรูปภาพสมาร์ทโฟนที่ดีขึ้น

เนื่องจากประสบการณ์ AR เหล่านี้ที่สร้างขึ้นด้วย DepthKit คล้ายกับวิธีการทำงานของวิดีโอเกมประสบการณ์เช่น "เทอร์มินัล 3" จึงสามารถสร้างเอฟเฟกต์โต้ตอบที่ทรงพลังได้ ยกตัวอย่างเช่นจอร์จกล่าวว่ามาลิกช่วยให้โฮโลแกรมเปลี่ยนรูปแบบได้เมื่อคุณซักถาม: ในระหว่างการสอบสวนคำถามของคุณจะถูกกล่าวหาโฮโลแกรมจะลบล้างและดูเหมือนมนุษย์น้อยลง “ แต่เมื่อคุณเริ่มที่จะเรียกชีวประวัติของบุคคลประสบการณ์ของตัวเองและค่านิยมของพวกเขา” จอร์จกล่าว“ โฮโลแกรมนั้นเริ่มเติมและกลายเป็นเหมือนจริงมากขึ้น”

ในการสร้างเอฟเฟ็กต์ที่ละเอียดอ่อนนี้เขาบอกว่าคุณสามารถไตร่ตรองถึงการรับรู้ของผู้สอบสวนและวิธีที่พวกเขาอาจเห็นคน "เป็นเพียงสัญลักษณ์แทนบุคคลจริงที่มีเอกลักษณ์และความเป็นตัวตนที่แท้จริง" ในทางหนึ่งก็สามารถให้ผู้ใช้มีระดับความเข้าใจที่สูงขึ้น “ ผ่านการแจ้งเตือนหลายชุดที่คุณได้รับอนุญาตให้ถามคำถามหนึ่งคำถามหรืออีกคำถามหนึ่ง” จอร์จกล่าว“ คุณต้องเผชิญหน้ากับอคติของคุณเองและในเวลาเดียวกัน

เช่นเดียวกับเทคโนโลยีที่เกิดขึ้นใหม่ที่สุดการถ่ายภาพเชิงคำนวณกำลังประสบกับความสำเร็จและความล้มเหลว ซึ่งหมายความว่าคุณสมบัติที่สำคัญบางอย่างหรือเทคโนโลยีทั้งหมดอาจมีอายุสั้น ใช้ Lytro: ในปี 2560 ก่อนที่ Google จะซื้อ บริษัท รูปภาพของ Lytro shutteredlylytro.com ดังนั้นคุณจึงไม่สามารถโพสต์ภาพบนเว็บไซต์หรือโซเชียลมีเดียอีกต่อไป สำหรับผู้ที่คิดถึงมันพานาโซนิคมีคุณสมบัติการโฟกัสเหมือน Lytro ที่เรียกว่า Post Focus ซึ่งได้รวมไว้ในกล้องมิเรอร์เลสระดับไฮเอนด์และจุดและการถ่ายภาพ

เครื่องมือและคุณสมบัติการถ่ายภาพเชิงคอมพิวเตอร์ที่เราเห็นมานั้นเป็นเพียงแค่ เริ่มต้น . ฉันคิดว่าเครื่องมือเหล่านี้จะมีพลังมากขึ้นไดนามิกและใช้งานง่ายมากขึ้นเนื่องจากอุปกรณ์พกพาได้รับการออกแบบด้วยกล้องและเลนส์ที่มีความหลากหลายมากขึ้นตัวประมวลผลออนบอร์ดที่ทรงพลังและความสามารถในการสร้างเครือข่ายมือถือที่กว้างขวางขึ้น ในอนาคตอันใกล้นี้คุณอาจเริ่มเห็นสีที่แท้จริงของการถ่ายภาพคอมพิวเตอร์