Adobe เผยข้อมูล Super Resolution เป็นฟีเจอร์ใหม่ล่าสุดใน Camera Raw 13.2 และจะพร้อมใช้งานใน Lightroom และ Lightroom Classic เร็วๆ นี้ สำหรับบล็อกโพสต์นี้ เราจะอธิบายเกี่ยวกับลักษณะและวิธีการทำงานของฟีเจอร์ดังกล่าว รวมถึงวิธีการใช้ฟีเจอร์นี้ให้เกิดประโยชน์สูงสุด
เมื่อสองปีที่แล้ว เราได้เปิดตัวฟีเจอร์ Enhance Details ซึ่งใช้เทคโนโลยี Machine Learning เพื่อเติมเต็มพิกเซลให้กับไฟล์ Raw โดยมีความใกล้เคียงกับต้นฉบับอย่างมาก ทำให้ภาพที่ออกมามีรายละเอียดที่คมชัดและแทบไม่มีสิ่งแปลกปลอมปรากฏให้เห็น
วันนี้เราได้เปิดตัวฟีเจอร์ Enhance ตัวที่สอง นั่นคือ Super Resolution คำว่า “Super Resolution” หมายถึงกระบวนการปรับปรุงคุณภาพของภาพถ่ายด้วยการเพิ่มความละเอียดที่ชัดเจน โดยมากแล้วการขยายภาพถ่ายมักจะทำให้รายละเอียดดูพร่ามัว แต่ Super Resolution มีอาวุธลับพิเศษ นั่นคือ โมเดล Machine Learning ขั้นสูง ที่ผ่านการเรียนรู้จากภาพถ่ายหลายล้านภาพ ดังนั้น Super Resolution จึงสามารถขยายภาพถ่ายได้อย่างชาญฉลาด โดยยังคงรักษาขอบภาพที่เรียบเนียน และเก็บรายละเอียดสำคัญๆ เอาไว้อย่างครบถ้วน
รายละเอียดเกี่ยวกับ Machine Learning อาจฟังดูซับซ้อน นั่นเป็นเพราะว่าเทคโนโลยีดังกล่าวมีความซับซ้อน แต่ไม่ต้องกังวล เพราะฟีเจอร์ Super Resolution ที่เราสร้างขึ้นโดยใช้เทคโนโลยีนี้ ใช้งานได้ง่ายมาก เพียงแค่กดปุ่ม และรอดูภาพถ่าย 10 ล้านพิกเซลที่จะกลายร่างเป็นภาพถ่าย 40 ล้านพิกเซลภายในพริบตา
คุณต้องการพิกเซลเพิ่มมากขึ้นจริงหรือ?
คุณอาจคิดว่า “นี่ปี 2564 แล้ว เรายังมาคุยเรื่องกี่ล้านพิกเซลกันอีกหรือ?” ทุกวันนี้กล้องรุ่นใหม่ก็ให้ความละเอียดตั้งหลายล้านพิกเซล ที่จริงแล้วเมื่อก่อนนี้เราคิดกันว่า 6 ล้านพิกเซลก็เหลือเฟือแล้ว จากนั้นความละเอียด 12 ล้านพิกเซลก็เข้ามาแทนที่ 6 ล้านพิกเซล และตอนนี้ก็เพิ่มเป็น 24 ล้านพิกเซล และยังมีกล้องบางรุ่นที่ให้ความละเอียดสูงถึง 40-100 ล้านพิกเซล ด้วยจำนวนพิกเซลที่มากมายขนาดนี้ เราจะยังต้องการพิกเซลเพิ่มเติมไปอีกทำไม?
หลังจากที่เราได้พูดถึงกรณีการใช้งานสำหรับ Super Resolution กันไปแล้ว ต่อไปเราจะพูดถึงเทคโนโลยีที่รองรับ Super Resolution
Super Resolution ทำงานอย่างไร?
ฝ่ายวิจัยของอะโดบีได้พัฒนาเทคโนโลยีหลักที่อยู่เบื้องหลัง Super Resolution โดยมีการเทรนคอมพิวเตอร์ให้เรียนรู้จากชุดภาพถ่ายตัวอย่างจำนวนมาก กล่าวคือ เราใช้ชุดภาพถ่ายความละเอียดต่ำและภาพถ่ายความละเอียดสูงที่จับคู่กันจำนวนหลายล้านชุด เพื่อให้คอมพิวเตอร์ศึกษาวิธีการขยายขนาดของภาพถ่ายความละเอียดต่ำ
การเทรนคอมพิวเตอร์ให้ทำงานบางอย่างอาจฟังดูยุ่งยากซับซ้อน แต่ในแง่หนึ่งก็เหมือนกับการสอนเด็กเล็ก กล่าวคือ คุณจะต้องให้โครงสร้างและตัวอย่างที่เพียงพอ และไม่นานนักคอมพิวเตอร์ก็จะสามารถทำงานนั้นได้ด้วยตัวเอง ในกรณีของ Super Resolution โครงสร้างพื้นฐานคือสิ่งที่เราเรียกว่า “Deep Convolutional Neural Network” ซึ่งหมายความว่าสิ่งที่เกิดขึ้นกับพิกเซลหนึ่งๆ ขึ้นอยู่กับพิกเซลที่อยู่รอบๆ กล่าวคือ ในการค้นหาวิธีการสุ่มตัวอย่างพิกเซลหนึ่งๆ คอมพิวเตอร์จำเป็นต้องใช้ข้อมูลบริบทซึ่งได้มาจากพิกเซลที่ล้อมรอบ เหมือนกับการที่เราเห็นว่าคำศัพท์คำหนึ่งถูกใช้ในประโยคอย่างไร ก็จะช่วยให้เราเข้าใจความหมายของคำๆนั้นมากขึ้น
การเทรนโมเดล Machine Learning เป็นกระบวนการที่ต้องอาศัยการประมวลผลอย่างหนัก และอาจใช้เวลาหลายวันหรือหลายสัปดาห์ เรามี ingredients บางอย่างที่โดดเด่นในกระบวนการเทรนสำหรับ Super Resolution โดยหนึ่งในนั้นคือ ไฟล์ Raw แบบ Bayer และ X-Trans (ซึ่งใช้ในกล้องส่วนใหญ่) เราเทรนโดยใช้ข้อมูลดิบโดยตรง ซึ่งช่วยให้เราสามารถปรับปรุงคุณภาพได้อย่างครบวงจร กล่าวคือ เมื่อคุณใช้ฟีเจอร์ Super Resolution กับไฟล์ Raw คุณจะได้รับประโยชน์จาก Enhance Details ด้วยเช่นกัน
ปัจจัยสำคัญอีกอย่างหนึ่งที่เรามุ่งเน้นเป็นพิเศษในการเทรนคือ ตัวอย่างที่ท้าทาย เช่น พื้นที่ภาพที่มีพื้นผิวและรายละเอียดขนาดเล็กจำนวนมาก ซึ่งหลังจากถูกปรับขนาดแล้ว มักจะถูกมองว่าเป็นสิ่งแปลกปนในภาพ ท้ายที่สุดเราได้สร้างโมเดล Machine Learning เพื่อใช้ประโยชน์อย่างเต็มที่จากเทคโนโลยีแพลตฟอร์มล่าสุด เช่น CoreML และ Windows ML การใช้เทคโนโลยีเหล่านี้ช่วยให้โมเดลของเราทำงานได้อย่างรวดเร็วเต็มสปีดบนกราฟิกโปรเซสเซอร์ (GPU) รุ่นล่าสุด
จะใช้งานได้อย่างไร
คุณสามารถใช้ Super Resolution ได้อย่างง่ายดาย เพียงแค่คลิกขวาที่ภาพถ่าย (หรือกดปุ่ม Control ค้างไว้ขณะที่คลิกตามปกติ) แล้วเลือก “Enhance…” จากเมนูที่ปรากฏ ใน Enhance Preview dialog box ให้กาเลือกที่ช่อง Super Resolution box แล้วกด Enhance
คอมพิวเตอร์ของคุณจะคิดคำนวณและประมวลผลตัวเลขจำนวนมาก และจากนั้นก็สร้างไฟล์ Raw ในรูปแบบ Digital Negative (DNG) ซึ่งประกอบด้วยภาพถ่ายที่ปรับแล้ว การปรับเปลี่ยนที่คุณทำกับภาพถ่ายต้นฉบับจะถูกโอนไปยังไฟล์ DNG ดังกล่าวโดยอัตโนมัติ คุณสามารถแก้ไขไฟล์ DNG นั้นได้เหมือนกับภาพถ่ายอื่นๆ ทำการปรับแต่งหรือใช้ค่า Preset ตามที่คุณต้องการ ในส่วนของการแก้ไขภาพนั้น ขอแนะนำให้คุณตรวจสอบตัวเลือกการเพิ่มความคมชัด (Sharpening), การลด Noise และการตั้งค่าพื้นผิว (Texture) เพราะส่วนควบคุมเหล่านี้ส่งผลกระทบต่อรายละเอียดของภาพ และคุณอาจจำเป็นต้องปรับแต่งเพิ่มเติมเพื่อให้ภาพถ่ายดูดีที่สุด
Super Resolution เพิ่มความละเอียดเชิงเส้น (Linear Resolution) ของภาพถ่ายเป็นสองเท่า ดังนั้นผลลัพธ์ที่ได้จะมีความกว้างและความสูงเป็นสองเท่าเมื่อเทียบกับภาพถ่ายต้นฉบับ หรือสี่เท่าของจำนวนพิกเซลทั้งหมด ตัวอย่างเช่น ภาพถ่ายต้นฉบับต่อไปนี้มีความละเอียด 16 ล้านพิกเซล ดังนั้นเมื่อใช้ Super Resolution ภาพ DNG ที่ได้ก็จะมีความละเอียด 64 ล้านพิกเซล
ปัจจุบัน ภาพถ่ายถูกจำกัดไว้ไม่เกิน 65,000 พิกเซลตามด้านยาว และ 500 ล้านพิกเซล ถ้าคุณพยายามที่จะใช้ Super Resolution กับไฟล์ที่มีความละเอียดใกล้เคียงกับตัวเลขดังกล่าว เช่น ภาพพาโนรามาขนาดใหญ่ คุณก็จะได้รับ error message เพราะผลลัพธ์ที่ได้จะมีขนาดใหญ่เกินไป เรากำลังศึกษาวิธีที่จะขยายขอบเขตข้อจำกัดดังกล่าวในอนาคต แต่ตอนนี้ไม่ต้องกังวลจนเกินไป เพราะไฟล์ 500 ล้านพิกเซลก็เพียงพออยู่แล้ว
การใช้ Super Resolution กับไฟล์ Raw แบบ Bayer หรือ X-Trans จะเป็นการใช้ฟีเจอร์ Enhance Details ด้วยเช่นกัน การรวมขั้นตอนเหล่านี้เข้าด้วยกันจะช่วยเพิ่มประสิทธิภาพและคุณภาพให้สูงยิ่งขึ้น
นอกจากนี้ Super Resolution ยังใช้ได้กับไฟล์รูปแบบอื่นๆ เช่น JPEG, PNG และ TIFF ถ้าคุณใช้ Enhance บ่อยครั้ง คุณอาจพบว่าเคล็ดลับต่อไปนี้จะช่วยให้คุณทำงานได้รวดเร็วยิ่งขึ้น คุณสามารถใช้ Enhance กับรูปภาพหลายๆ รูปในคราวเดียวกัน โดยขั้นแรกคุณจะต้องเลือกรูปภาพที่ต้องการในแถบฟิล์ม จากนั้นก็เรียกใช้คำสั่ง Enhance กล่องโต้ตอบจะแสดงเฉพาะภาพตัวอย่างสำหรับภาพถ่ายแรกสุดเท่านั้น แต่ตัวเลือก Enhance จะถูกใช้กับภาพถ่ายทั้งหมดที่คุณเลือกไว้ นอกจากนี้คุณยังสามารถข้ามกล่องโต้ตอบทั้งหมด โดยกดปุ่ม Option (บน macOS) หรือ Alt (บน Windows) ก่อนที่จะเลือกคำสั่งเมนู Enhance การเลือกออพชั่น “headless” จะใช้การตั้งค่า Enhance settings ที่กำหนดไว้ก่อนหน้านี้
เคล็ดลับการใช้งาน Super Resolution เพื่อให้ได้ประโยชน์สูงสุด
ต่อไปนี้คือเคล็ดลับบางประการ ซึ่งจะช่วยให้คุณได้รับประโยชน์สูงสุดจาก Super Resolution
ใช้ไฟล์ Raw ทุกครั้งที่เป็นไปได้ โดยทั่วไปแล้วควรจะเริ่มต้นจากภาพถ่ายต้นฉบับที่สะอาดที่สุด ถ้าภาพถ่ายต้นฉบับมีสิ่งแปลกปนอยู่ (artifacts) เช่นที่มักจะเกิดขึ้นกับไฟล์ JPEG หรือ HEIC ที่มีการบีบอัดข้อมูลอย่างมาก สิ่งนั้นก็จะปรากฏให้เห็นอย่างชัดเจนมากขึ้นหลังจากที่ใช้ Super Resolution
GPU ที่มีความเร็วสูงกว่าจะช่วยให้คุณได้รับผลลัพธ์ที่รวดเร็วมากยิ่งขึ้น ทั้ง Enhance Details และ Super Resolution ทำการคำนวณหลายล้านครั้งและได้รับประโยชน์จาก GPU ที่รวดเร็ว สำหรับผู้ใช้แล็ปท็อป การติดตั้ง GPU ภายนอก (eGPU) จะสร้างความแตกต่างอย่างเห็นได้ชัด เพราะคุณจะสามารถประมวลผลภาพถ่ายหนึ่งภาพได้ภายในเวลาไม่กี่วินาที แทนที่จะต้องใช้เวลาหลายนาที
ถ้าคุณต้องการซื้อคอมพิวเตอร์เครื่องใหม่หรือ GPU ตัวใหม่ ให้มองหา GPU รุ่นที่ปรับแต่งเป็นพิเศษสำหรับเทคโนโลยี Machine Learning ของ CoreML และ Windows ML ตัวอย่างเช่น Neural Engine ในชิป Apple M1 ที่ได้รับการปรับแต่งเป็นพิเศษเพื่อเพิ่มประสิทธิภาพให้กับ CoreML ในทำนองเดียวกัน TensorCores ใน GPU รุ่น RTX series ของ NVIDIA ก็สามารถรัน Windows ML ได้อย่างมีประสิทธิภาพ ตลาด GPU มีการเปลี่ยนแปลงอย่างรวดเร็ว และคาดว่าอีกไม่นานจะมีการปรับปรุงประสิทธิภาพครั้งใหญ่เกิดขึ้นอย่างแน่นอน
Super Resolution สามารถสร้างไฟล์ที่มีขนาดใหญ่มาก ซึ่งจะต้องใช้เวลานานขึ้นในการอ่านข้อมูลจากดิสก์ ดังนั้นจึงขอแนะนำให้คุณใช้ไดรฟ์ความเร็วสูงอย่างเช่น โซลิทสเตทไดรฟ์ (Solid-State Drive หรือ SSD)
สุดท้ายนี้ คุณไม่จำเป็นต้องใช้ Super Resolution กับภาพถ่ายทุกภาพ นี่คือตัวเลือกใหม่สำหรับภาพถ่ายพิเศษและงานพิมพ์ชิ้นสำคัญที่จำเป็นต้องใช้ฟีเจอร์นี้จริงๆ สำหรับผม ผมมีภาพถ่ายหลายแสนภาพอยู่ในแคตตาล็อก แต่ผมใช้ Super Resolution กับภาพถ่ายเพียงไม่กี่ภาพเท่านั้น เพราะหลังจากที่คิดอย่างรอบคอบแล้ว ผมก็ตัดสินใจว่าตัวเองคงไม่ต้องการภาพถ่ายความละเอียด 100 ล้านพิกเซลสำหรับเจ้าแมวเหมียวของผม
ก้าวต่อไปคืออะไร?
Enhance Details เป็นฟีเจอร์ Enhance ตัวแรก และ Super Resolution เป็นฟีเจอร์ที่สอง และตอนนี้ Adobe กำลังมองหาหนทางที่จะขยายขีดความสามารถของ Super Resolution เพื่อสร้างภาพถ่ายที่มีขนาดใหญ่ขึ้นและมีรายละเอียดคมชัดมากขึ้น นอกจากนี้เรากำลังสำรวจการประยุกต์ใช้งานอื่นๆ ที่เป็นไปได้สำหรับเทคโนโลยีที่รองรับ เช่น การเพิ่มความคมชัด หรือการลด Noise ในภาพ ซึ่งจะช่วยให้ภาพถ่ายดูดีมากยิ่งขึ้น
