Mixed Reality คืออะไร

หลังจากที่ Facebook หรือ Meta ได้มีการประกาศเรื่อง Metaverse ขึ้นมาทำให้กระแสในด้านของเทคโนโลยี VR และ AR เป็นที่พูดถึงกันอย่างมากในขณะนี้ ซึ่งวันนี้ผมจะขอพาเพื่อนๆ ไปรู้จักกับเทคโนโลยีอย่าง MR หรือ Mixed Reality กันครับ

Mixed Reality  คืออะไร

Mixed Reality (MR) คือเทคโนโลยีที่มีการผสมผสานกันระหว่าง Virtual Reality (VR) กับ Augmented Reality (AR) 

 

Mixed Reality หรือชื่อภาษาไทยว่า ความเป็นจริงผสมหรือความเป็นจริงแบบไฮบริด คือจะอยู่กึ่งกลางระหว่างความจริงเสริม (AR) และความเป็นจริงเสมือน (VR)  ซึ่งมีเนื้อหาดิจิทัล (ข้อมูลที่ถูกสร้างด้วยคอมพิวเตอร์ เช่น โมเดล 3D ฉาก หรือวัตถุต่างๆนั่นเอง ) ถูกซ้อนทับในโลกความจริงและโต้ตอบกับสภาพแวดล้อมของผู้ใช้แบบเรียลไทม์ ดังนั้นในการโต้ตอบใน MR จะใช้แว่นตากึ่งโปร่งใสหรือ MR headsets ที่ติดตั้งกล้อง (เพื่อถ่ายหรือบันทึกภาพและแสดงสภาพแวดล้อมให้ผู้ใช้)

 

Mixed Reality ใช้งานอะไรได้บ้าง

• ใช้ในการฝึกปฏิบัติงานระยะไกล
• พัฒนาเป็นเกม 
• พัฒนาแอปพลิเคชันต่างๆ 

 

Augmented Reality (AR) 

Augmented Reality คือการสร้างข้อมูลหรือโมเดลเป็นดิจิทัล หรือข้อมูลที่สร้างมาจากโปรแกรมต่างๆ ในโลกเสมือนทั้งที่เป็น รูปทรง ข้อความ ตัวอักษร ตัวละคร ทุกอย่างที่เป็น 3 มิติให้มาซ้อนทับกับภาพในโลกจริงโดยจะปรากฏบนหน้าจอในอุปกรณ์ของเรานั้นเอง ถ้านึกไม่ออกให้ลองโหลดเกม Pokémon GO มาลองเล่นครับ 

 

ตัวอย่างโปรเจคเกี่ยวกับ AR ที่น่าสนใจลองเล่นดูได้ครับ

ที่มาภาพ: 43 Augmented Reality Projects & Tutorials for Beginners and Up (hackster.io)

 

Virtual Reality (VR)

Virtual Reality (VR) คือโลกเสมือนที่สภาพแวดล้อมถูกสร้างด้วยคอมพิวเตอร์ซึ่งมีฉากและวัตถุที่ดูเหมือนของจริง โลกเสมือนนี้สามารถรับรู้และมีการโต้ตอบผ่านอุปกรณ์ Virtual Reality headset หรือ helmet VR ช่วยให้เราสามารถเกม หรือ เรียนรู้สิ่งต่างๆในโลกเสมือนได้

 

แล้ว AR VR MR แตกต่างกันอย่างไรหล่ะ

• AR คือของในโลกเสมือนมาซ้อนในโลกจริง 
• VR คือเอาตัวเราเข้าไปอยู่ในสภาพแวดล้อมเสมือน 
• MR คือการผสมกันทั้ง VR  และ MR

 

แล้ว Mixed Reality ใช้กับอุปกรณ์อะไรได้บ้างหละ

ในตอนนี้อุปกรณ์ที่ใช้กับเทคโนโลยี Semi-Transparent glasses (แว่นตากึ่งโปร่งแสง) หรือ MR headsets ที่รู้จักกันดีในปัจจุบันจะมี Microsoft HoloLens และ Magic Leap One ครองตลาดอยู่

 

HoloLens 

ที่มาภาพ: Explore mixed reality devices – Learn | Microsoft Docs

 

Magic Leap One 

ที่มาภาพ: black, glasses, floor, goggles, accessories, accessory, sunglasses, vr | Piqsels

 

และยังสามารถดูรายละเอียดอุปกรณือื่นๆที่รองรับ MR ได้ที่ 

The 9 best mixed reality headsets of 2021 (aniwaa.com)

 

รู้จักกับ Mixed Reality spectrum

ที่มาภาพ: What is mixed reality? – Learn | Microsoft Docs

 

ในการซ้อนทับกันของโลกจริง (physical reality) กับโลกเสมือน (digital reality) ก็มี “ระดับ” (spectrum) ซึ่ง Mixed Reality จะอยู่ตรงกลางระหว่างโลกจริง (physical reality) กับโลกเสมือน (digital reality) 

ที่มาภาพ: What is mixed reality? – Learn | Microsoft Docs

 

แม้ว่าจะไม่มีอุปกรณ์ใดที่สามารถเรียกใช้สเปกตรัมความเป็นจริงผสมทั้งหมดในปัจจุบัน แต่ความหวังก็คืออุปกรณ์โฮโลแกรมในอนาคตจะมีความสมจริงมากขึ้น 

 

holograms คืออะไร

โฮโลแกรมเป็นวัตถุดิจิทัลที่แสดงขึ้นรอบตัวผู้ใช้ที่สวม MR Headsets  โฮโลแกรมถูกสร้างขึ้นจากแสงและเสียง สามารถตั้งโปรแกรมโฮโลแกรมเพื่อโต้ตอบกับการดูของตาเรา ท่าทาง หรือการป้อนข้อมูลด้วยเสียงของผู้ใช้ ตัวอย่างคือการหมุนแผนอาคารดิจิทัลด้วยการแตะนิ้วหรือโบกมือ

สามารถวางโฮโลแกรมในตำแหน่งที่เราต้องการในโลกจริงได้ ผู้ใช้สามารถเดินไปรอบๆ หรือห่างออกไป และให้โฮโลแกรมอยู่กับที่ มีการโต้ตอบกับวัตถุได้มากขึ้น

 

เอ๋ แล้วสงสัยมั้ยครับว่าเราจะออกแบบและพัฒนา mixed reality อย่างไรได้บ้าง

 

ออกแบบและพัฒนา mixed reality 

ที่มาภาพ: Design and develop in mixed reality – Learn | Microsoft Docs

 

Bodystorming

Bodystorming เป็นกระบวนการสร้างปฏิสัมพันธ์ในการสร้างต้นแบบ วัตถุดิจิทัล UI และแอนิเมชั่นโดยใช้วัสดุในการประดิษฐ์ ใครก็ตามที่เกี่ยวข้องกับกระบวนการออกแบบสามารถทดลองใช้การโต้ตอบ คุณลักษณะและกลไกต่างๆ ที่เสนอมาโดยไม่ต้องสร้างต้นแบบทั้งหมด เป้าหมายของการระดมความคิดคือการได้รับข้อมูลที่สามารถนำไปใช้ได้ 

 

Acting and feedback

หลังจากได้ผ่านนการระดมความคิดแล้ว ขั้นตอนต่อไปคือการกำหนดวิธีที่ผู้ใช้จะใช้งานและประสบการณ์ของที่จะได้รับของ Mixed Reality แพลตฟอร์มที่ได้พัฒนาขึ้นมา ขั้นตอนการแสดงผลเป็นการทดสอบแนวคิดที่ได้ระดมไอเดียในโลกสามมิติ 

 

Storyboard

การเลือกวิธีที่ดีที่สุดในในแนวคิดและประสบการณ์ที่เสนอขึ้นมาจะขึ้นอยู่กับกลุ่มเป้าหมายผู้ใช้หากมีแนวคิดใหม่ๆ ทีมพัฒนาอาจจะมีการระดมความคิดและการแสดงประสบการณ์หรือเนื้อหาใหม่อาจมากเกินไปที่จะทำให้งานเสร็จทันเวลาที่กำหนดได้ จึงจำเป็นที่จะต้องมีการวาง storyboard ก่อน

 

เครื่องมือพัฒนา Mixed Reality 

เมื่อพูดถึงการทำงานกับโฮโลแกรมในแอปพลิเคชันของคุณ เป็นการง่ายที่สุดที่จะใช้เครื่องมือพัฒนาที่สร้างไว้ล่วงหน้าของ Microsoft เช่น Mixed Reality Toolkit (MRTK) สำหรับ Unity และ Unreal Engine MRTK เป็นชุดพัฒนาข้ามแพลตฟอร์มแบบโอเพนซอร์สที่จัดเตรียมระบบอินพุต ส่วนประกอบพื้นฐาน และส่วนประกอบพื้นฐานสำหรับการโต้ตอบเชิงพื้นที่

 

มาลองสร้างฉาก 3 มิติสำหรับ Mixed Reality ใน Unity กันเถอะ

1.โปรแกรม Unity แล้วไปที่ Assets > Scenes > MainScene. 

ที่มาภาพ: Exercise – Build wind farm terrain – Learn | Microsoft Docs

 

2.ใน Project Panel เปิด Assets > Art > Prefabs folder ลาก Terrain Model ที่ชื่อว่าStatic Terrain มายัง scene editor ตรงหน้าต่าง Inspector ด้านขวามือ ไปที่ Position, Rotation, and Scale ปรับให้พิกัดเป็นดังนี้ (X = -1.25, Y = -0.59, Z = 2) เพื่อทำให้ Static Terrain อยู่ด้านหน้าและซ้ายมือของผู้ใช้เมื่อเริ่มต้น

ที่มาภาพ: Exercise – Build wind farm terrain – Learn | Microsoft Docs

 

3.ต่อไปจะเป็นการเพิ่ม dynamic terrain และ กำหนดค่าฟีดข้อมูลของ Bing Maps 

ใน Hierarchy panel ไปที่ Assets > Art > Prefabs > Bing Maps Design

4.เลือกอินสแตนซ์ใหม่ของ Prefab ใน hierarchy panel และขยายส่วนประกอบ Map Session ใน Inspector แล้วป้อน  Developer Key สามารถสร้าง  Developer Key ได้ที่ Creating a Bing Maps Account – Bing Maps | Microsoft Docs

ที่มาภาพ: Exercise – Build wind farm terrain – Learn | Microsoft Docs

 

5.ตั้งค่าตำแหน่งและการตั้งค่าเค้าโครงแผนที่ต่อไปนี้

ที่มาภาพ: Exercise – Build wind farm terrain – Learn | Microsoft Docs

 

6.ขยายองค์ประกอบของ Transform component ใน Inspector และตรวจสอบตำแหน่งของแผนที่โดยใช้พิกัดตำแหน่ง (X = 0, Y = -0.7, Z = 2) เพื่อให้ทั้งสองแผนที่วางใกล้กัน

ที่มาภาพ: Exercise – Build wind farm terrain – Learn | Microsoft Docs

 

7.บันทึกฉากภายใต้ตัวเลือก File > Save  แล้วกดปุ่ม Play และไปที่ Game panel

ที่มาภาพ: Exercise – Build wind farm terrain – Learn | Microsoft Docs

 

จะเห็นได้ว่าความแตกต่างระหว่าง Static Terrain และ Dynamic Terrain (Bing Maps) ภาจะมีความละเอียดสูงกว่าใน Static Terrain

 

แหล่งเรียนรู้เด็ดๆ ด้าน MR VR AR  สามารถศึกษาเพิ่มเติมได้ที่ 🚀

Introduction to mixed reality – Learn | Microsoft Docs