DGX Spark กับเวิร์กสเตชัน GPU

คำถามนี้มาถึงเราบ่อยที่สุดหลังจากลูกค้าเห็นเครื่อง DGX Spark ครั้งแรก เครื่องขนาดเท่ากล่องอาหารกลางวันที่โฆษณาว่ารันโมเดลใหญ่ได้ ดูน่าสนใจกว่าเวิร์กสเตชันตัวใหญ่ที่ราคาใกล้กัน คำตอบสั้นๆ คือ ทั้งสองแบบทำคนละงาน และตัวเลขที่ทำให้ต่างกันคือแบนด์วิดท์หน่วยความจำ

ทำไมแบนด์วิดท์ถึงสำคัญกว่าที่คิด

เวลาโมเดลภาษาสร้างข้อความ มันต้องอ่านน้ำหนักของตัวเองซ้ำทุกครั้งที่สร้างหนึ่ง token ความเร็วในการอ่านนั้นคือแบนด์วิดท์หน่วยความจำ เครื่องที่มีหน่วยความจำรวม 128 GB แต่แบนด์วิดท์ 273 GB/s จึงโหลดโมเดลใหญ่ได้จริง แต่ตอบช้ากว่าการ์ดที่มีแบนด์วิดท์ระดับ 1,792 GB/s อย่างเห็นได้ชัด

แปลเป็นภาษาการใช้งาน เครื่องเดสก์ท็อปแบบ unified memory เหมาะกับการโหลดโมเดลใหญ่ไว้ลอง ปรับจูน และพัฒนาแอปให้เสร็จก่อนย้ายขึ้นเครื่องจริง ส่วนเวิร์กสเตชันการ์ดแยกเหมาะกับการให้คนใช้งานจริงทุกวัน

เลือกแบบไหนดี

• เลือกเครื่องเดสก์ท็อป unified memoryเมื่อคุณเป็นนักพัฒนาหรือทีมวิจัยที่ต้องแตะโมเดลใหญ่หลายตัว ไม่ต้องการความเร็วสูงสุด และอยากได้เครื่องที่วางบนโต๊ะแล้วเสียบปลั๊กบ้านได้
• เลือกเวิร์กสเตชันการ์ดแยกเมื่อมีทีมใช้งานจริงทุกวัน ต้องการให้ตอบเร็วพอที่คนจะใช้ซ้ำ และยังไม่ถึงขั้นต้องมีห้องเซิร์ฟเวอร์
• เลือกเซิร์ฟเวอร์หลาย GPUเมื่อทั้งองค์กรจะใช้ หรือเมื่อคุณตั้งใจจะเทรนโมเดลของตัวเอง และมีห้องที่รองรับไฟกับความร้อนได้

ค่าใช้จ่ายที่คนมักลืมนับ

ราคาเครื่องคือส่วนหนึ่งของงบเท่านั้น สิ่งที่มักโผล่มาทีหลังคือ

• วงจรไฟที่ต้องเดินใหม่ เมื่อการ์ดกินไฟหลายร้อยวัตต์ต่อใบ
• เครื่องปรับอากาศหรือการระบายความร้อนของห้องที่ไม่ได้ออกแบบมาเพื่อเครื่องแบบนี้
• UPS ที่ใหญ่พอจริง ไม่ใช่ตัวที่ใช้กับพีซีสำนักงาน
• เครือข่ายและสตอเรจที่เร็วพอจะป้อนข้อมูลให้ GPU ทัน
• คนที่ดูแลระบบต่อหลังติดตั้งเสร็จ

เราคิดค่าใช้จ่ายเหล่านี้ให้ตั้งแต่ตอนเสนอ เพราะระบบที่ติดตั้งแล้วใช้ไม่ได้เพราะไฟไม่พอ แพงกว่าการเลือกเครื่องผิดรุ่นเสียอีก