หลาย GPU หรือ VRAM สูง

เมื่อโมเดลเริ่มไม่พอดีกับ GPU หนึ่งใบ ทางเลือกมักเหลือสองแบบ คือ เพิ่มจำนวน GPU หรือเลือกการ์ดที่มี VRAM สูงกว่า คำตอบไม่ได้ขึ้นกับจำนวน VRAM รวมอย่างเดียว แต่ขึ้นกับว่าโมเดลต้องอยู่ในหน่วยความจำแบบไหน มีคนใช้พร้อมกันเท่าไร และทีมพร้อมดูแลเครื่องระดับใด

เริ่มจากหน่วยความจำที่โมเดลต้องใช้จริง

ก่อนเลือกจำนวนการ์ด ให้รวมค่าน้ำหนักโมเดล, KV cache และส่วนเผื่อของระบบ ก่อนเสมอ VRAM ที่พอดีกับน้ำหนักโมเดลเพียงอย่างเดียวมักไม่เหลือที่ให้บทสนทนา ยาวขึ้นหรือผู้ใช้เพิ่มขึ้น วิธีตั้งต้นอยู่ใน วิธีคำนวณ vram สำหรับโมเดลภาษา ซึ่งแยกสามก้อนนี้ไว้แล้ว

VRAM ของหลาย GPU ไม่ได้กลายเป็นพื้นที่เดียวโดยอัตโนมัติ รันไทม์ต้องแบ่งโมเดล และแลกเปลี่ยนข้อมูลระหว่างการ์ด จึงต้องดูทั้งวิธีแบ่งโมเดล, การเชื่อมต่อระหว่าง GPU และข้อจำกัดของซอฟต์แวร์ที่ใช้อยู่

เลือกการ์ด VRAM สูงเมื่ออยากให้ระบบเรียบง่าย

• โมเดลและ KV cache อยู่ในการ์ดใบเดียวได้ โดยยังมีส่วนเผื่อให้ระบบ
• ทีมต้องการเวิร์กสเตชันที่ติดตั้งและดูแลเหมือนเครื่องเดียว
• งานต้องย้ายโมเดลหรือทดลองหลายแบบ โดยไม่อยากตั้งค่าการแบ่งข้ามการ์ด

การ์ดใบเดียวที่มี VRAM มากทำให้เส้นทางข้อมูลสั้นกว่า แต่ไม่ได้ทำให้ทุกงานเหมาะ กับการ์ดใบเดียว ถ้าโมเดลหรือจำนวนผู้ใช้เกินเพดานของการ์ด การฝืนย่อส่วนเผื่อออก อาจทำให้แผนรองรับการใช้งานจริงไม่เหลือพื้นที่

เลือกหลาย GPU เมื่อขนาดงานต้องข้ามการ์ด

• โมเดล, context หรือผู้ใช้พร้อมกันเกินหน่วยความจำที่การ์ดใบเดียวรองรับ
• ระบบต้องขยายจากเวิร์กสเตชันไปสู่เครื่องระดับเซิร์ฟเวอร์
• ทีมมีแผนดูแลไฟ, ความร้อน, พื้นที่ และการเชื่อมต่อระหว่างการ์ด

หลาย GPU เพิ่มทั้งทางเลือกและภาระการวางระบบ การ์ดต้องเข้ากับเมนบอร์ด, เพาเวอร์ซัพพลาย, การระบายความร้อน และรันไทม์เดียวกัน หากต้องแบ่งงานข้ามเครื่อง สตอเรจและเครือข่ายก็กลายเป็นส่วนของการตัดสินใจด้วย

อย่าตัดสินจาก VRAM รวมเพียงตัวเดียว

ตาราง เปรียบเทียบ GPU สำหรับงาน AI ช่วยดู VRAM, แบนด์วิดท์ และรูปแบบเครื่องพร้อมกัน แบนด์วิดท์เป็นตัวกำหนดว่า การอ่านน้ำหนักโมเดลทำได้เร็วเพียงใด ส่วนรูปแบบเครื่องบอกข้อจำกัดเรื่องการติดตั้ง ที่ตัวเลข VRAM ไม่บอก

สี่คำถามก่อนอนุมัติสเปก

1. โมเดล, quantisation, context และ KV cache ต้องการหน่วยความจำเท่าไร
2. ชั่วโมงที่มีผู้ใช้พร้อมกันมากที่สุดมีคนใช้กี่คน
3. ซอฟต์แวร์ที่ใช้แบ่งโมเดลข้าม GPU ได้ตามที่ต้องการหรือไม่
4. สถานที่ติดตั้งรองรับไฟ, ความร้อน และการดูแลเครื่องหลาย GPU หรือไม่

ส่งรายละเอียดสี่ข้อนี้มาให้เราได้ แล้วเราจะช่วยเทียบทางเลือกโดยแยกสิ่งที่ต้องมี ตอนเริ่มต้นออกจากสิ่งที่ค่อยเพิ่มเมื่อการใช้งานโตขึ้น