สตอเรจและเน็ตเวิร์กสำหรับ AI

เกือบทุกโครงการที่เราเข้าไปแก้ ปัญหาไม่ได้อยู่ที่ GPU แต่อยู่ที่ข้อมูลเดินทางมาถึง GPU ไม่ทัน การ์ดที่แพงที่สุดก็รอเฉยๆ ถ้าดิสก์อ่านช้าหรือเครือข่ายคอขวด หน้านี้คือวิธีวางสองส่วนนั้นให้พอดี ไม่ใช่ให้เกิน

สตอเรจแบ่งเป็นสี่ชั้น

อย่าซื้อ NVMe ความจุมหาศาลเพื่อเก็บทุกอย่าง แยกของร้อนออกจากของเย็นแล้วจ่ายเงินตามความเร็วที่จำเป็นจริง

เครือข่าย เริ่มที่เท่าไรถึงพอ

คำถามที่ถูกไม่ใช่ “เร็วที่สุดเท่าไร” แต่คือ “ข้อมูลต้องวิ่งจากไหนไปไหน” ถ้าโมเดลกับข้อมูลอยู่เครื่องเดียวกัน เครือข่ายแทบไม่มีผล แต่ถ้าสตอเรจอยู่คนละเครื่อง หรือมีหลาย GPU ต้องซิงก์กัน เครือข่ายจะกลายเป็นตัวกำหนดความเร็วทันที

จุดตั้งต้นที่ใช้ได้กับองค์กรส่วนใหญ่

1. NVMe ในเครื่อง GPU สำหรับโมเดลและดัชนีที่ใช้อยู่ เพื่อให้ระบบกลับมาให้บริการได้เร็วหลังรีสตาร์ต
2. NAS หรือเซิร์ฟเวอร์สตอเรจแยกสำหรับข้อมูลดิบและ checkpoint เชื่อมด้วย 10GbE เป็นอย่างน้อย
3. สำเนาสำรองที่อยู่คนละเครื่องกับต้นฉบับ และทดสอบกู้คืนอย่างน้อยปีละครั้ง
4. ค่อยขยับขึ้น 25GbE หรือสูงกว่า เมื่อมีเครื่องที่สองที่ต้องอ่านข้อมูลชุดเดียวกัน

PDPA กับการวางสตอเรจ

เหตุผลหลักที่ลูกค้าเลือกติดตั้งระบบ AI ในองค์กรเอง คือข้อมูลส่วนบุคคลต้องไม่ออกนอกองค์กร การวางสตอเรจจึงมีข้อกำหนดเพิ่มจากเรื่องความเร็ว

• เข้ารหัสข้อมูลที่พัก และจำกัดสิทธิ์การเข้าถึงตามหน้าที่
• แยกชุดข้อมูลที่มีข้อมูลส่วนบุคคลออกจากชุดข้อมูลทั่วไปตั้งแต่ต้น
• เก็บบันทึกการเข้าถึง เพื่อตอบคำถามได้ว่าใครอ่านอะไรเมื่อไร
• กำหนดอายุการเก็บ และลบจริงเมื่อครบกำหนด รวมถึงในสำเนาสำรอง

เราออกแบบชั้นสตอเรจให้สอดคล้องกับนโยบายข้อมูลขององค์กรตั้งแต่ตอนวางสเปก เพราะการย้ายข้อมูลทีหลังแพงกว่าการวางให้ถูกตั้งแต่แรกเสมอ