NVIDIA เปิด Bolt E4B ชื่อ 4GB

NVIDIA เปิด Bolt E4B รุ่นใด

NVIDIA Research เปิด Nemotron 3.5 Bolt E4B 4GB วันที่ 23 ตุลาคม โดยคำว่า 4GB ผูกกับเป้าหมายการใช้งานหน่วยความจำของโมเดล

Model card ที่ผู้พัฒนาเขียน ระบุ 8B total และ 4B effective พร้อม precision Q4_K_M จึงไม่ควรอ่านชื่อ E4B เป็นโมเดล dense 4B แล้วคำนวณงบซื้อเครื่องจากชื่อนั้นเพียงอย่างเดียว

จะเขียนงบหน่วยความจำให้ตรวจสอบได้อย่างไร

ข้อวิเคราะห์สำหรับคนเลือกฮาร์ดแวร์คือให้ผู้เสนอแจกแจงว่าแต่ละส่วนใช้หน่วยความจำในช่วงใด ไม่เอาขนาดไฟล์บนดิสก์มาแทน peak memory และไม่รับรองพื้นที่เหลือจากการเปิดโปรแกรมครั้งเดียว

ส่วนของงบ	คำถามที่ต้องตอบ	หลักฐานที่ใช้ตัดสิน
น้ำหนักโมเดล	ไฟล์และ precision ใดถูกโหลด	Artifact และข้อมูลการโหลดจริง
Cache	เก็บบริบทและงานพร้อมกันเท่าใด	ค่าสูงสุดเมื่อเริ่มและต่อบทสนทนา
Runtime	ต้องใช้พื้นที่ชั่วคราวอะไร	ผลแยกช่วงเริ่มระบบกับช่วงตอบ
แอปอื่น	มีบริการใดเปิดร่วมกัน	ภาระของเครื่องในวันทำงานจริง
พื้นที่สำรอง	งานใหม่ยังเข้ามาได้หรือไม่	ผลรอบที่เพิ่มโหลดตามขั้นที่ตกลง

ให้ผูกตารางนี้กับ configuration เดียวกัน ถ้าเปลี่ยนจำนวนผู้ใช้หรือความยาวบริบท ต้องสร้างอีกแถวของผล ไม่ใช้พื้นที่เหลือจากงานสั้นไปตัดสินงานที่ยาวกว่า

ควรขออะไรจากผู้เสนอ GPU

ขอเกณฑ์ที่ผ่านได้บนงานของคุณ

กำหนดงานเริ่มต้น งานต่อเนื่อง และกรณีโหลดสูง แล้วขอผลที่ระบุเครื่องและตัวตนซอฟต์แวร์ครบ หากรุ่นโมเดลเล็กลงแต่คุณภาพงานไม่ผ่าน ก็ยังไม่ใช่ทางเลือกที่ตอบโจทย์ซื้อเครื่อง

จำนวนพารามิเตอร์กับปริมาณหน่วยความจำช่วยคัดตัวเลือกได้ แต่ควรตัดสินด้วยผลที่วัดและงบพื้นที่รวม ไม่มีข้อมูลในข่าวนี้ยืนยัน VRAM ขั้นต่ำสำหรับทุก runtime หรือคุณภาพเอกสารภาษาไทยขององค์กร

ใช้คู่มือคำนวณ VRAM สำหรับ LLM จัดงบโมเดล บริบท และงานร่วมก่อนขอราคา แล้วแนบรายการที่ต้องทดสอบไว้กับสเปก