vLLM Bangkok
บันทึกเรื่อง vLLM, inference และคอมมูนิตี้ AI ไทย
วันที่ 6 กันยายน 2569 ทีมผู้สร้าง vLLM จะมากรุงเทพฯ พร้อมกับหนึ่งบ่ายเต็มของ การพูดคุยเรื่อง inference บนงานจริง เคสจากทีมไทย และการพบปะสร้างเครือข่าย เข้าร่วมฟรี — นี่คือสิ่งที่จะได้เจอ
รีวิวเปเปอร์ว่า DSpark ช่วยให้ speculative decoding ดีขึ้นได้อย่างไร ในบทความนี้เราจะพาไปดูว่า DSpark ออกแบบมาอย่างไร และทำไมถึงเพิ่ม throughput ได้ด้วย accepted length ที่สูงขึ้น
สรุปภาษาไทยจากทอล์กของ Simon Mo (Inferact) ที่ Runtime 2026 ว่าทำไมงาน AI agent ที่อ่าน context ยาวแต่ตอบสั้นทำให้ KV cache กลายเป็นหัวใจของการ serve โมเดล ทีม vLLM แก้อย่างไร และ hardware หลายค่ายเข้ามาเกี่ยวตรงไหน พร้อมสไลด์และแหล่งอ้างอิง
ปูพื้นแบบใช้งานได้จริงกับสองแนวคิดที่ทำให้ vLLM เร็ว — PagedAttention และ continuous batching — และมันหมายความว่าอย่างไรกับบิลค่า GPU ของทีมไทย ที่เสิร์ฟโมเดล open-weights