Senior Software Engineer (AI Inference & Performance), GreenNode
VNG Corporation
Software Engineering, Data Science
Ho Chi Minh City, Vietnam · Ho Chi Minh City, Vietnam
Posted on May 30, 2026
Mô tả công việc Chúng tôi đang tìm kiếm Senior Inference Engineer có nền tảng vững về software engineering, distributed systems và performance optimization để xây dựng và tối ưu inference engine cho các hệ thống LLM serving quy mô lớn. Bạn sẽ làm việc ở cả research và production, đảm bảo các hệ thống LLM serving của chúng tôi nhanh, có khả năng mở rộng và hiệu quả. Công việc trải rộng xuyên suốt inference stack — từ kernel và runtime đến scheduling, memory management và distributed execution. Trách nhiệm chính Profile, benchmark và phân tích bottleneck cho các workload LLM inference xuyên các tầng: kernel, memory, networking, scheduler Tối ưu các inference engine (vLLM, SGLang, TensorRT-LLM) về throughput, latency, memory efficiency, GPU utilization và chi phí Triển khai và tinh chỉnh các kỹ thuật tối ưu inference: batching, KV-cache management, quantization, speculative decoding, parallelism strategies, disaggregated serving Xây dựng instrumentation và profiling tooling để phá