5 tháng làm sản phẩm AI biên: những gì không ai kể bạn nghe

Khác biệt lớn nhất

Trên cloud, bạn có GPU vô hạn và mạng tốt. Trên edge device, bạn có 128MB RAM, CPU lõi đơn, và nhiệt độ mùa hè Việt Nam. Mọi quyết định mô hình đều phải trả giá bằng thời gian suy luận thực tế.

Những thứ không nằm trong roadmap

• Quản lý version mô hình khi thiết bị đã phát hành.
• Cập nhật từ xa khi mạng khách hàng yếu.
• Xử lý sự cố mà không có terminal.

Kết luận

20% thời gian làm mô hình, 80% còn lại làm hạ tầng vận hành. Sản phẩm AI biên thành công khi bạn chấp nhận điều đó ngay từ đầu.