Few-shot localization cho phát hiện lấn chiếm vỉa hè

Vấn đề

Lấn chiếm vỉa hè có hàng trăm dạng: quán cà phê, xe bán tải, thùng hàng… Không thể thu thập đủ dữ liệu cho mọi trường hợp. Cần mô hình nhận diện được “đối tượng lạ” chỉ từ vài ví dụ.

Cách tiếp cận

Kết hợp hai kỹ thuật:

1. Florence-2 cho việc hiểu ngôn ngữ và định vị theo mô tả.
2. DINOv2 cho biểu diễn đặc trưng mạnh, dùng để so khớp ví dụ few-shot.

Kết quả thử nghiệm

Với chỉ 5 ảnh mẫu cho mỗi loại đối tượng, hệ thống phát hiện đúng phần lớn trường hợp lấn chiếm trong video camera giám sát, ngay cả khi đối tượng chưa từng xuất hiện trong dữ liệu huấn luyện.