Traffic Sign Detection & Chatbot System

fit@hcmus.edu.vn - Introduction to Machine Learning Course

Group: 11

Họ tên - MSSV:

1. Nguyễn Anh Tường - 220120412
2. Nguyễn Đình Trí - 22020384
3. Vũ Hoàng Nhật Trường - 22120398
4. Phạm Tuấn Vương - 22120446
5. Lê Quốc Vương - 22120445

---

CV PlateBot

Một hệ thống AI thông minh kết hợp nhận diện biển báo giao thông và chatbot tư vấn luật giao thông Việt Nam.

Tổng quan

Dự án này là một hệ thống hoàn chỉnh bao gồm:

• AI Traffic Sign Detection: Nhận diện biển báo giao thông sử dụng YOLOv8
• Intelligent Chatbot: Tư vấn luật giao thông thông minh
• Modern Web UI: Giao diện Streamlit hiện đại và thân thiện
• Knowledge Base: Cơ sở dữ liệu biển báo giao thông Việt Nam

Tính năng chính

Nhận diện biển báo giao thông

• Phát hiện và phân loại biển báo trong hình ảnh
• Hỗ trợ nhiều định dạng ảnh (JPG, PNG, JPEG)
• Hiển thị độ tin cậy và thông tin chi tiết
• Tích hợp cơ sở dữ liệu biển báo Việt Nam

Chatbot tư vấn luật giao thông

• Trả lời câu hỏi về biển báo và luật giao thông
• Xử lý cả tin nhắn văn bản và hình ảnh
• Hiệu ứng typing indicator động
• Streaming response cho trải nghiệm mượt mà

Giao diện người dùng

• Thiết kế responsive và hiện đại
• Animations và hiệu ứng tương tác
• Hỗ trợ đa ngôn ngữ (Tiếng Việt)
• Component tái sử dụng và module hóa

Cấu trúc dự án

cv_platebot/
├── dev/                          # Core development modules
│   ├── core/                     # Core functionality
│   │   ├── chatbot/             # Chatbot components
│   │   │   ├── KB.json          # Knowledge Base (417 biển báo)
│   │   │   ├── TrafficBotResponder.py # Main chatbot logic
│   │   │   └── test_images/     # Test images
│   │   ├── model/               # AI model components
│   │   │   └── model_loader.py  # Model loading utilities
│   │   └── server.py           # Backend server
│   ├── train_model/             # Model training
│   │   ├── YOLO_training.ipynb  # Training notebooks
│   │   ├── weights/             # Trained model weights
│   │   └── test_images/         # Training test images
│   └── utils/                   # Utility functions
│       ├── authenticator.py     # Authentication
│       └── downloader.py        # File download utilities
├── streamlit-traffic-sign-ui/    # Frontend application
│   ├── src/                     # Source code
│   │   ├── components/          # Reusable components
│   │   │   ├── typing_indicator.py # Typing animations
│   │   │   ├── results_display.py # Results display
│   │   │   └── chat_widget.py   # Chat components
│   │   ├── pages/               # Application pages
│   │   │   ├── chatbot_page.py  # Main chatbot interface
│   │   │   └── image_detection.py # Image detection page
│   │   └── homepage.py          # Main application entry
│   ├── assets/                  # Static assets
│   ├── data/                    # Data storage
│   └── requirements.txt         # Dependencies
└── README.md                    # This file

Cài đặt và chạy

1. Yêu cầu hệ thống

• Python 3.8+
• Windows/Linux/macOS
• GPU (tùy chọn, để tăng tốc AI)

2. Cài đặt dependencies

cd streamlit-traffic-sign-ui
pip install -r requirements.txt

3. Cài đặt PyTorch (cho YOLO)

# CPU version
pip install torch torchvision torchaudio

# GPU version (CUDA)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

4. Cài đặt YOLOv8

pip install ultralytics

5. Chạy ứng dụng

streamlit run .\streamlit-traffic-sign-ui\src\homepage.py 

Cấu hình

Model Weights

• Đặt file weights YOLOv8 trong dev/train_model/weights/
• Mặc định sử dụng best.pt

Knowledge Base

• File dev/core/chatbot/KB.json chứa 417 biển báo giao thông
• Có thể cập nhật và mở rộng dễ dàng

Cấu hình đường dẫn

# Trong config.py
MODEL_PATH = "dev/train_model/weights/best.pt"
KB_PATH = "dev/core/chatbot/KB.json"
DATA_DIR = "streamlit-traffic-sign-ui/data"

Cách sử dụng

1. Nhận diện biển báo

1. Vào trang "Image Detection"
2. Tải lên hình ảnh biển báo
3. Nhấn "Detect Traffic Signs"
4. Xem kết quả chi tiết

2. Chatbot tư vấn

1. Vào trang "Chatbot"
2. Nhập câu hỏi về biển báo/luật giao thông
3. Hoặc tải lên hình ảnh kèm câu hỏi
4. Nhận phản hồi thông minh

Core Components

1. TrafficBotResponder

• Chức năng: Xử lý logic chatbot chính
• Tính năng:
  • Xử lý tin nhắn văn bản
  • Phân tích hình ảnh với YOLO
  • Tra cứu Knowledge Base
  • Tạo response thông minh

2. Model Loader

• Chức năng: Tải và quản lý model YOLO
• Tính năng:
  • Lazy loading model
  • Caching để tối ưu performance
  • Error handling

3. Results Display

• Chức năng: Hiển thị kết quả detection
• Tính năng:
  • Tabbed interface
  • Detailed info từ KB
  • Confidence scores
  • Visual feedback

Knowledge Base

Cấu trúc dữ liệu biển báo

{
  "W.224": {
    "code": "W.224",
    "name": "Đường người đi bộ cắt ngang",
    "meaning": "Báo trước sắp tới phần đường dành cho người đi bộ sang qua đường",
    "action": "Giảm tốc độ, nhường ưu tiên cho người đi bộ...",
    "penalty": "Không có mức xử phạt riêng",
    "shape": "Hình tam giác với nền màu vàng, viền đỏ..."
  }
}

Thống kê

• 417 biển báo: Đầy đủ theo tiêu chuẩn Việt Nam
• 6 loại chính: Cảnh báo, cấm, hiệu lệnh, chỉ dẫn, phụ trợ, tạm thời
• Thông tin chi tiết: Mã số, tên, ý nghĩa, hành động, phạt, hình dạng

Testing

Test images

• Thư mục dev/core/chatbot/test_images/ chứa 10 hình ảnh test
• Có thể sử dụng nút "Test with Sample Image"

AI Model

YOLOv8 Architecture

• Base Model: YOLOv8n/s/m (tùy chọn)
• Training: Custom dataset biển báo Việt Nam
• Performance: Real-time detection
• Accuracy: 85%+ trên test set

Training Process

1. Dataset preparation
2. Annotation (YOLO format)
3. Model training với custom config
4. Validation và testing
5. Export weights

Deployment

Local Development

streamlit run src/homepage.py --server.port 8501

Docker (Tùy chọn)

docker build -t traffic-sign-app .
docker run -p 8501:8501 traffic-sign-app

Cloud Deployment

• Streamlit Cloud

Performance

Metrics

• Detection Speed: ~50ms per image
• Chatbot Response: ~1-2s
• UI Rendering: <100ms
• Memory Usage: ~500MB

Optimization

• Model quantization
• Image preprocessing
• Caching strategies
• Lazy loading

Development

Code Structure

• Modular Design: Components tái sử dụng
• Clean Architecture: Separation of concerns
• Type Hints: Better code documentation
• Error Handling: Robust error management

Best Practices

• Code Style: PEP 8 compliant
• Documentation: Comprehensive docstrings
• Testing: Unit và integration tests
• Version Control: Git workflow

Contributing

Setup Development Environment

git clone <repository>
cd cv_platebot
pip install -r requirements.txt
pip install -e .

Contribution Guidelines

1. Fork the repository
2. Create feature branch
3. Make changes với tests
4. Submit pull request

Troubleshooting

Common Issues

1. Model not found: Kiểm tra đường dẫn weights
2. Import errors: Cài đặt dependencies đầy đủ
3. Memory issues: Giảm batch size
4. Performance slow: Sử dụng GPU

Debug Mode

streamlit run src/homepage.py --logger.level=debug

License

This project is licensed under the MIT License - see the LICENSE file for details.

Acknowledgments

• YOLOv8: Ultralytics team
• Streamlit: Amazing web framework
• OpenCV: Computer vision library
• Vietnamese Traffic Laws: Bộ Giao thông Vận tải

---

Được xây dựng cho cộng đồng giao thông Việt Nam