Tệp tin này hướng dẫn cách chạy mã nguồn trong VisionLLM-Vietnamese để Evaluation hiệu suất
Gồm 2 phương pháp đánh giá mô hình LLM:
- Evaluate using Prompt and In-Context Learning: API của Google Gemini và OpenAI.
- Evaluate using Embedding → Compare cosine similarity
- Bước 1: Clone repository từ GitHub:
!git clone https://github.com/tuanio/VisionLLM-Vietnamese.git
- Bước 2: Di chuyển vào thư mục:
cd /kaggle/working/VisionLLM-Vietnamese
- Bước 3: Cài đặt các thư viện cần thiết:
!pip install -r requirements.txt
Hoặc cài đặt từng thư viện cụ thể:
!pip -q install sentence-transformers==3.0.1 openai==1.13.3 google==3.0.0
- Bước 1: Chuẩn bị dữ liệu đầu vào: Đảm bảo bạn có tệp tin JSON chứa dữ liệu đầu vào theo định dạng sau :
[
{
"image": "/kaggle/input/vlsp-dataset/dev-images/dev-images/000000003442.jpg",
"id_image": 3442,
"question": "Hai bên đường người ta bày trí những gì?",
"answer": "Những bức tường với các bài viết lịch sử",
"prediction": "Những gian hàng lưu niệm, đồ ăn, thức uống, trò chơi, ..."
},
....
]
- Bước 2: Chạy mã đánh giá bằng một trong các lệnh sau:
- Evaluate using Embedding:
python evaluate_input_json/evaluate_using_embedding.py --input_json_file <đường_dẫn_tệp_json_đầu_vào> --output_json_file <đường_dẫn_tệp_json_đầu_ra> --model_name <tên_mô_hình_embedding>
- Evaluate using Prompt and In-Context Learning with Google Gemini:
python evaluate_input_json/evaluate_gemini_vision.py --input_json_file <đường_dẫn_tệp_json_đầu_vào> --output_json_file <đường_dẫn_tệp_json_đầu_ra --google_api_key <GOOGLE_API_KEY>
- Evaluate using Prompt and In-Context Learning with OpenAI Vision:
python evaluate_input_json/evaluate_openai_vision.py --input_json_file <đường_dẫn_tệp_json_đầu_vào> --output_json_file <đường_dẫn_tệp_json_đầu_ra> --openai_api_key <OPENAI_API_KEY>
- Lưu ý:
- Thay thế
<...>
bằng đường dẫn và thông tin tương ứng. - Các api key nếu đã lưu trong biến môi trường thì có thể không cần truyền vào lệnh chạy.
- output_json_file: sẽ default là
output.json
nếu không truyền vào. - name_model: tên mô hình embedding, mặc định là
hiieu/halong_embedding
. Có thể tham khảo thêmdangvantuan/vietnamese-embedding
,VoVanPhuc/sup-SimCSE-VietNamese-phobert-base
hoặc các mô hình embedding khác.
Kết quả đánh giá sẽ được lưu vào tệp tin JSON đầu ra được chỉ định trong lệnh chạy theo định dạng sau:
[
{
"id_image": 3442,
"list_score": [
0.25294792652130127
],
"score": 0.25294792652130127
},
......
]