DualAST: Dual Style-Learning Networks for Artistic Style Transfer

Ứng dụng TTNT trong làm giàu dữ liệu ảnh-video.

Nhóm DKV:

Trần Quang Duy - 18120022
Dương Anh Kiệt - 18120046
Nguyễn Duy Vũ - 18120264

Google Colab

Chạy mã nguồn trên môi trường Google Colab bằng đường dẫn.

Giải thích mã nguồn

Nhóm có thực hiện giải thích mã nguồn tại đây

Yêu cầu

Môi trường để chạy mã nguồn:

python 3.7
tensorflow 1.14.0
CUDA 10.1
PIL, numpy, scipy
tqdm

Huấn luyện mô hình

Tải dataset nội dung: Places365(105GB).
Tải dataset phong cách: Artworks of Different Artists. Bộ dữ liệu được cung cấp bởi AST.
Tải mô hình pre-trained VGG-19.
Cài đặt GPU ID (nếu có) ở dòng 185 trong `main.py'.
Chạy câu lệnh sau:

python main.py --model_name van-gogh \
               --phase train \
               --image_size 768 \
               --ptad /disk1/chb/data/vincent-van-gogh_road-with-cypresses-1890 \
               --ptcd /disk1/chb/data/data_large

Truyền phong cách cho mô hình

Đặt mô hình trong thư mục ./models/.
Đặt ảnh nội dung trong thư mục ./images/content/ folder.
Cài đặt GPU ID (nếu có) ở dòng 185 trong ‘main.py’.
Chạy câu lệnh sau:

python main.py --model_name=van-gogh \
               --phase=inference \
               --image_size=1280 \
               --ii_dir images/content/ \
               --reference images/reference/van-gogh/1.jpg \
               --save_dir=models/van-gogh/inference \
               --ckpt_nmbr=300000

Tải về pre-trained models link.

Kiểm tra kết quả

Tính deception rate của mô hình:

Tải các ảnh để tính deception rate như trong file eval_paths_700_val.
Chạy ./download_evaluation_data.py để tải weight của mô hình phân loại.
Đặt biến results_dir trong eval_deception_score.py:92 thành đường dẫn của ảnh được truyền phong cách. Tất cả ảnh được phát sinh cùng một phương pháp phải nằm chung một thư mục.
Chạy câu lệnh ./run_deception_score_vgg_16_wikiart.sh.
Đọc kết quả trong file log phát sinh.

Tham khảo

Mã nguồn này được fork từ mã nguồn của nhóm tác giả DualAST. Được bổ sung và cài đặt thêm phần evaluation dựa theo link.

Mã nguồn được dựa vào AST. Xin cảm ơn vì bài báo và mã nguồn của họ.

quangdzuytran / DualAST