Thiết kế khung hình
Cố định khung 'head and shoulders' là lỗi lớn nhất
Phát hiện: Script đầu tiên dùng một khung chân dung cho mọi dấu hiệu nên tổn thương ở cổ/tay/chân/miệng không có chỗ xuất hiện. Atlas thực tế chỉ 83/277 ảnh là mặt; 43 bàn tay, 41 chân, 21 miệng, 19 đáy mắt, 18 móng, 16 mắt, 12 cổ.
Đã làm: Thêm --region 10 vùng, mỗi vùng có khung hình riêng, tỉ lệ canvas riêng và mask preset.
Prompt
Bộ negative mặc định đè bệnh lý xuống
Phát hiện: Negative mặc định chứa 'deformed, disfigured, plastic skin, oversmooth, airbrushed' — chính là các từ model dùng để xoá tổn thương. Vảy nến/trứng cá trước khi sửa đều ra khuôn mặt sạch.
Đã làm: Tách NEG_PATHO (bỏ các từ đó, giữ chống caucasian + chống chữ/khung/collage) và đặt làm mặc định cho ảnh bệnh lý.
Prompt
Không dùng trọng số prompt với RealVisXL
Phát hiện: Tăng trọng số '(vàng da:1.5)' sinh hạt vàng lá rải khắp mặt; 'scleral icterus' làm khung hình nhảy sang cận mắt.
Đã làm: Bỏ hoàn toàn weight syntax; thay bằng mô tả thể chất cụ thể + negative đối lập.
Quy trình
Seed là biến số lớn nhất với dấu hiệu yếu
Phát hiện: Cùng prompt: seed A ra vài chấm đỏ (dùng được), seed B ra hàng trăm chấm dày đặc (hỏng).
Đã làm: Sinh nhiều seed (--seeds N) và chọn bằng QC tự động (score_images.py) thay vì lấy seed đầu.
Prompt
Mô tả hình thái không đủ — phải nêu TỈ LỆ
Phát hiện: Prompt mô tả đúng tổn thương nhưng không nêu mức thay đổi hình khối thì model trả về người bình thường. Thêm câu 'the neck is as wide as the jaw' thì hình thái xuất hiện.
Đã làm: Schema mô tả Gemini có trường silhouette_en (một câu nêu tỉ lệ, định lượng bằng mắt) và được ghép vào prompt sinh ảnh.
Kỹ thuật sinh ảnh
Nhân bản hình thái tốt nhất: ControlNet canny từ ảnh mẫu đã crop sạch
Phát hiện: 6 kỹ thuật khác (ellipse tự vẽ, lens warp, depth+blob, relight, IP-Adapter, FLUX text2img) đều thất bại hoặc chỉ đạt một phần. Canny của ảnh thật cho model biết bờ khối, màu/da/khuôn mặt do model sinh mới → bướu giáp 5/5 bối cảnh.
Đã làm: Crop sạch ảnh mẫu (bỏ nhãn số hình/viền panel), strength 0.95 cho người lớn, 0.72 cho trẻ em; chặn hairnet/earrings/skin tag bằng negative.
Kỹ thuật sinh ảnh
FLUX cho tổn thương da, SDXL+ControlNet cho biến dạng
Phát hiện: Cùng prompt trứng cá: SDXL ra 'tàn nhang/sẹo thâm' (48s/ảnh); FLUX ra sẩn + mụn mủ đầu trắng, da có lỗ chân lông (70–105s/ảnh). Ngược lại với bướu giáp, FLUX tự bình thường hoá (0/3 biến thể prompt), SDXL+ControlNet ra được.
Đã làm: Bảng quyết định theo nhóm dấu chứng; --engine flux|sdxl trong patho_engine.
Mô tả bằng Gemini
gemini-2.5-pro đã bị khai tử; Gemini 3.x dùng thinkingLevel
Phát hiện: gemini-2.5-pro trả 404 'no longer available to new users' với key mới. Gemini 3.x trả INVALID_ARGUMENT nếu gửi thinkingConfig.thinkingBudget.
Đã làm: Mặc định gemini-3.1-pro-preview; client tự chọn thinkingLevel cho model 3.x, thinkingBudget cho 2.x.
Mô tả bằng Gemini
Ảnh atlas là plate nhiều panel — phải neo theo số hình
Phát hiện: Nếu không neo, model tả lẫn panel (đã tả 'bệnh Madelung' cho plate bướu giáp).
Đã làm: Truyền số hình (figure) + buộc trả lesion_box_2d ([ymin,xmin,ymax,xmax] 0–1000) và panel_note_vi để biết đang mô tả panel nào.
Bằng chứng bản quyền
Hồ sơ bằng chứng: sha256 ảnh gốc + hash chuỗi
Phát hiện: Cần chứng minh ảnh sinh ra không dùng pixel atlas. Mỗi bản ghi mô tả lưu sha256 ảnh gốc, model + fingerprint key, prompt gửi (sha256), phản hồi thô, usage và hash chuỗi prev→hash.
Đã làm: export_evidence.py dựng lại và kiểm tra chuỗi; 277/277 bản ghi hiện toàn vẹn. Ảnh bệnh nhân ảo chỉ dùng trường chữ.
Quy trình
QC tự động bằng Gemini thay vì chọn tay
Phát hiện: Sinh nhiều seed rồi chọn tay tốn công và không nhất quán.
Đã làm: score_images.py: Gemini chấm 1–5 theo sign_visible / placement / plausibility / realism / artifacts, chọn ảnh điểm cao nhất, lưu điểm + hash ảnh làm bằng chứng chất lượng.
Hạ tầng
Cổng 8095 đã bị chiếm — service mô tả dùng 8096
Phát hiện: Health-check cổng 8095 trả 200 nhưng đó là service medgemma-rag, không phải service mới → tưởng 'đã chạy'.
Đã làm: Luôn ss -ltn trước khi chọn cổng; service lesion_desc dùng 8096; nằm trong switch_medgemma_source.sh mode lesiondesc (tự tắt khi chuyển chế độ khác).
Kết quả đo
Bộ trứng cá bằng FLUX đạt 15–18/25 qua QC tự động
Phát hiện: 2 seed × 5 bối cảnh = 10 ảnh; Gemini chấm: cao nhất 18/25 (nam 35, nữ 32, nữ 68), thấp nhất 14/25 (nam 70). Nhận xét lặp lại: đủ sẩn đỏ, thiếu mụn mủ đầu trắng rõ; prompt quá mạnh thì sinh tổn thương dày đặc giả.
Đã làm: Dùng make_series.py (sinh → chấm → chọn) thay vì chọn tay; prompt vừa phải + 2–3 seed; người duyệt cuối vẫn là giảng viên.
Hạ tầng
FLUX fp8 tốn ~70–105 s/ảnh trên GPU1 (SDXL 20–48 s)
Phát hiện: Checkpoint all-in-one 16,4GB không vừa 16GB VRAM nên ComfyUI phải offload; mỗi ảnh 896×1152/28–32 steps mất 70–105 s. Batch 10 ảnh ≈ 17 phút, chiếm GPU1 của app trong thời gian đó.
Đã làm: Batch FLUX nên chạy ngoài giờ hoặc trên GPU riêng; SDXL dùng cho thử nhanh, FLUX cho ảnh chốt.
Kỹ thuật sinh ảnh
Inpaint SDXL: dùng SetLatentNoiseMask, không dùng VAEEncodeForInpaint
Phát hiện: VAEEncodeForInpaint xoá vùng mask thành xám; với denoise 0.55–0.70 ảnh ra một mảng xám lớn giữa mặt (đã gặp thật).
Đã làm: Đổi workflow sang VAEEncode → SetLatentNoiseMask → KSampler; mask có feather (GaussianBlur 3% cạnh) nên không lộ viền ellipse.
Kết quả đo
SDXL giữ chất ảnh tốt nhất nhưng kém nhất ở việc vẽ sẩn/mụn mủ
Phát hiện: 5 biến thể SDXL (text2img, inpaint toàn mặt, detail-inpaint cắt–phóng–dán, hires ×1.5, dấu hiệu đặt đầu prompt) đều không sinh được mụn mủ có cấu trúc; điểm QC 15–16/25 và nhận xét lặp lại 'không thể hiện rõ sẩn đỏ viêm/mụn mủ'. Người duyệt (BS) vẫn thấy SDXL cho chất ảnh ổn nhất.
Đã làm: Giữ SDXL làm engine mặc định (chất ảnh), nhưng phải thêm LoRA chuyên dấu chứng mới vẽ được tổn thương; FLUX dùng khi cần tổn thương rõ.
Kỹ thuật sinh ảnh
Detail-inpaint (cắt–phóng–dán): mask kín thành mảng, mask rời thì mất
Phát hiện: Mask kín cả vùng má sau khi phóng 1024 → model vẽ kín mảng đỏ (0.75) hoặc khối đỏ khổng lồ (0.90). Mask rời 14–40 đốm nhỏ → sẩn bị mất khi thu nhỏ về kích thước gốc.
Đã làm: Chỉ dùng detail-inpaint khi cần vùng tổn thương lớn (mảng vảy nến, loét); với sẩn nhỏ phải vẽ ở độ phân giải gốc.
LoRA dấu chứng
LoRA v1: SDXL đã vẽ được tổn thương nhưng còn 'mẫu chấm đỏ'
Phát hiện: Dataset 96 ảnh FLUX (8 loại × 12) → lọc Gemini còn 70; train rank 16, 1100 steps, 44 phút GPU1. Kết quả: LoRA có tác dụng thật (sẩn đỏ hai má, cả mảng vảy nến) nhưng tổn thương đối xứng/đều, thiếu mụn mủ đầu trắng; vảy nến quá lan.
Đã làm: Cần dataset v2: 240–300 ảnh, caption riêng theo mô tả Gemini (số lượng/phân bố/mức viêm), thêm 10% ảnh da bình thường, train 1600–2000 steps, quét strength 0,4–0,7.
Hạ tầng
LoRA train bằng diffusers KHÔNG load được trong ComfyUI (im lặng)
Phát hiện: Key dạng unet...attn2.to_k.lora.down.weight → ComfyUI log 'lora key not loaded' và bỏ qua toàn bộ; ảnh ra y như không có LoRA, dễ kết luận sai là 'LoRA không tác dụng'.
Đã làm: Sinh ảnh bằng diffusers (lora_gen.py) hoặc chuyển key sang khuôn kohya trước khi dùng trong ComfyUI.
Hạ tầng
Torch thấy GPU0 = RTX 3070 8GB (không phải 5060 Ti)
Phát hiện: Train/LoRA OOM ngay với 'GPU 0 ... 7.66 GiB' dù máy có 5060 Ti 16GB; thứ tự CUDA khác nvidia-smi.
Đã làm: Luôn export CUDA_VISIBLE_DEVICES=1 cho job cần 16GB; trước đó gọi POST /free để ComfyUI nhả VRAM.
LoRA dấu chứng
LoRA train trên dữ liệu THẬT hơn hẳn dữ liệu tự sinh
Phát hiện: Cùng model nền/prompt/seed: SDXL gốc 15–16/25 (không có tổn thương); LoRA tự train trên ảnh FLUX tự sinh 15–16/25 (sẩn đỏ đối xứng, thiếu mủ); LoRA cộng đồng acne3 (SDXL, openrail++, dữ liệu trứng cá thật) 17–19/25 (sẩn + mụn mủ đúng vùng, da có lỗ chân lông).
Đã làm: Với trứng cá dùng LoRA cộng đồng (4 phiên bản acne0–3, 22MB mỗi cái). LoRA tự train trên dữ liệu tự sinh chỉ nên coi là bước thử, không đủ chuẩn giảng dạy.
LoRA dấu chứng
Chỉ có LoRA công khai cho trứng cá; vảy nến/chàm/nấm/bạch biến/loét thì không
Phát hiện: Duyệt HuggingFace (dermatology, skin lesion, psoriasis, eczema, tinea, vitiligo, urticaria) và Civitai API: chỉ trứng cá có LoRA SDXL dùng được; các dấu chứng khác không có (kể cả trên Civitai).
Đã làm: Ba hướng: (1) ảnh bệnh nhân thật có đồng thuận → train LoRA riêng từng dấu chứng (chất lượng cao nhất); (2) dữ liệu da liễu mở có giấy phép giảng dạy (ISIC/HAM10000 là dermoscopy, khác ảnh lâm sàng); (3) tiếp tục dữ liệu tự sinh + QC chặt.
Chuyên môn
Mỗi dấu chứng chỉ phù hợp một số lứa tuổi — phải có bảng sign→context
Phát hiện: Sinh trứng cá cho trẻ 8 tuổi và người 68–70 tuổi: người chấm trừ điểm plausibility (14–16/25) vì không hợp lý về chuyên môn.
Đã làm: Tạo sign_contexts.json: mỗi dấu chứng khai báo danh sách bối cảnh được phép sinh + ghi chú lý do; chỉ sinh trong danh sách này.
Quy trình sinh ảnh
Ảnh thân thể: lấy ảnh lâm sàng THẬT rồi img2img denoise vừa, không dùng ControlNet cạnh
Phát hiện: Với ổ loét/vết mổ, ControlNet cạnh (0,85–0,95) làm TRÔI vị trí giải phẫu (loét gót nhảy sang mu chân) và mất chi tiết hoại tử; img2img denoise 0,42–0,45 giữ đúng vị trí + hình thái, chỉ đổi da/nền/ánh sáng.
Đã làm: Denoise theo vùng: loét bàn chân 0,45; vết mổ/trầy gối 0,42; loét miệng 0,35; amidan/họng 0,30. Luôn crop sát tổn thương trước khi sinh.
Chất lượng ảnh
Hạ chất lượng có chủ đích để hết 'bóng AI'
Phát hiện: Ảnh SDXL ra da mịn/ánh sáng đều nên bị nhận là AI. Thêm nhiễu hạt sigma 3,5–8, nhoè 0,4–1,0 px, lệch màu ±3% (hệ số NHÂN), vignette 18%, JPEG q72–88, xoay ±1,6° → đọc như ảnh điện thoại chất lượng kém.
Đã làm: Dùng degrade() trong realistic.py; TUYỆT ĐỐI dùng hệ số nhân cho kênh màu (cộng ±0,015 vào kênh xanh từng làm ảnh tím toàn bộ).
Tiền xử lý
Xoá vòng/mũi tên vẽ tay trên ảnh nguồn: ngưỡng đỏ CHẶT
Phát hiện: Ngưỡng đỏ rộng (r>110, r-g>45) bắt cả da, môi, niêm mạc họng (frac 6–77%) nên inpaint phá ảnh hoặc bị bỏ qua; ngưỡng chặt (r>135, g<100, b<100, r-g>75) chỉ bắt nét bút.
Đã làm: Chỉ xoá khi diện tích mask 0,05–3% ảnh; nếu mask quá lớn thì bỏ qua. Ảnh có vòng đỏ quanh tổn thương vẫn dùng được sau khi xoá.
Prompt
Prompt SDXL bị cắt ở 77 token
Phát hiện: Chuỗi dài bị CLIP cắt phần cuối ('sharp focus, high-quality' mất) — chất lượng ảnh giảm mà không báo lỗi.
Đã làm: Giữ mô tả dưới ~70 token; đưa phần quan trọng (bệnh lý + vùng) lên đầu prompt.
Danh mục ảnh dấu chứng
LoRA huấn luyện trên ảnh lâm sàng thật + cổng chất lượng mới ra được danh mục dùng được
Phát hiện: LoRA trên ảnh tự sinh chỉ đạt 15–16/25 và học 'mẫu chấm đỏ đối xứng'. Chuyển sang 376 ảnh Commons (PD/CC) → QC còn 183 → loại 15 trang sách scan còn 168 → train clinphoto rank 32, 1600 steps, 832px trên GPU1 (~70 phút). Danh mục 28 dấu chứng/71 bối cảnh: 44 ảnh đạt (trung vị 17/25). Dấu chứng tinh tế (mày đay, ghẻ, phù, vàng da, bướu giáp) vẫn chưa đạt.
Đã làm: Chỉ hiển thị ảnh có total ≥16/25 và shows_sign=yes; bối cảnh chưa đạt để ô trống. Trứng cá dùng LoRA cộng đồng acne3 (21–25/25). Hồ sơ tham số: docs/4_15_danh_muc_dau_chung_ky_thuat.md
Danh mục ảnh
Danh sách ảnh bệnh lý sinh từ ngân hàng ảnh thật (26 dấu chứng, 52 ảnh)
Phát hiện: v5 chỉ có 5 nhóm demo nên chưa dùng được như danh mục. Sinh lại toàn bộ ngân hàng qua ComfyUI :8188 (RealVisXL img2img, denoise theo vùng 0,30–0,45, hạ chất lượng có chủ đích): 52 ảnh/26 dấu chứng trong 590 s (~11,3 s/ảnh, model nạp 1 lần). Trang có ghi công + giấy phép từng ảnh nguồn.
Đã làm: Dùng bank_v6_gen.py (sinh) + build_bank_page.py (dựng trang), đăng ở /uploads/pathology_bank/. Tăng --per-sign khi cần thêm ảnh cho dấu chứng hay dùng.
Chất lượng dữ liệu
QC tự động vẫn cho lọt ảnh thú/ảnh đèn Wood — phải soi contact sheet bằng mắt
Phát hiện: Trong 168 ảnh nguồn đã qua Gemini QC, soi contact sheet phát hiện 5 ảnh không dùng được: 1 ảnh con chó (exophthalmos_011), 1 ảnh chụp dưới đèn Wood (vitiligo_003), 1 ảnh toàn thân chụp xa không thấy tổn thương (venous_ulcer_003), 1 ảnh có thanh đen che mắt (impetigo_010), 1 ổ loét tầng sinh môn quá nặng (bedsore_002).
Đã làm: Luôn chạy bank_v6_gen.py --sheet rồi soi contact sheet trước khi sinh hàng loạt; khai báo ảnh loại vào dict EXCLUDE kèm lý do.
Hạ tầng
ComfyUI --cache-none chậm gấp 3; GPU1 đang chạy qwen3 thì /free không giải phóng được
Phát hiện: Instance ComfyUI có --cache-none nạp lại checkpoint 6,9 GB mỗi ảnh (~35 s/ảnh); instance không có cache-none giữ model → 11 s/ảnh. Khi GPU1 đang chạy qwen3-14B (14,1 GB), POST /free không hạ VRAM và job lỗi "Allocation on device 0 would exceed allowed memory".
Đã làm: Trước batch: kiểm tra cmdline tiến trình main.py (có --cache-none thì bỏ); nếu GPU1 đang chạy LLM thì ./switch_medgemma_source.sh comfyui, chạy xong ./switch_medgemma_source.sh qwen3 (READY ~118 s).
Prompt/ảnh nguồn
Ảnh nguồn macro quá cận làm ổ loét thành hình "bánh vòng"
Phát hiện: diabetic_foot_008 (gót chân, ổ loét giữ bằng tay đeo găng) sinh ra ổ loét kiểu bánh vòng, đọc như lỗi AI; đổi sang diabetic_foot_005/006 (còn thấy giải phẫu bàn chân quanh ổ loét) thì tự nhiên hơn.
Đã làm: Với ổ loét/tổn thương lõm, chọn ảnh nguồn còn khung giải phẫu xung quanh (không crop macro), denoise 0,44–0,45.
Kho ảnh dấu chứng lâm sàng cho bệnh nhân ảo — hồ sơ kỹ thuật
Tài liệu này là nhật ký + quyết định kỹ thuật của dự án, viết để sau này đưa lên trang
dv.badt.vn/project. Mọi con số dưới đây là đo thật trên máy 250 (RTX 5060 Ti 16GB + 3×RTX 3060 + RTX 3070),
không phải ước lượng.
- Cập nhật lần cuối: 2026-10-29
- Máy chạy: 250 (
may250, GPU1 = RTX 5060 Ti dùng cho tạo ảnh/LLM nặng)
- Mã nguồn:
~/llm_research/virtual_patient_image (sinh ảnh) · ~/llm_research/llm_project/lesion_desc (mô tả + bằng chứng)
- Bản sao làm việc trên 248:
/home/liem/virtualpatient
1. Mục tiêu và ràng buộc
Mục tiêu. Bệnh nhân ảo (phần mềm giảng dạy) cần ảnh dấu chứng lâm sàng đúng chuyên môn, cho
5 bối cảnh nhân khẩu (trẻ em trai 8, nam 35, nữ 32, nam 70, nữ 68 — đều người Việt), dùng cho
giảng dạy y khoa chuẩn.
Ràng buộc pháp lý (quan trọng nhất).
1. Ảnh gốc lấy từ atlas có bản quyền (Elsevier) → không được xuất bản lại, không dùng pixel.
2. Ảnh bệnh nhân ảo sinh ra phải là tác phẩm mới: bệnh nhân khác, khung hình khác, nền/ánh sáng khác.
3. Phải có hồ sơ bằng chứng chứng minh quy trình (dùng mô tả chữ / cấu trúc, không dùng pixel).
Nguyên tắc kỹ thuật rút ra từ ràng buộc đó.
- Chỉ truyền cho model ảnh: cấu trúc (đường cạnh, độ sâu) hoặc mô tả chữ; không truyền màu.
- Ảnh gốc chỉ lưu nội bộ máy 250/248, không đưa lên web.
- Mọi bản ghi mô tả có sha256 ảnh gốc + hash chuỗi → chứng minh dữ liệu chữ là sản phẩm mới.
2. Kiến trúc hiện tại (v3)
atlas PDF (278 trang scan)
└─ trích 277 ảnh (pymupdf) ─────────────────────────────► data/figures_jpg/
│
Gemini 3.1 Pro (vision, 2 lượt) ◄───────────────────────────┘
├─ mô tả lâm sàng tiếng Việt (hình thái, bờ, màu, phân bố, dấu hiệu âm tính, chẩn đoán phân biệt, điểm giảng dạy)
├─ prompt_en (40–90 từ, mô tả thể chất để sinh ảnh, KHÔNG nêu tên bệnh)
├─ silhouette_en (câu nêu TỈ LỆ thay đổi — bắt buộc để model ảnh chịu đổi hình khối)
├─ lesion_box_2d (panel nào trong plate nhiều hình) └─ panel_note_vi
▼
outputs/<id>.json + manifest.jsonl (hash chuỗi) ──► evidence/{index.html, manifest.csv, chain_check.txt}
│
├─ engine FLUX.1-dev fp8 → ảnh tổn thương da (sần, mụn, vảy, sắc tố) — chất lượng cao nhất
└─ engine SDXL + ControlNet canny (từ ảnh mẫu đã crop sạch) → dấu hiệu làm ĐỔI HÌNH KHỐI (bướu giáp, lồi mắt)
▼
Gemini chấm điểm 1–5 (QC tự động) → chọn ảnh đạt → kho ảnh bệnh nhân ảo
Quản lý dịch vụ (GPU1). Mọi thứ chạy qua switch_medgemma_source.sh:
qwen3 | medgemma | comfyui | 3dpatient | lesiondesc — chỉ một chế độ tại một thời điểm.
lesiondesc = bật service mô tả (cổng 8096, CPU, GPU1 để trống), tự tắt ComfyUI.
- Chuyển sang chế độ khác → service mô tả tự tắt; bật lại bằng
./switch_medgemma_source.sh lesiondesc.
3. Bảng quyết định: dùng engine nào cho dấu chứng nào
| Nhóm dấu chứng | Engine | Kỹ thuật | Kết quả đo |
| Tổn thương da (trứng cá, vảy nến, chàm, nấm, bạch biến, loét, sẩn/mụn mủ) | FLUX.1-dev fp8 | text2img + prompt chi tiết | ✅ sẩn/mụn mủ có đầu trắng, da có lỗ chân lông, ánh sáng thật; SDXL chỉ ra "tàn nhang" |
| Dấu hiệu đổi hình khối (bướu giáp, lồi mắt, biến dạng khớp, phù) | SDXL + ControlNet canny | cạnh của ảnh mẫu đã crop sạch | ✅ cổ to bè rộng, đúng hình thái; FLUX tự "bình thường hoá" dấu hiệu |
| Mặt tròn/Cushing (thay đổi khối lượng mô mỡ) | SDXL (RealVisXL) | text2img, mô tả "thể chất" ("extremely overweight obese face") | ✅ 5/5 bối cảnh |
| Vàng da, vàng củng mạc | *(chưa đạt)* | — | ❌ cả 2 engine đều bỏ qua; cần inpainting vùng củng mạc/màu da |
| Khối u/mô mềm nói chung (u giáp, hạch, u mỡ) | ControlNet canny từ ảnh mẫu | như trên | ⚠️ đạt "cổ to", chưa ra khối rõ ràng — cần FLUX ControlNet Union/Fill |
Vì sao FLUX tốt hơn cho da: FLUX giữ được vi cấu trúc da (lỗ chân lông, bóng nhờn, viền sẩn) và
không "làm đẹp" tổn thương; SDXL/RealVisXL có prior "da sạch – mặt đẹp" rất mạnh.
Vì sao SDXL vẫn cần: khi dấu hiệu đòi thay đổi giải phẫu, FLUX có xu hướng trả về người bình thường
(đã thử 3 biến thể prompt, 0/3 ra bướu giáp) trong khi ControlNet canny ép được đường viền.
4. Nhật ký thí nghiệm (đo thật)
4.1 Bóc ảnh khỏi PDF scan
- Atlas scan 1-bit: mỗi trang là 1 ảnh scan đen trắng + ảnh màu đè lên → phải bóc theo xref, không theo trang.
- Kết quả: 277 ảnh, catalog ghi page/xref/figure_numbers/caption_block/chapter.
4.2 Prompt — 3 bẫy đã trả giá
1. Bộ negative mặc định đè bệnh lý: có deformed, disfigured, plastic skin, oversmooth → model
tự xoá tổn thương. Đã tách NEG_PATHO (bỏ các từ đó). Trước khi sửa: vảy nến ra khuôn mặt sạch.
2. Trọng số prompt (text:1.5) phá ảnh với RealVisXL: "vàng da" → hạt vàng lá rải khắp mặt;
"scleral icterus" → nhảy sang khung cận mắt. Bỏ hoàn toàn weight, thay bằng mô tả thể chất + negative đối lập.
3. Seed là biến số cực lớn: cùng prompt, seed A → vài chấm đỏ (dùng được), seed B → hàng trăm chấm
dày đặc (hỏng). Với dấu hiệu yếu phải sinh ≥3 seed rồi chọn (nay dùng Gemini chấm điểm để chọn).
4.3 Khung hình: lỗi thiết kế lớn nhất
Script đầu tiên cố định head and shoulders cho mọi dấu hiệu → mọi thứ thành chân dung.
Atlas thực tế: 83 ảnh mặt nhưng 43 bàn tay, 41 chân, 21 miệng, 19 đáy mắt, 18 móng, 16 mắt, 12 cổ.
→ Đã thêm --region 10 vùng (face/neck/hand/forearm/leg/foot/mouth/eye/nail/trunk), mỗi vùng có
khung hình + tỉ lệ canvas + mask preset. Đây là thay đổi có tác động lớn nhất tới chất lượng.
4.4 Nhân bản hình thái: 7 kỹ thuật đã thử
| # | Kỹ thuật | Kết quả |
| 1 | ControlNet canny + tự vẽ ellipse | ❌ chỉ ra vệt đường trên da |
| 2 | Lens warp (phóng pixel) | ⚠️ dày lên nhưng không có đổ sáng → không đọc ra khối |
| 3 | ControlNet depth + gò Gauss nhân tạo | ❌ sinh vòng tròn (ring artifact) trên da |
| 4 | Relight gò (depth → pháp tuyến → Lambert) | ⚠️ đúng hướng, hiệu ứng còn nhẹ |
| 5 | IP-Adapter trọng số 0.30 | ❌ kéo tuổi 32→60, không chuyển hình thái |
| 6 | ControlNet canny từ ảnh mẫu đã crop sạch | ✅ tốt nhất — cổ to bè, bệnh nhân mới |
| 7 | FLUX text2img mô tả giải phẫu chính xác | ❌ tự bình thường hoá ("face normal above the swelling" → cổ bình thường) |
Chi tiết của #6: ảnh mẫu phải crop sạch (bỏ nhãn số hình, viền panel); --control-strength 0.95 cho
người lớn nhưng 0.72 cho trẻ em (0.95 làm bé 8 tuổi thành 15–18); chặn `hairnet, shower cap,
earrings, skin tag, mole` bằng negative (ControlNet hay sao lại đồ của ảnh mẫu).
4.5 So sánh engine trên cùng một prompt (trứng cá)
- SDXL/RealVisXL: sẩn đỏ nhỏ rải rác → đọc thành tàn nhang/sẹo thâm, không phải trứng cá. 48s/ảnh.
- FLUX.1-dev fp8: sẩn và mụn mủ đầu trắng rõ, da nhờn có lỗ chân lông, ánh sáng thật. 70–105s/ảnh.
- Kết luận: chuyển mặc định sang FLUX cho nhóm tổn thương da.
4.6 Mô tả bằng Gemini — số liệu
- Model dùng được: gemini-3.1-pro-preview.
gemini-2.5-pro đã bị khai tử cho key mới (404).
Gemini 3.x không nhận thinkingConfig.thinkingBudget → phải thinkingLevel.
- 277/277 ảnh đã có mô tả, 2 lượt/ảnh, ~21 s/ảnh, ~4,2k token vào + 1,6k token ra mỗi lượt.
- Ảnh atlas là plate nhiều panel → phải truyền số hình + buộc trả
lesion_box_2d; nếu không model tả
lẫn panel (đã gặp: tả "bệnh Madelung" cho plate bướu giáp).
- Cổng 8095 đã bị service medgemma-rag chiếm → service mô tả dùng 8096.
4.7 QC tự động
score_images.py cho Gemini chấm mỗi ảnh theo 5 tiêu chí 1–5 (sign_visible, placement, plausibility,
realism, artifacts) → chọn ảnh tổng điểm cao nhất. Ví dụ thật: ảnh trứng cá FLUX đạt 18/25 ("dùng được").
4.8 Dây chuyền chất lượng (make_series + score_images) — kết quả thật
make_series.py: sinh N seed × 5 bối cảnh → score_images.py (Gemini chấm 5 tiêu chí 1–5) →
chọn ảnh điểm cao nhất/ngưỡng → outputs_final/<id>/{ảnh, report.json, report.csv} (có sha256).
- Ca trứng cá (FLUX, 2 seed × 5 bối cảnh = 10 ảnh, ~17 phút): chọn được 5/5 bối cảnh,
điểm 15–18/25. Ảnh tốt nhất (nam 35) có sẩn + mụn mủ đầu trắng rõ; ảnh nam 70 yếu nhất (14/25).
- Nhận xét QC lặp lại: "đủ sẩn đỏ, thiếu mụn mủ đầu trắng" → prompt cần nêu số lượng tương đối
("about thirty papules, roughly half with visible white pus heads") chứ không "densely covering"
(cái sau sinh tổn thương dày đặc, trông giả).
- Thời gian: FLUX 70–105 s/ảnh (16,4GB checkpoint phải offload trên 16GB VRAM) — nên chạy batch
FLUX ngoài giờ hoặc trên GPU riêng; SDXL 20–48 s/ảnh cho thử nhanh.
4.9 Quy ước đặt prompt theo engine (đúc kết)
| Engine | Dùng cho | Mẫu prompt | Tránh |
| FLUX | tổn thương da | vị trí + số lượng tương đối + hình thái từng tổn thương + bề mặt da + nền xám | mô tả biến dạng khối (model bình thường hoá), "densely covering" |
| SDXL + ControlNet canny | biến dạng/hình khối | mô tả bệnh nhân + dấu hiệu + chất liệu da; hình thái do ảnh mẫu quyết định | tự vẽ ellipse/khối, weight syntax |
4.10 Hướng SDXL (theo chỉ đạo: SDXL cho chất ảnh ổn nhất) — 5 biến thể đã thử
| Kỹ thuật | Thời gian | Kết quả |
| text2img (dấu hiệu cuối prompt) | ~14–48 s | chất ảnh tự nhiên nhất, sẩn đỏ nhỏ + sẹo thâm; QC 15–16/25 |
| inpaint toàn mặt 0.70 | 28 s | giữ ánh sáng, tổn thương đỏ hơn nhưng vẫn nhẹ |
| detail-inpaint (cắt má → phóng 1024 → vẽ → dán) | 8 s | mask kín → mảng đỏ lớn; mask rời nhỏ → mất khi thu nhỏ |
| hires-fix ×1.5 (denoise 0.35) | 46 s | da nét hơn nhưng khuôn mặt trôi, da bị mịn hoá |
| dấu hiệu đặt ĐẦU prompt | 14 s | ra "má đỏ ửng" kiểu rosacea, mặt kém tự nhiên |
Lỗi quan trọng đã sửa: VAEEncodeForInpaint xoá vùng mask thành xám → đổi sang
VAEEncode → SetLatentNoiseMask (giữ nội dung ảnh gốc) + feather mask 3% cạnh. Trước khi sửa,
inpaint denoise 0.55–0.70 cho ra mảng xám lớn giữa mặt.
Kết luận: SDXL thắng về chất ảnh nhưng prior "da sạch – mặt đẹp" chặn việc vẽ mụn mủ; mọi mẹo prompt
chỉ làm tổn thương đậm hơn. Muốn SDXL vẽ đúng dấu chứng mà giữ chất ảnh → LoRA chuyên dấu chứng
(train trên ảnh tự sinh, không dùng ảnh sách), cần GPU1 rảnh 1–2 giờ.
4.11 LoRA dấu chứng v1 (GPU1, 29/10)
- Dataset:
build_lora_dataset.py sinh 96 ảnh bằng FLUX (8 loại tổn thương × 12, 832px, 22 steps,
~2,1 ảnh/phút vì model 16,4GB phải nạp lại); filter_dataset.py cho Gemini chấm và giữ 70 ảnh
(bỏ ảnh không có tổn thương/lỗi rõ — ví dụ "bạch biến" ra vệt sơn trắng trên tay).
- Môi trường train riêng
~/llm_research/lora_train_env (torch 2.11+cu128) để **không đụng venv ComfyUI
đang phục vụ app**. Checkpoint chuyển sang diffusers bằng convert_ckpt.py (4,9GB).
- Train: LoRA rank 16, 1100 steps, batch 1 + grad-accum 2, 832px, ~2,6 s/step → 44 phút;
file ~/lora/out_lesion/pytorch_lora_weights.safetensors (93MB).
- Kết quả: LoRA có tác dụng (sẩn đỏ hai má, cả mảng vảy nến bạc) nhưng tổn thương đối xứng, đều,
thiếu mụn mủ; vảy nến quá lan. Nguyên nhân: 70 ảnh/8 loại và caption gần giống nhau → học thành "mẫu".
- Bẫy lớn: LoRA diffusers-format không load được trong ComfyUI (log "lora key not loaded",
im lặng bỏ qua) → phải sinh bằng lora_gen.py (diffusers) hoặc convert key sang kohya.
- Bẫy GPU: torch thấy GPU0 = RTX 3070 8GB → OOM; phải
CUDA_VISIBLE_DEVICES=1 và gọi
POST /free để ComfyUI nhả VRAM trước khi train/sinh bằng diffusers.
4.12 Vì sao ảnh chưa đạt, và điều gì sửa được (29/10)
Chẩn đoán: LoRA v1 học từ ảnh tự sinh (FLUX) — mà FLUX vẽ tổn thương theo kiểu "ấn tượng",
nên LoRA chỉ học được một "mẫu chấm đỏ đối xứng". Dữ liệu đầu vào quyết định trần chất lượng.
Đã chứng minh bằng số (cùng RealVisXL, cùng prompt, cùng seed, Gemini chấm 25 điểm):
| Cách làm | Điểm | Nhận xét |
| SDXL gốc | 15–16 | không có tổn thương dù prompt yêu cầu |
| LoRA tự train (dữ liệu tự sinh) | 15–16 | sẩn đỏ đối xứng kiểu "chấm", thiếu mụn mủ |
| LoRA cộng đồng acne3 (dữ liệu thật, openrail++) | 17–19 | sẩn + mụn mủ đúng vùng (má/cằm/trán), da có lỗ chân lông |
Hai kết luận kỹ thuật
1. ManuelHettich/acne0..3_LoRA_filtered_all (SDXL, 22MB, base SDXL 1.0) là LoRA huấn luyện trên
ảnh trứng cá thật — dùng được ngay với RealVisXL (--strength 0.85, token acneN).
2. Prompt SDXL bị cắt ở 77 token CLIP — prompt quá dài sẽ mất phần "sharp focus/high-quality"
ở cuối; nên giữ mô tả < 70 token.
Chưa có LoRA cho dấu chứng khác: duyệt HuggingFace (dermatology/skin lesion/psoriasis/eczema/
tinea/vitiligo/urticaria) và Civitai API → chỉ trứng cá có. Ba hướng: (1) ảnh bệnh nhân thật có
đồng thuận → train LoRA riêng từng dấu chứng; (2) dữ liệu mở có giấy phép dạy học (ISIC/HAM10000 là
dermoscopy — không phải ảnh lâm sàng); (3) tiếp tục tự sinh + QC chặt (mức hiện tại).
Đúng chuyên môn: mỗi dấu chứng chỉ phù hợp một số lứa tuổi → sign_contexts.json khai báo
dấu chứng → bối cảnh được phép sinh (trứng cá: 35 nam/32 nữ; loét chân: 70 nam/68 nữ; bướu giáp: nữ...).
4.13 Hướng đúng cho ảnh thân thể: ảnh thật → biến thể → hạ chất lượng (30/10)
Bác sĩ nhận xét ảnh LoRA chưa đạt chuẩn đào tạo và yêu cầu: (a) không phải dấu chứng nào cũng cần 5 nhóm
đối tượng, (b) cần vùng ngoài mặt (bàn chân, gối, răng miệng, họng), (c) được dùng ảnh internet rồi
sinh biến thể giữ bản chất bệnh lý, (d) tăng nhiễu/hạ chất lượng cho giống ảnh chụp thật, đừng làm bóng.
Quy trình v5 (fetch_refs.py → realistic.py → degrade()):
1. Tải ảnh lâm sàng thật từ Wikimedia Commons (CC BY/CC BY-SA/PD) — ghi refs_real/meta.json (tiêu đề,
URL, giấy phép, tác giả) làm bằng chứng + ghi công.
2. Xoá vòng/mũi tên vẽ tay: ngưỡng đỏ chặt (r>135, g<100, b<100, r−g>75), chỉ khi mask 0,05–3% ảnh.
3. Crop sát tổn thương rồi img2img denoise vừa → đổi da/nền/ánh sáng, giữ vị trí + hình thái tổn thương.
4. Hạ chất lượng: nhiễu hạt σ 3,5–8, nhoè 0,4–1,0 px, lệch màu ±3% (nhân), vignette 18%, JPEG q72–88, xoay ±1,6°.
Denoise đã đo: loét bàn chân 0,45 (0,55 làm nát ổ loét) · vết mổ/trầy gối 0,42 · loét miệng 0,35 ·
amidan/họng 0,30 (cao hơn là hỏng giải phẫu).
Bài học kỹ thuật
- ControlNet cạnh KHÔNG dùng cho ổ loét: strength 0,85–0,95 làm trôi vị trí giải phẫu (loét gót →
mu chân) và mất chi tiết hoại tử; chỉ nên dùng cho khối/u lồi (bướu giáp).
- Sửa lỗi màu tím: hệ số lệch màu phải là nhân (0,96–1,03), không phải cộng ±0,015 vào kênh xanh
(cộng vào kênh ≈0 làm mất kênh xanh → ảnh tím).
- Prompt SDXL cắt ở 77 token — mất phần "sharp focus/high-quality" ở cuối nếu mô tả dài.
- Trước khi chạy diffusers phải
POST /free unload_models=true cho ComfyUI nhả VRAM, và
CUDA_VISIBLE_DEVICES=1 (torch thấy GPU0 = RTX 3070 8GB).
Hạn chế còn lại: ảnh sinh là *biến thể của ảnh nguồn* (cùng khung/bố cục) — muốn "bệnh nhân khác"
thật thì phải train LoRA trên chính bộ ảnh thật theo từng vùng.
5. Bài học prompt (dùng lại được)
Cho FLUX (tổn thương da)
- Nêu rõ: vị trí giải phẫu, số lượng tương đối, hình thái từng tổn thương, màu, bề mặt da.
- Đừng "quá tả" vị trí khi dấu hiệu là biến dạng khối — FLUX sẽ chọn phương án "bình thường".
- "roughly half of them showing visible white pus heads" tốt hơn "densely covering" (cái sau ra
hàng trăm chấm đỏ, giả).
Cho SDXL + ControlNet (biến dạng)
- Ảnh mẫu (crop sạch) quyết định hình thái; prompt chỉ cần mô tả bệnh nhân + dấu hiệu + chất liệu da.
- Phải thêm câu tỉ lệ ("the neck is as wide as the jaw") — không có thì ảnh về người bình thường.
- Tránh
deformed, disfigured, plastic skin trong negative khi muốn có tổn thương.
Chung
- Nền/ánh sáng cố định ("plain grey studio background, soft even lighting") giúp ảnh dùng làm tư liệu
đồng nhất và dễ ghép vào bộ.
- Luôn ghi seed vào metadata: cùng prompt, seed khác nhau cho kết quả rất khác.
6. Hạ tầng (máy 250)
| GPU | Thiết bị | Dùng cho |
| 0 | RTX 3060 12GB | service khác |
| 1 | RTX 5060 Ti 16GB | ComfyUI (:8188) / vLLM LLM (:8094) / lesiondesc (:8096) — một chế độ/lần |
| 2 | RTX 3060 12GB | vLLM |
| 3 | RTX 3060 12GB | vLLM |
| 4 | RTX 3070 8GB | trống (dự phòng) |
Model đã có: RealVisXL V4.0, SD_XL base 1.0, FLUX.1-dev fp8 (17GB, all-in-one) + t5xxl_fp8 + clip_l,
LTX-Video 2B, ControlNet SDXL (canny/scribble/depth, 2,4GB mỗi cái), IP-Adapter plus/plus-face, RealESRGAN x2.
Lệnh thường dùng:
cd ~/llm_research/llm_project
./switch_medgemma_source.sh comfyui # tạo ảnh
./switch_medgemma_source.sh lesiondesc # mô tả sang thương (GPU1 rảnh)
./switch_medgemma_source.sh # trạng thái
Sinh ảnh: cd ~/llm_research/virtual_patient_image && ./venv/bin/python patho_engine.py --patho-id X --region neck --engine flux --mode text2img --signs "…" --seeds 2
4.15 Danh mục ảnh dấu chứng từ dữ liệu thật (31/10)
Hồ sơ đầy đủ tham số + cách triển khai: docs/4_15_danh_muc_dau_chung_ky_thuat.md.
Tóm tắt: 376 ảnh nguồn (Wikimedia, chỉ PD/CC0/CC BY/CC BY-SA) → QC Gemini giữ 183 → loại 15 trang sách
scan còn 168 → LoRA clinphoto rank 32, 1600 steps, 832 px, lr 8e-5, GPU1 (~70 phút, 186 MB) →
sinh 2 chế độ (text2img và img2img từ ảnh thật) → chấm 5 tiêu chí → **chỉ hiển thị ảnh ≥16/25 và đúng
dấu chứng. Kết quả: 28 dấu chứng, 71 bối cảnh, 44 ảnh đạt** (trung vị 17/25; trứng cá 21–25 nhờ
LoRA cộng đồng acne3). Chưa đạt 11 dấu chứng tinh tế (mày đay, ghẻ, phù ấn lõm, vàng da, zona,
loét tì đè, dùi trống, lồi mắt, bướu giáp, loét bàn chân ĐTĐ).
Trang: https://dv.badt.vn/ai/virtualpatient/uploads/catalogue/ (Apache trên máy 245).
4.16 Danh sách ảnh bệnh lý sinh từ ngân hàng ảnh THẬT — toàn bộ 26 dấu chứng (07/11)
Hồ sơ đầy đủ: docs/4_16_ngan_hang_anh_that.md.
Tóm tắt: v5 chỉ có 5 nhóm demo nên chưa dùng được như danh mục. Đã sinh lại toàn bộ ngân hàng qua
ComfyUI :8188 (RealVisXL img2img, denoise theo vùng 0,30–0,45, hạ chất lượng có chủ đích):
52 ảnh / 26 dấu chứng trong 590 s (~11,3 s/ảnh); ảnh đầu 35–43 s vì nạp checkpoint.
Loại 5 ảnh nguồn sau khi soi contact sheet (ảnh con chó, ảnh đèn Wood, ảnh chụp xa, ảnh bị che mắt,
ổ loét tầng sinh môn) → QC tự động không thay được mắt người ở bước chọn ảnh nguồn.
Thiếu ảnh cho urticaria và oral_candidiasis (ngân hàng thật không có ảnh đạt).
Trang có bảng 26 dấu chứng, tìm kiếm, ghi công + giấy phép từng ảnh nguồn:
https://dv.badt.vn/ai/virtualpatient/uploads/pathology_bank/.
7. Việc còn lại (định hướng)
1. FLUX ControlNet Union (~6,6GB) → kết hợp chất lượng da của FLUX với hình thái ép từ ảnh mẫu
(giải quyết bướu giáp/lồi mắt ở mức cao nhất).
2. FLUX Fill (inpainting) → đặt tổn thương đúng vùng trên chân dung sạch (vàng da, mảng khu trú).
3. LoRA chuyên dấu chứng train trên ảnh do mình sinh (không train trên ảnh sách) — cần GPU1 rảnh 1–2 giờ.
4. Trang duyệt ảnh + điểm QC cho giảng viên duyệt/từ chối, lưu lại quyết định (audit trail dạy học).
5. Đưa nội dung tài liệu này lên dv.badt.vn/project (đã có knowledge.json để render).