Kho ảnh dấu chứng lâm sàng cho bệnh nhân ảo (P-Clinic / BADT)

Tạo ảnh dấu chứng lâm sàng cho bệnh nhân ảo bằng mô tả Gemini + sinh ảnh FLUX/SDXL, có hồ sơ bằng chứng bản quyền và QC tự động.

277ảnh dấu chứng từ atlas
277mô tả chuẩn hoá (Gemini)
32bài học kỹ thuật đã ghi
v3phiên bản quy trình · 2026-11-07

Bài học kỹ thuật (rút ra từ thực nghiệm)

Thiết kế khung hình

Cố định khung 'head and shoulders' là lỗi lớn nhất

Phát hiện: Script đầu tiên dùng một khung chân dung cho mọi dấu hiệu nên tổn thương ở cổ/tay/chân/miệng không có chỗ xuất hiện. Atlas thực tế chỉ 83/277 ảnh là mặt; 43 bàn tay, 41 chân, 21 miệng, 19 đáy mắt, 18 móng, 16 mắt, 12 cổ.

Đã làm: Thêm --region 10 vùng, mỗi vùng có khung hình riêng, tỉ lệ canvas riêng và mask preset.

Ảnh hưởng lớn · 2026-10-29 · patho_engine.py
Prompt

Bộ negative mặc định đè bệnh lý xuống

Phát hiện: Negative mặc định chứa 'deformed, disfigured, plastic skin, oversmooth, airbrushed' — chính là các từ model dùng để xoá tổn thương. Vảy nến/trứng cá trước khi sửa đều ra khuôn mặt sạch.

Đã làm: Tách NEG_PATHO (bỏ các từ đó, giữ chống caucasian + chống chữ/khung/collage) và đặt làm mặc định cho ảnh bệnh lý.

Ảnh hưởng lớn · 2026-10-29 · pathology_bank.py, patho_engine.py
Prompt

Không dùng trọng số prompt với RealVisXL

Phát hiện: Tăng trọng số '(vàng da:1.5)' sinh hạt vàng lá rải khắp mặt; 'scleral icterus' làm khung hình nhảy sang cận mắt.

Đã làm: Bỏ hoàn toàn weight syntax; thay bằng mô tả thể chất cụ thể + negative đối lập.

Ảnh hưởng vừa · 2026-10-29 · patho_engine.py
Quy trình

Seed là biến số lớn nhất với dấu hiệu yếu

Phát hiện: Cùng prompt: seed A ra vài chấm đỏ (dùng được), seed B ra hàng trăm chấm dày đặc (hỏng).

Đã làm: Sinh nhiều seed (--seeds N) và chọn bằng QC tự động (score_images.py) thay vì lấy seed đầu.

Ảnh hưởng lớn · 2026-10-29 · patho_engine.py, lesion_desc/score_images.py
Prompt

Mô tả hình thái không đủ — phải nêu TỈ LỆ

Phát hiện: Prompt mô tả đúng tổn thương nhưng không nêu mức thay đổi hình khối thì model trả về người bình thường. Thêm câu 'the neck is as wide as the jaw' thì hình thái xuất hiện.

Đã làm: Schema mô tả Gemini có trường silhouette_en (một câu nêu tỉ lệ, định lượng bằng mắt) và được ghép vào prompt sinh ảnh.

Ảnh hưởng lớn · 2026-10-29 · lesion_desc/describer.py, patho_engine.py
Kỹ thuật sinh ảnh

Nhân bản hình thái tốt nhất: ControlNet canny từ ảnh mẫu đã crop sạch

Phát hiện: 6 kỹ thuật khác (ellipse tự vẽ, lens warp, depth+blob, relight, IP-Adapter, FLUX text2img) đều thất bại hoặc chỉ đạt một phần. Canny của ảnh thật cho model biết bờ khối, màu/da/khuôn mặt do model sinh mới → bướu giáp 5/5 bối cảnh.

Đã làm: Crop sạch ảnh mẫu (bỏ nhãn số hình/viền panel), strength 0.95 cho người lớn, 0.72 cho trẻ em; chặn hairnet/earrings/skin tag bằng negative.

Ảnh hưởng lớn · 2026-10-29 · patho_engine.py, comfyui-image-deployment/references/pathology-image-bank.md
Kỹ thuật sinh ảnh

FLUX cho tổn thương da, SDXL+ControlNet cho biến dạng

Phát hiện: Cùng prompt trứng cá: SDXL ra 'tàn nhang/sẹo thâm' (48s/ảnh); FLUX ra sẩn + mụn mủ đầu trắng, da có lỗ chân lông (70–105s/ảnh). Ngược lại với bướu giáp, FLUX tự bình thường hoá (0/3 biến thể prompt), SDXL+ControlNet ra được.

Đã làm: Bảng quyết định theo nhóm dấu chứng; --engine flux|sdxl trong patho_engine.

Ảnh hưởng lớn · 2026-10-29 · patho_engine.py, flux_test.py
Mô tả bằng Gemini

gemini-2.5-pro đã bị khai tử; Gemini 3.x dùng thinkingLevel

Phát hiện: gemini-2.5-pro trả 404 'no longer available to new users' với key mới. Gemini 3.x trả INVALID_ARGUMENT nếu gửi thinkingConfig.thinkingBudget.

Đã làm: Mặc định gemini-3.1-pro-preview; client tự chọn thinkingLevel cho model 3.x, thinkingBudget cho 2.x.

Ảnh hưởng lớn · 2026-10-29 · lesion_desc/gemini_client.py
Mô tả bằng Gemini

Ảnh atlas là plate nhiều panel — phải neo theo số hình

Phát hiện: Nếu không neo, model tả lẫn panel (đã tả 'bệnh Madelung' cho plate bướu giáp).

Đã làm: Truyền số hình (figure) + buộc trả lesion_box_2d ([ymin,xmin,ymax,xmax] 0–1000) và panel_note_vi để biết đang mô tả panel nào.

Ảnh hưởng lớn · 2026-10-29 · lesion_desc/describer.py
Bằng chứng bản quyền

Hồ sơ bằng chứng: sha256 ảnh gốc + hash chuỗi

Phát hiện: Cần chứng minh ảnh sinh ra không dùng pixel atlas. Mỗi bản ghi mô tả lưu sha256 ảnh gốc, model + fingerprint key, prompt gửi (sha256), phản hồi thô, usage và hash chuỗi prev→hash.

Đã làm: export_evidence.py dựng lại và kiểm tra chuỗi; 277/277 bản ghi hiện toàn vẹn. Ảnh bệnh nhân ảo chỉ dùng trường chữ.

Ảnh hưởng lớn · 2026-10-29 · lesion_desc/describer.py, lesion_desc/export_evidence.py
Quy trình

QC tự động bằng Gemini thay vì chọn tay

Phát hiện: Sinh nhiều seed rồi chọn tay tốn công và không nhất quán.

Đã làm: score_images.py: Gemini chấm 1–5 theo sign_visible / placement / plausibility / realism / artifacts, chọn ảnh điểm cao nhất, lưu điểm + hash ảnh làm bằng chứng chất lượng.

Ảnh hưởng vừa · 2026-10-29 · lesion_desc/score_images.py
Hạ tầng

Cổng 8095 đã bị chiếm — service mô tả dùng 8096

Phát hiện: Health-check cổng 8095 trả 200 nhưng đó là service medgemma-rag, không phải service mới → tưởng 'đã chạy'.

Đã làm: Luôn ss -ltn trước khi chọn cổng; service lesion_desc dùng 8096; nằm trong switch_medgemma_source.sh mode lesiondesc (tự tắt khi chuyển chế độ khác).

Ảnh hưởng vừa · 2026-10-29 · switch_medgemma_source.sh, lesion_desc/service.py
Kết quả đo

Bộ trứng cá bằng FLUX đạt 15–18/25 qua QC tự động

Phát hiện: 2 seed × 5 bối cảnh = 10 ảnh; Gemini chấm: cao nhất 18/25 (nam 35, nữ 32, nữ 68), thấp nhất 14/25 (nam 70). Nhận xét lặp lại: đủ sẩn đỏ, thiếu mụn mủ đầu trắng rõ; prompt quá mạnh thì sinh tổn thương dày đặc giả.

Đã làm: Dùng make_series.py (sinh → chấm → chọn) thay vì chọn tay; prompt vừa phải + 2–3 seed; người duyệt cuối vẫn là giảng viên.

Ảnh hưởng lớn · 2026-10-29 · make_series.py, lesion_desc/score_images.py
Hạ tầng

FLUX fp8 tốn ~70–105 s/ảnh trên GPU1 (SDXL 20–48 s)

Phát hiện: Checkpoint all-in-one 16,4GB không vừa 16GB VRAM nên ComfyUI phải offload; mỗi ảnh 896×1152/28–32 steps mất 70–105 s. Batch 10 ảnh ≈ 17 phút, chiếm GPU1 của app trong thời gian đó.

Đã làm: Batch FLUX nên chạy ngoài giờ hoặc trên GPU riêng; SDXL dùng cho thử nhanh, FLUX cho ảnh chốt.

Ảnh hưởng vừa · 2026-10-29 · patho_engine.py, make_series.py
Kỹ thuật sinh ảnh

Inpaint SDXL: dùng SetLatentNoiseMask, không dùng VAEEncodeForInpaint

Phát hiện: VAEEncodeForInpaint xoá vùng mask thành xám; với denoise 0.55–0.70 ảnh ra một mảng xám lớn giữa mặt (đã gặp thật).

Đã làm: Đổi workflow sang VAEEncode → SetLatentNoiseMask → KSampler; mask có feather (GaussianBlur 3% cạnh) nên không lộ viền ellipse.

Ảnh hưởng lớn · 2026-10-29 · patho_engine.py
Kết quả đo

SDXL giữ chất ảnh tốt nhất nhưng kém nhất ở việc vẽ sẩn/mụn mủ

Phát hiện: 5 biến thể SDXL (text2img, inpaint toàn mặt, detail-inpaint cắt–phóng–dán, hires ×1.5, dấu hiệu đặt đầu prompt) đều không sinh được mụn mủ có cấu trúc; điểm QC 15–16/25 và nhận xét lặp lại 'không thể hiện rõ sẩn đỏ viêm/mụn mủ'. Người duyệt (BS) vẫn thấy SDXL cho chất ảnh ổn nhất.

Đã làm: Giữ SDXL làm engine mặc định (chất ảnh), nhưng phải thêm LoRA chuyên dấu chứng mới vẽ được tổn thương; FLUX dùng khi cần tổn thương rõ.

Ảnh hưởng lớn · 2026-10-29 · patho_engine.py, detail_inpaint.py
Kỹ thuật sinh ảnh

Detail-inpaint (cắt–phóng–dán): mask kín thành mảng, mask rời thì mất

Phát hiện: Mask kín cả vùng má sau khi phóng 1024 → model vẽ kín mảng đỏ (0.75) hoặc khối đỏ khổng lồ (0.90). Mask rời 14–40 đốm nhỏ → sẩn bị mất khi thu nhỏ về kích thước gốc.

Đã làm: Chỉ dùng detail-inpaint khi cần vùng tổn thương lớn (mảng vảy nến, loét); với sẩn nhỏ phải vẽ ở độ phân giải gốc.

Ảnh hưởng vừa · 2026-10-29 · detail_inpaint.py
LoRA dấu chứng

LoRA v1: SDXL đã vẽ được tổn thương nhưng còn 'mẫu chấm đỏ'

Phát hiện: Dataset 96 ảnh FLUX (8 loại × 12) → lọc Gemini còn 70; train rank 16, 1100 steps, 44 phút GPU1. Kết quả: LoRA có tác dụng thật (sẩn đỏ hai má, cả mảng vảy nến) nhưng tổn thương đối xứng/đều, thiếu mụn mủ đầu trắng; vảy nến quá lan.

Đã làm: Cần dataset v2: 240–300 ảnh, caption riêng theo mô tả Gemini (số lượng/phân bố/mức viêm), thêm 10% ảnh da bình thường, train 1600–2000 steps, quét strength 0,4–0,7.

Ảnh hưởng lớn · 2026-10-29 · build_lora_dataset.py, filter_dataset.py, train_lora.sh, lora_gen.py
Hạ tầng

LoRA train bằng diffusers KHÔNG load được trong ComfyUI (im lặng)

Phát hiện: Key dạng unet...attn2.to_k.lora.down.weight → ComfyUI log 'lora key not loaded' và bỏ qua toàn bộ; ảnh ra y như không có LoRA, dễ kết luận sai là 'LoRA không tác dụng'.

Đã làm: Sinh ảnh bằng diffusers (lora_gen.py) hoặc chuyển key sang khuôn kohya trước khi dùng trong ComfyUI.

Ảnh hưởng lớn · 2026-10-29 · lora_gen.py, lora_test.py
Hạ tầng

Torch thấy GPU0 = RTX 3070 8GB (không phải 5060 Ti)

Phát hiện: Train/LoRA OOM ngay với 'GPU 0 ... 7.66 GiB' dù máy có 5060 Ti 16GB; thứ tự CUDA khác nvidia-smi.

Đã làm: Luôn export CUDA_VISIBLE_DEVICES=1 cho job cần 16GB; trước đó gọi POST /free để ComfyUI nhả VRAM.

Ảnh hưởng lớn · 2026-10-29 · train_lora.sh, lora_gen.py
LoRA dấu chứng

LoRA train trên dữ liệu THẬT hơn hẳn dữ liệu tự sinh

Phát hiện: Cùng model nền/prompt/seed: SDXL gốc 15–16/25 (không có tổn thương); LoRA tự train trên ảnh FLUX tự sinh 15–16/25 (sẩn đỏ đối xứng, thiếu mủ); LoRA cộng đồng acne3 (SDXL, openrail++, dữ liệu trứng cá thật) 17–19/25 (sẩn + mụn mủ đúng vùng, da có lỗ chân lông).

Đã làm: Với trứng cá dùng LoRA cộng đồng (4 phiên bản acne0–3, 22MB mỗi cái). LoRA tự train trên dữ liệu tự sinh chỉ nên coi là bước thử, không đủ chuẩn giảng dạy.

Ảnh hưởng lớn · 2026-10-29 · lora_series.py, lora_gen.py
LoRA dấu chứng

Chỉ có LoRA công khai cho trứng cá; vảy nến/chàm/nấm/bạch biến/loét thì không

Phát hiện: Duyệt HuggingFace (dermatology, skin lesion, psoriasis, eczema, tinea, vitiligo, urticaria) và Civitai API: chỉ trứng cá có LoRA SDXL dùng được; các dấu chứng khác không có (kể cả trên Civitai).

Đã làm: Ba hướng: (1) ảnh bệnh nhân thật có đồng thuận → train LoRA riêng từng dấu chứng (chất lượng cao nhất); (2) dữ liệu da liễu mở có giấy phép giảng dạy (ISIC/HAM10000 là dermoscopy, khác ảnh lâm sàng); (3) tiếp tục dữ liệu tự sinh + QC chặt.

Ảnh hưởng lớn · 2026-10-29 · docs/00_HO_SO_KY_THUAT.md
Chuyên môn

Mỗi dấu chứng chỉ phù hợp một số lứa tuổi — phải có bảng sign→context

Phát hiện: Sinh trứng cá cho trẻ 8 tuổi và người 68–70 tuổi: người chấm trừ điểm plausibility (14–16/25) vì không hợp lý về chuyên môn.

Đã làm: Tạo sign_contexts.json: mỗi dấu chứng khai báo danh sách bối cảnh được phép sinh + ghi chú lý do; chỉ sinh trong danh sách này.

Ảnh hưởng lớn · 2026-10-29 · sign_contexts.json
Quy trình sinh ảnh

Ảnh thân thể: lấy ảnh lâm sàng THẬT rồi img2img denoise vừa, không dùng ControlNet cạnh

Phát hiện: Với ổ loét/vết mổ, ControlNet cạnh (0,85–0,95) làm TRÔI vị trí giải phẫu (loét gót nhảy sang mu chân) và mất chi tiết hoại tử; img2img denoise 0,42–0,45 giữ đúng vị trí + hình thái, chỉ đổi da/nền/ánh sáng.

Đã làm: Denoise theo vùng: loét bàn chân 0,45; vết mổ/trầy gối 0,42; loét miệng 0,35; amidan/họng 0,30. Luôn crop sát tổn thương trước khi sinh.

Ảnh hưởng lớn · 2026-10-30 · realistic.py, cn_ref.py
Chất lượng ảnh

Hạ chất lượng có chủ đích để hết 'bóng AI'

Phát hiện: Ảnh SDXL ra da mịn/ánh sáng đều nên bị nhận là AI. Thêm nhiễu hạt sigma 3,5–8, nhoè 0,4–1,0 px, lệch màu ±3% (hệ số NHÂN), vignette 18%, JPEG q72–88, xoay ±1,6° → đọc như ảnh điện thoại chất lượng kém.

Đã làm: Dùng degrade() trong realistic.py; TUYỆT ĐỐI dùng hệ số nhân cho kênh màu (cộng ±0,015 vào kênh xanh từng làm ảnh tím toàn bộ).

Ảnh hưởng lớn · 2026-10-30 · realistic.py
Tiền xử lý

Xoá vòng/mũi tên vẽ tay trên ảnh nguồn: ngưỡng đỏ CHẶT

Phát hiện: Ngưỡng đỏ rộng (r>110, r-g>45) bắt cả da, môi, niêm mạc họng (frac 6–77%) nên inpaint phá ảnh hoặc bị bỏ qua; ngưỡng chặt (r>135, g<100, b<100, r-g>75) chỉ bắt nét bút.

Đã làm: Chỉ xoá khi diện tích mask 0,05–3% ảnh; nếu mask quá lớn thì bỏ qua. Ảnh có vòng đỏ quanh tổn thương vẫn dùng được sau khi xoá.

Ảnh hưởng vừa · 2026-10-30 · realistic.py, cn_ref.py, fetch_refs.py
Prompt

Prompt SDXL bị cắt ở 77 token

Phát hiện: Chuỗi dài bị CLIP cắt phần cuối ('sharp focus, high-quality' mất) — chất lượng ảnh giảm mà không báo lỗi.

Đã làm: Giữ mô tả dưới ~70 token; đưa phần quan trọng (bệnh lý + vùng) lên đầu prompt.

Ảnh hưởng vừa · 2026-10-30 · lora_series.py
Danh mục ảnh dấu chứng

LoRA huấn luyện trên ảnh lâm sàng thật + cổng chất lượng mới ra được danh mục dùng được

Phát hiện: LoRA trên ảnh tự sinh chỉ đạt 15–16/25 và học 'mẫu chấm đỏ đối xứng'. Chuyển sang 376 ảnh Commons (PD/CC) → QC còn 183 → loại 15 trang sách scan còn 168 → train clinphoto rank 32, 1600 steps, 832px trên GPU1 (~70 phút). Danh mục 28 dấu chứng/71 bối cảnh: 44 ảnh đạt (trung vị 17/25). Dấu chứng tinh tế (mày đay, ghẻ, phù, vàng da, bướu giáp) vẫn chưa đạt.

Đã làm: Chỉ hiển thị ảnh có total ≥16/25 và shows_sign=yes; bối cảnh chưa đạt để ô trống. Trứng cá dùng LoRA cộng đồng acne3 (21–25/25). Hồ sơ tham số: docs/4_15_danh_muc_dau_chung_ky_thuat.md

· ·
Danh mục ảnh

Danh sách ảnh bệnh lý sinh từ ngân hàng ảnh thật (26 dấu chứng, 52 ảnh)

Phát hiện: v5 chỉ có 5 nhóm demo nên chưa dùng được như danh mục. Sinh lại toàn bộ ngân hàng qua ComfyUI :8188 (RealVisXL img2img, denoise theo vùng 0,30–0,45, hạ chất lượng có chủ đích): 52 ảnh/26 dấu chứng trong 590 s (~11,3 s/ảnh, model nạp 1 lần). Trang có ghi công + giấy phép từng ảnh nguồn.

Đã làm: Dùng bank_v6_gen.py (sinh) + build_bank_page.py (dựng trang), đăng ở /uploads/pathology_bank/. Tăng --per-sign khi cần thêm ảnh cho dấu chứng hay dùng.

Ảnh hưởng lớn · 2026-11-07 · bank_v6_gen.py, build_bank_page.py, docs/4_16_ngan_hang_anh_that.md
Chất lượng dữ liệu

QC tự động vẫn cho lọt ảnh thú/ảnh đèn Wood — phải soi contact sheet bằng mắt

Phát hiện: Trong 168 ảnh nguồn đã qua Gemini QC, soi contact sheet phát hiện 5 ảnh không dùng được: 1 ảnh con chó (exophthalmos_011), 1 ảnh chụp dưới đèn Wood (vitiligo_003), 1 ảnh toàn thân chụp xa không thấy tổn thương (venous_ulcer_003), 1 ảnh có thanh đen che mắt (impetigo_010), 1 ổ loét tầng sinh môn quá nặng (bedsore_002).

Đã làm: Luôn chạy bank_v6_gen.py --sheet rồi soi contact sheet trước khi sinh hàng loạt; khai báo ảnh loại vào dict EXCLUDE kèm lý do.

Ảnh hưởng lớn · 2026-11-07 · bank_v6_gen.py
Hạ tầng

ComfyUI --cache-none chậm gấp 3; GPU1 đang chạy qwen3 thì /free không giải phóng được

Phát hiện: Instance ComfyUI có --cache-none nạp lại checkpoint 6,9 GB mỗi ảnh (~35 s/ảnh); instance không có cache-none giữ model → 11 s/ảnh. Khi GPU1 đang chạy qwen3-14B (14,1 GB), POST /free không hạ VRAM và job lỗi "Allocation on device 0 would exceed allowed memory".

Đã làm: Trước batch: kiểm tra cmdline tiến trình main.py (có --cache-none thì bỏ); nếu GPU1 đang chạy LLM thì ./switch_medgemma_source.sh comfyui, chạy xong ./switch_medgemma_source.sh qwen3 (READY ~118 s).

Ảnh hưởng vừa · 2026-11-07 · bank_v6_gen.py
Prompt/ảnh nguồn

Ảnh nguồn macro quá cận làm ổ loét thành hình "bánh vòng"

Phát hiện: diabetic_foot_008 (gót chân, ổ loét giữ bằng tay đeo găng) sinh ra ổ loét kiểu bánh vòng, đọc như lỗi AI; đổi sang diabetic_foot_005/006 (còn thấy giải phẫu bàn chân quanh ổ loét) thì tự nhiên hơn.

Đã làm: Với ổ loét/tổn thương lõm, chọn ảnh nguồn còn khung giải phẫu xung quanh (không crop macro), denoise 0,44–0,45.

Ảnh hưởng vừa · 2026-11-07 · bank_v6_gen.py

Hồ sơ kỹ thuật đầy đủ

Kho ảnh dấu chứng lâm sàng cho bệnh nhân ảo — hồ sơ kỹ thuật

Tài liệu này là nhật ký + quyết định kỹ thuật của dự án, viết để sau này đưa lên trang

dv.badt.vn/project. Mọi con số dưới đây là đo thật trên máy 250 (RTX 5060 Ti 16GB + 3×RTX 3060 + RTX 3070),

không phải ước lượng.


1. Mục tiêu và ràng buộc

Mục tiêu. Bệnh nhân ảo (phần mềm giảng dạy) cần ảnh dấu chứng lâm sàng đúng chuyên môn, cho

5 bối cảnh nhân khẩu (trẻ em trai 8, nam 35, nữ 32, nam 70, nữ 68 — đều người Việt), dùng cho

giảng dạy y khoa chuẩn.

Ràng buộc pháp lý (quan trọng nhất).

1. Ảnh gốc lấy từ atlas có bản quyền (Elsevier) → không được xuất bản lại, không dùng pixel.

2. Ảnh bệnh nhân ảo sinh ra phải là tác phẩm mới: bệnh nhân khác, khung hình khác, nền/ánh sáng khác.

3. Phải có hồ sơ bằng chứng chứng minh quy trình (dùng mô tả chữ / cấu trúc, không dùng pixel).

Nguyên tắc kỹ thuật rút ra từ ràng buộc đó.


2. Kiến trúc hiện tại (v3)

atlas PDF (278 trang scan)
   └─ trích 277 ảnh (pymupdf) ─────────────────────────────► data/figures_jpg/
                                                              │
Gemini 3.1 Pro (vision, 2 lượt) ◄───────────────────────────┘
   ├─ mô tả lâm sàng tiếng Việt (hình thái, bờ, màu, phân bố, dấu hiệu âm tính, chẩn đoán phân biệt, điểm giảng dạy)
   ├─ prompt_en  (40–90 từ, mô tả thể chất để sinh ảnh, KHÔNG nêu tên bệnh)
   ├─ silhouette_en (câu nêu TỈ LỆ thay đổi — bắt buộc để model ảnh chịu đổi hình khối)
   ├─ lesion_box_2d (panel nào trong plate nhiều hình)  └─ panel_note_vi
   ▼
outputs/<id>.json  +  manifest.jsonl (hash chuỗi)  ──► evidence/{index.html, manifest.csv, chain_check.txt}
   │
   ├─ engine FLUX.1-dev fp8  → ảnh tổn thương da (sần, mụn, vảy, sắc tố) — chất lượng cao nhất
   └─ engine SDXL + ControlNet canny (từ ảnh mẫu đã crop sạch) → dấu hiệu làm ĐỔI HÌNH KHỐI (bướu giáp, lồi mắt)
         ▼
   Gemini chấm điểm 1–5 (QC tự động) → chọn ảnh đạt → kho ảnh bệnh nhân ảo

Quản lý dịch vụ (GPU1). Mọi thứ chạy qua switch_medgemma_source.sh:

qwen3 | medgemma | comfyui | 3dpatient | lesiondesc — chỉ một chế độ tại một thời điểm.


3. Bảng quyết định: dùng engine nào cho dấu chứng nào

Nhóm dấu chứngEngineKỹ thuậtKết quả đo
Tổn thương da (trứng cá, vảy nến, chàm, nấm, bạch biến, loét, sẩn/mụn mủ)FLUX.1-dev fp8text2img + prompt chi tiết✅ sẩn/mụn mủ có đầu trắng, da có lỗ chân lông, ánh sáng thật; SDXL chỉ ra "tàn nhang"
Dấu hiệu đổi hình khối (bướu giáp, lồi mắt, biến dạng khớp, phù)SDXL + ControlNet cannycạnh của ảnh mẫu đã crop sạch✅ cổ to bè rộng, đúng hình thái; FLUX tự "bình thường hoá" dấu hiệu
Mặt tròn/Cushing (thay đổi khối lượng mô mỡ)SDXL (RealVisXL)text2img, mô tả "thể chất" ("extremely overweight obese face")✅ 5/5 bối cảnh
Vàng da, vàng củng mạc*(chưa đạt)*—❌ cả 2 engine đều bỏ qua; cần inpainting vùng củng mạc/màu da
Khối u/mô mềm nói chung (u giáp, hạch, u mỡ)ControlNet canny từ ảnh mẫunhư trên⚠️ đạt "cổ to", chưa ra khối rõ ràng — cần FLUX ControlNet Union/Fill

Vì sao FLUX tốt hơn cho da: FLUX giữ được vi cấu trúc da (lỗ chân lông, bóng nhờn, viền sẩn) và

không "làm đẹp" tổn thương; SDXL/RealVisXL có prior "da sạch – mặt đẹp" rất mạnh.

Vì sao SDXL vẫn cần: khi dấu hiệu đòi thay đổi giải phẫu, FLUX có xu hướng trả về người bình thường

(đã thử 3 biến thể prompt, 0/3 ra bướu giáp) trong khi ControlNet canny ép được đường viền.


4. Nhật ký thí nghiệm (đo thật)

4.1 Bóc ảnh khỏi PDF scan

4.2 Prompt — 3 bẫy đã trả giá

1. Bộ negative mặc định đè bệnh lý: có deformed, disfigured, plastic skin, oversmooth → model

tự xoá tổn thương. Đã tách NEG_PATHO (bỏ các từ đó). Trước khi sửa: vảy nến ra khuôn mặt sạch.

2. Trọng số prompt (text:1.5) phá ảnh với RealVisXL: "vàng da" → hạt vàng lá rải khắp mặt;

"scleral icterus" → nhảy sang khung cận mắt. Bỏ hoàn toàn weight, thay bằng mô tả thể chất + negative đối lập.

3. Seed là biến số cực lớn: cùng prompt, seed A → vài chấm đỏ (dùng được), seed B → hàng trăm chấm

dày đặc (hỏng). Với dấu hiệu yếu phải sinh ≥3 seed rồi chọn (nay dùng Gemini chấm điểm để chọn).

4.3 Khung hình: lỗi thiết kế lớn nhất

Script đầu tiên cố định head and shoulders cho mọi dấu hiệu → mọi thứ thành chân dung.

Atlas thực tế: 83 ảnh mặt nhưng 43 bàn tay, 41 chân, 21 miệng, 19 đáy mắt, 18 móng, 16 mắt, 12 cổ.

→ Đã thêm --region 10 vùng (face/neck/hand/forearm/leg/foot/mouth/eye/nail/trunk), mỗi vùng có

khung hình + tỉ lệ canvas + mask preset. Đây là thay đổi có tác động lớn nhất tới chất lượng.

4.4 Nhân bản hình thái: 7 kỹ thuật đã thử

#Kỹ thuậtKết quả
1ControlNet canny + tự vẽ ellipse❌ chỉ ra vệt đường trên da
2Lens warp (phóng pixel)⚠️ dày lên nhưng không có đổ sáng → không đọc ra khối
3ControlNet depth + gò Gauss nhân tạo❌ sinh vòng tròn (ring artifact) trên da
4Relight gò (depth → pháp tuyến → Lambert)⚠️ đúng hướng, hiệu ứng còn nhẹ
5IP-Adapter trọng số 0.30❌ kéo tuổi 32→60, không chuyển hình thái
6ControlNet canny từ ảnh mẫu đã crop sạch✅ tốt nhất — cổ to bè, bệnh nhân mới
7FLUX text2img mô tả giải phẫu chính xác❌ tự bình thường hoá ("face normal above the swelling" → cổ bình thường)

Chi tiết của #6: ảnh mẫu phải crop sạch (bỏ nhãn số hình, viền panel); --control-strength 0.95 cho

người lớn nhưng 0.72 cho trẻ em (0.95 làm bé 8 tuổi thành 15–18); chặn `hairnet, shower cap,

earrings, skin tag, mole` bằng negative (ControlNet hay sao lại đồ của ảnh mẫu).

4.5 So sánh engine trên cùng một prompt (trứng cá)

4.6 Mô tả bằng Gemini — số liệu

Gemini 3.x không nhận thinkingConfig.thinkingBudget → phải thinkingLevel.

lẫn panel (đã gặp: tả "bệnh Madelung" cho plate bướu giáp).

4.7 QC tự động

score_images.py cho Gemini chấm mỗi ảnh theo 5 tiêu chí 1–5 (sign_visible, placement, plausibility,

realism, artifacts) → chọn ảnh tổng điểm cao nhất. Ví dụ thật: ảnh trứng cá FLUX đạt 18/25 ("dùng được").

4.8 Dây chuyền chất lượng (make_series + score_images) — kết quả thật

chọn ảnh điểm cao nhất/ngưỡng → outputs_final/<id>/{ảnh, report.json, report.csv} (có sha256).

điểm 15–18/25. Ảnh tốt nhất (nam 35) có sẩn + mụn mủ đầu trắng rõ; ảnh nam 70 yếu nhất (14/25).

("about thirty papules, roughly half with visible white pus heads") chứ không "densely covering"

(cái sau sinh tổn thương dày đặc, trông giả).

FLUX ngoài giờ hoặc trên GPU riêng; SDXL 20–48 s/ảnh cho thử nhanh.

4.9 Quy ước đặt prompt theo engine (đúc kết)

EngineDùng choMẫu promptTránh
FLUXtổn thương davị trí + số lượng tương đối + hình thái từng tổn thương + bề mặt da + nền xámmô tả biến dạng khối (model bình thường hoá), "densely covering"
SDXL + ControlNet cannybiến dạng/hình khốimô tả bệnh nhân + dấu hiệu + chất liệu da; hình thái do ảnh mẫu quyết địnhtự vẽ ellipse/khối, weight syntax

4.10 Hướng SDXL (theo chỉ đạo: SDXL cho chất ảnh ổn nhất) — 5 biến thể đã thử

Kỹ thuậtThời gianKết quả
text2img (dấu hiệu cuối prompt)~14–48 schất ảnh tự nhiên nhất, sẩn đỏ nhỏ + sẹo thâm; QC 15–16/25
inpaint toàn mặt 0.7028 sgiữ ánh sáng, tổn thương đỏ hơn nhưng vẫn nhẹ
detail-inpaint (cắt má → phóng 1024 → vẽ → dán)8 smask kín → mảng đỏ lớn; mask rời nhỏ → mất khi thu nhỏ
hires-fix ×1.5 (denoise 0.35)46 sda nét hơn nhưng khuôn mặt trôi, da bị mịn hoá
dấu hiệu đặt ĐẦU prompt14 sra "má đỏ ửng" kiểu rosacea, mặt kém tự nhiên

Lỗi quan trọng đã sửa: VAEEncodeForInpaint xoá vùng mask thành xám → đổi sang

VAEEncode → SetLatentNoiseMask (giữ nội dung ảnh gốc) + feather mask 3% cạnh. Trước khi sửa,

inpaint denoise 0.55–0.70 cho ra mảng xám lớn giữa mặt.

Kết luận: SDXL thắng về chất ảnh nhưng prior "da sạch – mặt đẹp" chặn việc vẽ mụn mủ; mọi mẹo prompt

chỉ làm tổn thương đậm hơn. Muốn SDXL vẽ đúng dấu chứng mà giữ chất ảnh → LoRA chuyên dấu chứng

(train trên ảnh tự sinh, không dùng ảnh sách), cần GPU1 rảnh 1–2 giờ.

4.11 LoRA dấu chứng v1 (GPU1, 29/10)

~2,1 ảnh/phút vì model 16,4GB phải nạp lại); filter_dataset.py cho Gemini chấm và giữ 70 ảnh

(bỏ ảnh không có tổn thương/lỗi rõ — ví dụ "bạch biến" ra vệt sơn trắng trên tay).

đang phục vụ app**. Checkpoint chuyển sang diffusers bằng convert_ckpt.py (4,9GB).

file ~/lora/out_lesion/pytorch_lora_weights.safetensors (93MB).

thiếu mụn mủ; vảy nến quá lan. Nguyên nhân: 70 ảnh/8 loại và caption gần giống nhau → học thành "mẫu".

im lặng bỏ qua) → phải sinh bằng lora_gen.py (diffusers) hoặc convert key sang kohya.

POST /free để ComfyUI nhả VRAM trước khi train/sinh bằng diffusers.

4.12 Vì sao ảnh chưa đạt, và điều gì sửa được (29/10)

Chẩn đoán: LoRA v1 học từ ảnh tự sinh (FLUX) — mà FLUX vẽ tổn thương theo kiểu "ấn tượng",

nên LoRA chỉ học được một "mẫu chấm đỏ đối xứng". Dữ liệu đầu vào quyết định trần chất lượng.

Đã chứng minh bằng số (cùng RealVisXL, cùng prompt, cùng seed, Gemini chấm 25 điểm):

Cách làmĐiểmNhận xét
SDXL gốc15–16không có tổn thương dù prompt yêu cầu
LoRA tự train (dữ liệu tự sinh)15–16sẩn đỏ đối xứng kiểu "chấm", thiếu mụn mủ
LoRA cộng đồng acne3 (dữ liệu thật, openrail++)17–19sẩn + mụn mủ đúng vùng (má/cằm/trán), da có lỗ chân lông

Hai kết luận kỹ thuật

1. ManuelHettich/acne0..3_LoRA_filtered_all (SDXL, 22MB, base SDXL 1.0) là LoRA huấn luyện trên

ảnh trứng cá thật — dùng được ngay với RealVisXL (--strength 0.85, token acneN).

2. Prompt SDXL bị cắt ở 77 token CLIP — prompt quá dài sẽ mất phần "sharp focus/high-quality"

ở cuối; nên giữ mô tả < 70 token.

Chưa có LoRA cho dấu chứng khác: duyệt HuggingFace (dermatology/skin lesion/psoriasis/eczema/

tinea/vitiligo/urticaria) và Civitai API → chỉ trứng cá có. Ba hướng: (1) ảnh bệnh nhân thật có

đồng thuận → train LoRA riêng từng dấu chứng; (2) dữ liệu mở có giấy phép dạy học (ISIC/HAM10000 là

dermoscopy — không phải ảnh lâm sàng); (3) tiếp tục tự sinh + QC chặt (mức hiện tại).

Đúng chuyên môn: mỗi dấu chứng chỉ phù hợp một số lứa tuổi → sign_contexts.json khai báo

dấu chứng → bối cảnh được phép sinh (trứng cá: 35 nam/32 nữ; loét chân: 70 nam/68 nữ; bướu giáp: nữ...).

4.13 Hướng đúng cho ảnh thân thể: ảnh thật → biến thể → hạ chất lượng (30/10)

Bác sĩ nhận xét ảnh LoRA chưa đạt chuẩn đào tạo và yêu cầu: (a) không phải dấu chứng nào cũng cần 5 nhóm

đối tượng, (b) cần vùng ngoài mặt (bàn chân, gối, răng miệng, họng), (c) được dùng ảnh internet rồi

sinh biến thể giữ bản chất bệnh lý, (d) tăng nhiễu/hạ chất lượng cho giống ảnh chụp thật, đừng làm bóng.

Quy trình v5 (fetch_refs.py → realistic.py → degrade()):

1. Tải ảnh lâm sàng thật từ Wikimedia Commons (CC BY/CC BY-SA/PD) — ghi refs_real/meta.json (tiêu đề,

URL, giấy phép, tác giả) làm bằng chứng + ghi công.

2. Xoá vòng/mũi tên vẽ tay: ngưỡng đỏ chặt (r>135, g<100, b<100, r−g>75), chỉ khi mask 0,05–3% ảnh.

3. Crop sát tổn thương rồi img2img denoise vừa → đổi da/nền/ánh sáng, giữ vị trí + hình thái tổn thương.

4. Hạ chất lượng: nhiễu hạt σ 3,5–8, nhoè 0,4–1,0 px, lệch màu ±3% (nhân), vignette 18%, JPEG q72–88, xoay ±1,6°.

Denoise đã đo: loét bàn chân 0,45 (0,55 làm nát ổ loét) · vết mổ/trầy gối 0,42 · loét miệng 0,35 ·

amidan/họng 0,30 (cao hơn là hỏng giải phẫu).

Bài học kỹ thuật

mu chân) và mất chi tiết hoại tử; chỉ nên dùng cho khối/u lồi (bướu giáp).

(cộng vào kênh ≈0 làm mất kênh xanh → ảnh tím).

CUDA_VISIBLE_DEVICES=1 (torch thấy GPU0 = RTX 3070 8GB).

Hạn chế còn lại: ảnh sinh là *biến thể của ảnh nguồn* (cùng khung/bố cục) — muốn "bệnh nhân khác"

thật thì phải train LoRA trên chính bộ ảnh thật theo từng vùng.


5. Bài học prompt (dùng lại được)

Cho FLUX (tổn thương da)

hàng trăm chấm đỏ, giả).

Cho SDXL + ControlNet (biến dạng)

Chung

đồng nhất và dễ ghép vào bộ.


6. Hạ tầng (máy 250)

GPUThiết bịDùng cho
0RTX 3060 12GBservice khác
1RTX 5060 Ti 16GBComfyUI (:8188) / vLLM LLM (:8094) / lesiondesc (:8096) — một chế độ/lần
2RTX 3060 12GBvLLM
3RTX 3060 12GBvLLM
4RTX 3070 8GBtrống (dự phòng)

Model đã có: RealVisXL V4.0, SD_XL base 1.0, FLUX.1-dev fp8 (17GB, all-in-one) + t5xxl_fp8 + clip_l,

LTX-Video 2B, ControlNet SDXL (canny/scribble/depth, 2,4GB mỗi cái), IP-Adapter plus/plus-face, RealESRGAN x2.

Lệnh thường dùng:

cd ~/llm_research/llm_project
./switch_medgemma_source.sh comfyui      # tạo ảnh
./switch_medgemma_source.sh lesiondesc   # mô tả sang thương (GPU1 rảnh)
./switch_medgemma_source.sh              # trạng thái

Sinh ảnh: cd ~/llm_research/virtual_patient_image && ./venv/bin/python patho_engine.py --patho-id X --region neck --engine flux --mode text2img --signs "…" --seeds 2


4.15 Danh mục ảnh dấu chứng từ dữ liệu thật (31/10)

Hồ sơ đầy đủ tham số + cách triển khai: docs/4_15_danh_muc_dau_chung_ky_thuat.md.

Tóm tắt: 376 ảnh nguồn (Wikimedia, chỉ PD/CC0/CC BY/CC BY-SA) → QC Gemini giữ 183 → loại 15 trang sách

scan còn 168 → LoRA clinphoto rank 32, 1600 steps, 832 px, lr 8e-5, GPU1 (~70 phút, 186 MB) →

sinh 2 chế độ (text2img và img2img từ ảnh thật) → chấm 5 tiêu chí → **chỉ hiển thị ảnh ≥16/25 và đúng

dấu chứng. Kết quả: 28 dấu chứng, 71 bối cảnh, 44 ảnh đạt** (trung vị 17/25; trứng cá 21–25 nhờ

LoRA cộng đồng acne3). Chưa đạt 11 dấu chứng tinh tế (mày đay, ghẻ, phù ấn lõm, vàng da, zona,

loét tì đè, dùi trống, lồi mắt, bướu giáp, loét bàn chân ĐTĐ).

Trang: https://dv.badt.vn/ai/virtualpatient/uploads/catalogue/ (Apache trên máy 245).


4.16 Danh sách ảnh bệnh lý sinh từ ngân hàng ảnh THẬT — toàn bộ 26 dấu chứng (07/11)

Hồ sơ đầy đủ: docs/4_16_ngan_hang_anh_that.md.

Tóm tắt: v5 chỉ có 5 nhóm demo nên chưa dùng được như danh mục. Đã sinh lại toàn bộ ngân hàng qua

ComfyUI :8188 (RealVisXL img2img, denoise theo vùng 0,30–0,45, hạ chất lượng có chủ đích):

52 ảnh / 26 dấu chứng trong 590 s (~11,3 s/ảnh); ảnh đầu 35–43 s vì nạp checkpoint.

Loại 5 ảnh nguồn sau khi soi contact sheet (ảnh con chó, ảnh đèn Wood, ảnh chụp xa, ảnh bị che mắt,

ổ loét tầng sinh môn) → QC tự động không thay được mắt người ở bước chọn ảnh nguồn.

Thiếu ảnh cho urticaria và oral_candidiasis (ngân hàng thật không có ảnh đạt).

Trang có bảng 26 dấu chứng, tìm kiếm, ghi công + giấy phép từng ảnh nguồn:

https://dv.badt.vn/ai/virtualpatient/uploads/pathology_bank/.


7. Việc còn lại (định hướng)

1. FLUX ControlNet Union (~6,6GB) → kết hợp chất lượng da của FLUX với hình thái ép từ ảnh mẫu

(giải quyết bướu giáp/lồi mắt ở mức cao nhất).

2. FLUX Fill (inpainting) → đặt tổn thương đúng vùng trên chân dung sạch (vàng da, mảng khu trú).

3. LoRA chuyên dấu chứng train trên ảnh do mình sinh (không train trên ảnh sách) — cần GPU1 rảnh 1–2 giờ.

4. Trang duyệt ảnh + điểm QC cho giảng viên duyệt/từ chối, lưu lại quyết định (audit trail dạy học).

5. Đưa nội dung tài liệu này lên dv.badt.vn/project (đã có knowledge.json để render).