ComfyUI gebruiken: Een praktische stapsgewijze handleiding voor beginners
Als je hebt gehoord dat ComfyUI “node-gebaseerd en superkrachtig” is, maar je geïntimideerd voelt door alle vakken en draden, dan ben je niet de enige. Het goede nieuws: zodra je een paar kernconcepten leert—checkpoints, encoders, samplers en decoders—bouw je als een pro image workflows. Deze praktische handleiding leidt je door het gebruik van ComfyUI, van installatie tot je eerste SDXL-afbeeldingen, plus workflows voor ControlNet, LoRA's en kwaliteits-/prestatie-tuning.
Aan het einde weet je precies hoe je ComfyUI kunt gebruiken om consistente, herhaalbare en flexibele image generaties te maken zonder giswerk.
Wat is ComfyUI en waarom zou je het gebruiken?
ComfyUI is een visuele, node-gebaseerde interface voor Stable Diffusion waarmee je je image pipeline stap voor stap kunt ontwerpen. In plaats van een enkele “Generate”-knop, verbind je nodes—elk behandelt een afzonderlijke taak, zoals het laden van een model, het encoderen van tekst, het samplen van latents of het decoderen van de uiteindelijke image. Het is snel, modulair en transparant—perfect voor leren, experimenteren en productie workflows.
Snelle start: ComfyUI installeren en lanceren
- Windows/macOS/Linux: Volg de officiële repo en de community-installatiehandleidingen. Je kunt handmatige installatie gebruiken (Python + dependencies) of verpakte methoden, afhankelijk van je platform en GPU. De ComfyUI-wiki biedt stapsgewijze installatie voor Windows, macOS (inclusief Apple Silicon) en Linux.
- Modellen: Plaats je Stable Diffusion checkpoints (bijv. SDXL base/refiner of SD 1.5) in de map
models/checkpoints. Plaats VAE-bestanden in models/vae, LoRA's in models/loras, ControlNet-modellen in models/controlnet.
- Lancering: Voer het startscript uit voor je OS; ComfyUI opent in je browser. Het canvas is waar je nodes aan elkaar koppelt.
Tip: Houd je GPU-drivers en CUDA-toolkit up-to-date voor de beste prestaties.
Kernconcept: De minimale Text-to-Image Workflow
De basis text-to-image flow van ComfyUI (SD 1.5-stijl) ziet er als volgt uit:
- Output: UNet-, CLIP- en VAE-componenten
- Node: CLIP Text Encode (Positive)
- Node: CLIP Text Encode (Negative)
- Output: Conditioning embeddings voor guidance
- Inputs: UNet, positive/negative conditioning, seed, steps, sampler (bijv. DPM++ 2M Karras), en CFG scale
Deze basis graph—Checkpoint → CLIP (pos/neg) → KSampler → VAE Decode → Save—is de basis voor bijna alles wat je in ComfyUI zult doen.
SDXL Workflow: Base + (Optioneel) Refiner
SDXL gebruikt dual text encoders en profiteert vaak van een refiner pass.
- Laad SDXL Base: Gebruik een SDXL-compatibel checkpoint. Veel SDXL-templates bevatten twee CLIP encoders (voor grote/kleine context). Voer zowel positive als negative prompts in.
- KSampler (Base): Genereer latents op 1024×1024 (of je target). Sla latents of gedecodeerde images op.
- Optionele Refiner: Laad het SDXL Refiner checkpoint en voer een extra KSampler pass uit, geconditioneerd op de base output, en decodeer vervolgens met VAE.
Dit tweetrapsproces kan de detailweergave en samenhang aanzienlijk verbeteren bij hogere resoluties.
Hands‑On: Bouw je eerste ComfyUI Graph
- Start vanuit een template: Laad in de sidebar een ingebouwd text-to-image voorbeeld.
- Vervang het checkpoint: Selecteer je SDXL- of SD 1.5-model.
- Schrijf je prompt: Gebruik de Positive en Negative CLIP nodes. Voorbeeld:
- Positive: “cinematic portrait, soft studio lighting, 85mm lens, highly detailed, film grain”
- Negative: “blurry, low-res, deformed, extra fingers, watermark”
- Steps: 20–35 voor snelheid/kwaliteit balans
- Sampler: DPM++ 2M Karras (betrouwbaar) of Euler a (snel)
- CFG: 4.5–7.5 (hoger duwt de prompt harder, maar kan oververzadigen)
- Seed: Fixeer het voor reproduceerbaarheid; varieer voor verkenning
- Resolutie: Voor SD 1.5, start op 512×512 of 768×768. Voor SDXL werkt 1024×1024 goed.
- Decode en Save: Voeg VAE Decode → Save Image toe. Klik op Queue Prompt om te genereren.
De belangrijkste nodes begrijpen (in gewoon Nederlands)
- Checkpoint Loader: Laadt je diffusion model (UNet), text encoder(s) (CLIP) en VAE. Zie het als je “motor + taalbrein + image vertaler”.
- CLIP Text Encode: Converteert je prompt naar numerieke embeddings die het model begrijpt. Gebruik zowel positive als negative text encoders.
- KSampler: Het hart van image synthese. Het verwijdert ruis uit latent noise, geleid door je prompt en sampler methode over een aantal steps.
- VAE Decode: Vertaalt de uiteindelijke latents naar een bekijkbare image. Het verwisselen van VAE's verandert de kleur-/contrastgetrouwheid.
- Save Image: Schrijft output naar de disk met metadata, zodat je later resultaten kunt recreëren.
Voor een diepere duik in deze bouwstenen, bekijk beginner-vriendelijke breakdowns en node explainers.
Power‑Ups: LoRA, ControlNet en Image‑to‑Image
Gebruik LoRA voor stijl- of onderwerpcontrole
- Voeg een LoRA Loader node toe en verbind deze met je model branch.
- Strength: Begin rond 0.6–0.8; pas aan op basis van stijlintensiteit of overfitting.
- Meerdere LoRA's: Chain of merge, maar let op conflicten; lagere strengths bij stacking.
Voeg ControlNet toe voor nauwkeurige compositie
- Met ControlNet nodes kun je de compositie sturen met behulp van een input map (Canny, Depth, OpenPose, enz.).
- Typische flow: Laad ControlNet model → Preprocess je guide image (bijv. Canny edge) → Voer ControlNet conditioning in KSampler samen met je text conditioning.
- Weight: 0.5–1.2 is een goed begin. Te hoog kan je prompt overstemmen.
Image‑to‑Image of Inpainting
- Vervang de initiële ruis door een image latent via VAE Encode.
- Pas de denoise strength in KSampler aan om te bepalen hoeveel van de originele image overblijft.
- Gebruik voor inpainting een mask input en een inpaint‑aware sampler pipeline.
Kwaliteit tuning: Prompts, CFG, Samplers en Seeds
- Prompt engineering: Gebruik beknopte descriptoren, geen paragrafen. Volgorde is minder belangrijk dan duidelijkheid, maar houd kritieke attributen vooraan.
- Laag (3–5): Meer creatief, minder prompt adherence
- Midden (6–8): Gebalanceerd
- Hoog (9–12): Sterke adherence, kan artifacts creëren
- DPM++ 2M Karras: Schoon, betrouwbaar
- Euler a: Snel en expressief, geweldig voor previews
- UniPC / Heun / DDIM: Het testen waard; resultaten variëren per model
- Fixed seed = reproduceerbare resultaten
- Vary seed = verken diversiteit
Prestatie tips voor soepele renders
- VRAM budgeting: Lagere resolutie, steps of batch size als je OOM raakt. SDXL op 1024×1024 kan 8–12 GB VRAM vereisen, afhankelijk van nodes.
- Half precision: Schakel fp16 in waar ondersteund voor grote geheugenbesparingen met verwaarloosbaar kwaliteitsverlies.
- Tiling en latent upscalers: Genereer kleiner en upscale vervolgens via een latent upscaler node of image upscaler model om VRAM te besparen.
- Caching: Hergebruik CLIP encodings en gedecodeerde VAE's over verschillende runs wanneer prompts niet veranderen.
- Vermijd onnodige branches: Extra losgekoppelde nodes verbruiken nog steeds geheugen wanneer ze in dezelfde queue worden uitgevoerd.
Workflows organiseren als een pro
- Group nodes: Gebruik frames/labels om secties te organiseren (Prompt, Model, Sampler, Output, enz.).
- Parameter panels: Maak “control” nodes (bijv. lege prompt boxes, sliders) bovenaan voor eenvoudige tuning.
- Save/share: Exporteer je workflow JSON en bewaar een
models used note voor reproduceerbaarheid.
- Versioning: Bewaar aparte graphs voor SD 1.5, SDXL en specialty pipelines (anime, photoreal, depth-to-image, enz.).
Veelvoorkomende problemen oplossen
- Verkeerde VAE of ontbrekende VAE Decode
- Denoise te laag (bijv. <0.2 in img2img)
- Probeer een andere VAE; sommige VAE's verbeteren het contrast merkbaar
- Lagere CFG of verander sampler
- Er verandert niets tussen runs:
- Seed is fixed; schakel randomize in of stel een nieuwe seed in
- Reduceer resolutie, steps of batch size; switch naar fp16
- Sluit andere GPU apps; vereenvoudig ControlNet/LoRA stacks
- Model niet gevonden / rode node:
- Verifieer bestandspaden en model folders; bevestig bestandsextensies
Sneller leren met vooraf gebouwde workflows
Video walkthroughs en beginner series kunnen je leercurve versnellen met kant-en-klare graphs die je kunt pauzeren en ontleden. Geschreven tutorials en wiki's bieden node explanations en bijgewerkte installatie steps om je up-to-date te houden.
Geavanceerd: Modulariseren en uitbreiden van je graphs
- API/External nodes: Sommige tutorials behandelen het verbinden van ComfyUI met externe AI services via speciale nodes, waardoor hybride pipelines mogelijk worden en zware taken worden uitbesteed.
- Node libraries en extensions: Verken community nodes voor schedulers, upscalers en preprocessing (pose, depth, segmentation). Controleer altijd de compatibiliteit met je ComfyUI-versie.
- SDXL refiners en chained samplers: Voer staged denoising uit (base → refiner) of zelfs meerdere samplers voor stylistische blending.
Vermeldenswaardig: Het versnellen van prompting met Sider.AI
Als je vaak prompts, references of descriptions itereert, wil je misschien een sidekick om variaties te brainstormen en te verfijnen. Sider.AI kan je trouwens helpen om snel gestructureerde prompts op te stellen, negative prompt lijsten te genereren en je workflow experimenten samen te vatten, zodat je het overzicht niet verliest tussen runs. Je kunt het hier proberen: Een eenvoudige SDXL Starter Workflow (Kopieer dit patroon)
- Checkpoint Loader (SDXL Base)
- CLIP Text Encode (Positive) — “ultra-detailed product photo, softbox lighting, 50mm lens, reflective surface”
- CLIP Text Encode (Negative) — “low-res, motion blur, watermark, background clutter”
- KSampler: 1024×1024, 28 steps, DPM++ 2M Karras, CFG 5.5, fixed seed
Optionele add-ons:
- Refiner pass met SDXL Refiner checkpoint op 10–15 steps
- ControlNet (Depth) met een eenvoudig object silhouette voor layout
- LoRA op 0.6 voor een specifiek merk of art style
Belangrijkste punten
- De kracht van ComfyUI komt voort uit de transparantie—bouw je pipeline node voor node.
- De core text‑to‑image chain is simpel: Checkpoint → CLIP (pos/neg) → KSampler → VAE Decode → Save.
- SDXL profiteert van dual encoders en een optionele refiner pass voor detail.
- LoRA's en ControlNet geven je stijlcontrole en compositie precisie.
- Tune CFG, sampler en seed voor kwaliteit en consistentie; beheer VRAM met fp16 en verstandige resoluties.
- Organiseer workflows en version ze voor pijnloze iteratie.
Volgende stappen
- Installeer ComfyUI volgens de repo/wiki instructies en lanceer een sample workflow.
- Herbouw de minimale chain vanaf scratch om de basis te verstevigen.
- Voeg ControlNet en een LoRA toe en A/B test sampler en CFG instellingen.
- Sla je workflow JSON op en deel deze met notes over modellen, seeds en parameters.
Happy generating—en welkom in de kalme, controleerbare wereld van ComfyUI.
FAQ
V1: Hoe installeer en run ik ComfyUI op Windows, macOS of Linux?
Volg de officiële repo en de community wiki voor platformspecifieke steps, model folder locaties en dependencies. Na de installatie lanceer je de lokale server en open je ComfyUI in je browser om nodes aan elkaar te koppelen.
V2: Wat is de eenvoudigste ComfyUI workflow voor text-to-image?
Laad een checkpoint, encode positive en negative prompts met CLIP, run een KSampler, decode met VAE en sla vervolgens de image op. Deze chain is de basis voor het effectief gebruiken van ComfyUI voor de meeste generaties.
V3: Hoe gebruik ik SDXL in ComfyUI?
Gebruik een SDXL checkpoint met dual text encoders en voeg optioneel een refiner pass toe voor betere details. Run op 1024×1024 met gebalanceerde CFG (ongeveer 5–7) en een efficiënte sampler zoals DPM++ 2M Karras.
V4: Kan ik ControlNet en LoRA toevoegen in dezelfde ComfyUI workflow?
Ja. Laad je LoRA- en ControlNet nodes, verbind ze met de model- en KSampler conditionings en tune weights (bijv. 0.6–0.8 voor LoRA, ~0.5–1.2 voor ControlNet). Let op VRAM-gebruik en reduceer resolutie of steps als je OOM raakt.
V5: Waarom hebben mijn ComfyUI images een laag contrast of zijn ze flets?
Probeer een andere VAE, lagere CFG of switch samplers. Sommige VAE's produceren meer getrouwe kleuren en contrast; kleine aanpassingen kunnen fletse resultaten snel verhelpen.
