Workflow mit Blender und KI (Comfy-Ui)

[Ray-L]

Liebe Community,

mich würde sehr interessieren, wie ihr dem Thema Blender und KI gegenübersteht. Mein Gefühl ist, dass sehr viele dem Thema skeptisch und einige mit mit Abneigung begegnen. Ich hatte vor einiger Zeit ein Add-On gepostet, an dem ich gerade arbeite... (mit mäßiger Reaktion). Das ganze ist mittlerweile einige Schritte weiter und eigentlich etwas mehr als ein Blender Add-On. Es integriert Comfy-Ui Workflows nahtlos in Blender und bindet damit nahezu jedes lokal installierbare KI-Bildgenerierungs-Tool in Blender ein. (Läuft mittlerweile stabil unter MacOS und unter Windows - dokumentiert ist SDXL und Flux1dev). Wie das ganze funktioniert könnt ihr euch auf meinen Seiten www.3dwrkshp.com und www.ray-l.net anschauen. Das Add-on steht auf ray-l.net zum kostenlosen download. 

Es würde mich sehr interessieren wie ihr solchen hybriden workflows gegenübersteht und ob ich der einzige bin der das Gefühl hat dass die Reise genau in diese Richtung geht.

Bin gespannt auf eure Kommentare 
Matthias

www.3dwrkshp.com
www.ray-l.net

[Ray-L]

ich bin nach wie vor total neugierig welche Erfahrungen ihr in dem Bereich bisher gemacht habt oder ob das gar kein Thema für euch ist. Persönlich halte ich die Verknüpfung von 3D (Blender) und KI-Bildgenerierung für ein immer wichtiger werdendes Thema, bei dem eines der größten Probleme die präzise Steuerung der KI-Bildgenerierung ist.

[Faba]

Hallo Matthias,

die Idee, Blender für die Komposition zu verwenden und den Rest die AI machen zu lassen, hört sich interessant an.
Auch bei anderen Tools stellt sich immer wieder die Frage wie weit ermögliche ich Artistic Control und überlasse den schmerzhaften Teil dem Tool.
Wenn du das also elegant löst, dann kann ich mir vorstellen, dass das für viele Personen interessant sein kann.

Ich persönlich habe AI Bildgeneratoren testweise bespielt, aber verwende sie nicht.
Die Ergebnisse entsprachen nicht annähernd dem, was ich mir vorgestellt habe.
Es kann natürlich gut sein, dass ich nicht den richtigen Prompt verwendet habe, um der AI meine Vorstellungen zu erklären.
Aber dein Tool scheint sich ja genau diesem Problem zuzuwenden.

Ansonsten benutze ich AI nicht für mein 3D Zeug.

[Ray-L]

hej faba,

genau das war die ganze zeit auch mein problem. ich habe mich auch sehr lange mit der KI Bildgenerierung schwer getan, weil nie das rauskam was ich wollte. Mit der beschriebenen Kombination funktioniert es tatsächlich ziemlich gut festzulegen, was fix ist und wo die KI "Freiheiten" hat. Ich habe viel Architekturvisualisierungen gemacht. Da ist es eine große Arbeitserleichterung: das Gebäude ist fix, da darf sich nichts ändern, die Außenanlagen wirklich detailliert anzulegen erfordert viel Zeit. Das geht in Kombination mit KI echt gut (grobe Geometrie für die Komposition anlegen und die detaillierte Ausarbeitung im Prompt beschreiben).

ich bin echt gespannt wie sich das entwickelt. glaube was fotorealistische Renderings angeht wird KI den Workflow in der nächsten Zeit ziemlich auf den Kopf stellen.

[HaiHow]

Hi Ray-L
Super Deinen Artikel zu lesen und tatsächlich habe ich einen ähnlichen Weg bezüglich KI-Bildgenerierung.. OK "Nanno Banana" ist recht gut geworden aber immer noch hier und da zu inkonsistent.
Ich habe auch ein SW-Projekt, bei dem ich einen Prompt über KI auflöse und dann mittels Blender modelliere und rendere. Es ist noch ein Prototyp und noch lange nicht woweit, dass man wich großer Kunst erfreuen kann. Aber immerhin sieht man schon wohin die Reise geht.