在 Mac 上运行 Stable Diffusion

Stable Diffusion 是由 CompVis 开发的先进文本转图像生成模型，CompVis 是慕尼黑大学路德维希·马克西米利安大学的一个研究小组。它利用扩散模型的原理，基于用户提供的文本提示词生成高质量的图像。

DiffusionBee 是使用 Stable Diffusion 在本机生成图像的最简单方法。完全免费。离线运行。无限制。

DiffusionBee 特性

• 完整的数据隐私 - 无需向云发送任何数据（除非主动上传图片）
• 干净且易于使用的 UI，并提供一键式安装程序
• 以图生图
• 支持的模型：- SD 1.x、SD 2.x、SD XL、Inpainting、ControlNet、LoRA
• 从应用程序下载模型
• In-painting
• Out-painting
• 生成历史
• 提升图像
• 多种图像尺寸
• 针对 M1/M2 芯片优化
• 在本机运行
• 负面提示词
• 高级提示词选项
• ControlNet

如何使用 DiffusionBee

这里针对版本 1.5.1。部分内容可能对其他版本不适用。

安装

下载 并启动应用程序。在初次启动时，DiffusionBee 将下载并安装用于生成图像的其他数据。

更新

DiffusionBee 会不定期收到更新以增加新功能和提高性能。当在启动时收到提示时，请从网站重新下载应用程序，并将新文件替换到旧文件所在的位置。历史记录和模型会被保存。

生成图像

根据设置和可用的计算能力，生成图像可能需要几秒到几分钟。可通过按停止按钮中止图像生成。使用“保存图片”链接将图片保存到所选位置。

点击图像将在单独窗口中全尺寸显示图像。

文本生成图像

文本生成图像功能用于仅基于文本输入创建图像。

要创建图像，只需输入提示词并按下 generate 。

• 点击提示词创意按钮会打开一个网页，可以在其中浏览画廊以查找有用的提示词。
• 风格按钮提供常用的术语调色板，可添加到提示词中。
• 选项按钮提供以下选项：
  • 图像数量：要生成的图像数量。
  • 图像高度/宽度：设置图像的尺寸。请注意，Stable Diffusion 的训练是基于 512 x 512（默认设置）。其他尺寸可能会产生效果较差的结果并花费更多时间。
  • 步骤：这对应于用于构建有关图像的信息的步骤数。设置为较低的数字会生成图像的速度更快，并且在探索不同提示词时可能会有用。
  • 批处理大小：这告诉 DiffusionBee 一次生成多张图像。将创建新批次图像，直到创建“图像数量”。（通常增加图像数量是更好的选择。）
  • 引导范围：这在某种程度上对应于 Stable Diffusion 应如何严格遵循提示词。较高的值意味着更严格的解释。
  • 种子：一个介于 0 到 4,294,967,295 之间的数字，用作图像生成的起点。如果使用相同的种子、相同的提示词和相同的设置（除步骤外，步骤可能会有所不同），则将生成相同的图像。如果留空，将使用随机种子。

负面提示词

启用负面提示词选项允许在图像中添加不应包含内容的描述，并结合标准提示词。与标准提示词一样，模型对负面提示词的理解并不完美，因此负面提示词中描述的内容仍可能出现在图像中。

图像生成图像

图像生成图像功能可用于基于起始图像（通常是粗略的草图）结合文本描述创建图像。

点击左侧窗格可上传草图起始图像（仅支持 png）。添加所需输出的提示词描述，然后按下 generate 。生成的图像将为 512 x 512 像素。

• 选项按钮提供以下选项：
  • 输入强度：这告诉 DiffusionBee 如何严格遵循草图输入图像。对于粗略的草图，通常需要一个较低的值。
  • 图像数量：要生成的图像数量。
  • 步骤：这对应于用于构建图像信息所需的步骤数。设置为较低的数字会生成图像的速度更快，并且在探索不同提示词时可能会有用。
  • 种子：一个介于 0 到 4,294,967,295 之间的数字，用作图像生成的起点。如果使用相同的种子、相同的图像、相同的提示词和相同的设置（除步骤外，步骤可能会有所不同），则将生成相同的图像。如果留空，将使用随机种子。

Inpainting

修复图画功能用于替换/重新绘制图像的某些部分，例如为猫咪添加领结或从街道照片中移除汽车。

要使用修复图画功能，请添加图像并在其上涂鸦以标记希望重新绘制的区域。若标记区域明显大于实际想改的部分，通常效果更好。目前，修复图画模型的最大高度为 512 像素，因此任何大于此尺寸的图像都将按比例缩小以适应模型。

Outpainting

绘制背景功能用于将图像扩展到更大的区域。

要使用绘制背景功能，请添加图像并将 512×512 框架移动到希望扩展图像的位置，并提供文本提示词。该过程可以重复多次以将图像扩展到不同方向。

历史记录

历史记录选项卡显示先前生成的图像以及提示词和设置（包括种子）。

共享图像

共享图像会将图像连同提示词和设置上载到 arthub.ai。在上传图片之前，可以选择要上载批次中的哪些图片。共享图像需要一个帐户。

自定义模型

Diffusion Bee 支持添加和使用自定义模型。自定义模型经过特定图像的训练，以创建特定样式或类型的图像输出。查找适用于 DiffusionBee 的自定义模型的最佳位置是 Hugging Face。如果使用来自 Hugging Face 的模型，请访问模型页面并单击“文件和版本”选项卡。然后查找并下载相关 .ckpt 文件。

导入定制模型

找到并下载想要使用的模型的 .ckpt 文件后，需要将其导入 DiffusionBee。为此，请打开 DiffusionBee 并单击位于右上角的菜单图标。从下拉列表中单击设置，然后单击“添加新模型”。导航至模型文件，单击该文件，然后单击打开。

使用定制模型

导入定制模型后，可以在生成图像时使用它。首先，单击选项并向下滚动到定制模型部分。单击图标将显示所有可用模型的下拉菜单。选择想要使用的模型。

使用定制模型生成图像时，请务必使用定制令牌，以便获得所需的结果。所需的提示词/其他重要信息很可能在模型的信息页面上披露。

删除 DiffusionBee

删除应用程序本身

将 DiffusionBee.app 应用程序拖放到“废纸篓”。

删除剩余文件

DiffusionBee 会把生成的图像、以及可能已导入主文件夹（.diffusionbee/）里与定制模型相关的信息保存起来。要彻底卸载，可以删除整个文件夹。有两种方法可以做到：

从终端

打开 Terminal.app 应用程序（位于 /Applications/Utilities/ 中），并输入以下命令：

rm -r ~/.diffusionbee/

这将删除 DiffusionBee 应用程序的所有痕迹（缓存、生成的图像、导入的模型…）。

从查找器

打开主文件夹，然后按 cmd + shift +。（command + shift + 句点）键。这将显示隐藏的文件和目录。可以把 .diffusionbee 文件夹拖到“废纸篓”。

Tips

• 有关提示词想法和帮助，请查看：
  • lexica.art
  • arthub.ai
  • AssemblyAI 上的“提示词工程”部分
• 使用较低的步数设置可以节省调整提示词花费的时间，然后在找到好提示词后将其调高。
• 调优提示词时，请确保输入种子以便创建图像。若通过图像数目或批处理一次生成多张，后面几张无法与同一种子对应。例如图像数目 3、种子 1000 时，只有第一张对应种子 1000，另外两张的种子未知。
• 当图像数量设置为大于 1 时，1234 将添加到第一个图像之后的每个图像的种子中。因此，计算批量中第 $n^{th}$ 张图像种子的公式如下：$seed(n) = seed + (n\times{1234})$。这可用于在无需重新创建所有先前图像的情况下，重新创建一串图像中的任意张图像。
• 所有创建的图像都存储在文件系统中的 ~/.diffusionbee/images/ 中。DiffusionBee 中没有用于删除图像的界面，但可以从这个隐藏目录中手动删除图像。
• 模型存储在 ~/.diffusionbee/downloads 中。若本机已有模型、不想重新下载，把它移动、复制或符号链接到该目录。
• 显示日志 菜单选项显示的日志对开发人员或跟踪错误很有用。可以单击其中一个选项卡退出日志。

环境要求

• 搭载英特尔或 M1/M2/M3 CPU 的 Mac
• 对于英特尔：macOS 12.3.1 或更高版本
• 对于 M1/M2/M3：macOS 11.0.0 或更高版本

常见问题解答

生成图像的图像保存在哪里？

图像在本机生成。没有内容发送到云端。

生成一张图像需要多少时间？

在 8GB M1 MacBook Air 上，DiffusionBee 大约需要 30 秒来生成一张图像。速度在具有更高规格的计算机上要快得多。

生成的图像能自由使用吗？

可以，前提是遵守 CreativeML Open RAIL-M 许可证。

DiffusionBee 是否支持基于英特尔的机器？

是的，DiffusionBee 支持基于英特尔的机器。但是，若没有专用图形芯片，速度会比 M1 机器慢得多。

参考文档

• Diffusion Bee
• Stable Diffusion