diff --git a/src/color.hh b/src/color.hh
index 1b3ba9c6..1bf7ee33 100644
--- a/src/color.hh
+++ b/src/color.hh
@@ -57,7 +57,9 @@ bool is_color_name(StringView color);
 
 inline size_t hash_value(const Color& val)
 {
-    return hash_values(val.color, val.r, val.g, val.b);
+    return val.color == Colors::RGB ?
+        hash_values(val.color, val.r, val.g, val.b)
+      : hash_value(val.color);
 }
 
 }