{{sindex}}/{{bigImglist.length}}

范凌：内容的可计算性与内容生成的可能性

{{newsData.publisher_name}} {{newsData.update_time}} 浏览：{{newsData.view_count}}

来源 | {{newsData.source}} 作者 | {{newsData.author}}

本文基于 FASHION X AI 国际沙龙演讲内容二次编辑
演讲者：范凌，同济大学设计人工智能实验室主任，特赞Tezign创始人及CEO

范凌：内容的可计算性与内容生成的可能性崇真艺客

大家早上好。随着对OpenAI、ChatGPT的讨论越来越火热，今天想分享一些相关的话题，这也和我在设计人工智能领域十多年的经历息息相关。

01 叙事，让人类不断进化

在聊我自己的经历之前，我想先聊聊“叙事”这个有趣的话题，某种程度上它推动了人类的进化。

为什么这样说？这里我想分享3本书的观点。

第一本书《人类简史》（Sapiens:A brief history of humankind），很多人可能已经读过了。在作者看来，智人之所以能够在所有物种中生存，是因为有语言，因为我们会讲故事。人类语言最重要的功能在于能够传达、讨论一些虚构的事物，这使人类能够拥有想象。我们知道什么是不存在的，我们期待着一些虚构的东西，我们有愿景，有希望，有梦想。因此，更好的叙事有助于我们在物种的竞争中生存。

第二本书《无穷的开始》（the beginning of infinity），作者是最优秀的科学作家之一戴维·多伊奇。他提到，“解释”在宇宙中有着基础性的地位，解释的范围和造成改变的能力是无穷无尽的，也正是“解释”在推动世界不断变革。并且在科学界，物理学、数学等自然科学的发展过程，也是在寻求更好的解释和更好的叙述。

最后是《叙事经济学》（Narrative Economics），作者是诺贝尔经济奖得主罗伯特·席勒教授。很多时候，我们购买股票、相信加密货币，认为今年比去年会更好的原因，这一切都建立在叙事的基础上。是叙事塑造了人类，在推动着进化。

今天，无论我们在时代广场上，在繁华的市中心看到的各种语言、图像、文本等等，所有这些内容都是叙事的体现，并且在“数字化”的趋势下，叙事的方式在不断变革，叙事的内容在不断进化。

以往我们谈到品牌，会去思考品牌如何通过“产品”和“渠道”与用户、消费者进行沟通。现在是以消费者为中心的时代，我们对以消费者为中心的沟通并不陌生，而在消费者和产品之间的，就是大量的“内容”。有时我们在实际购买产品之前并不接触产品——我们不需要去商店实际触摸和感知它——我们看到的是“内容”，来自各种各样渠道的品牌内容。品牌通过大量的种草视频，向消费者展示产品的使用方式，然后我们会决定购买，直到产品送到我们家，我们才接触到产品。

这个过程让我很着迷。那么在数字世界中，我们如何通过计算，去更好地理解内容？

02 内容可计算性的概念框架和DesignNET

为了计算内容，我们首先必须将内容转换为数据。因此我们做的第一件事是建立数据集。

如果你熟悉机器学习和人工智能的发展，一定知道20年前李飞飞教授所建立的开创性的数据集，ImageNet，教机器理解图像。而我们尝试建立了DesignNet，一个教机器理解设计的数据集。想象一下，你如何与一个7岁的孩子谈论设计？这的字体是什么？这张照片试图表达的情感是什么？颜色组合是什么？... 这个过程就像我们教机器理解设计的过程。

到目前为止，我们已经收集了超过10亿个内容数据，但只有7%的数据被标记，所以我们还有很长的路要走，这其中我和我实验室的学生们也做了很多探索。

比如，我们为机器编写了一本“平面设计教科书”。我们用100本设计书教机器什么是设计、什么是颜色等等，通过这100本经典设计书建立起一个知识图谱，这样机器就有了有关设计的知识体系，从而可以建立不同设计概念之间的联系。

我们还试图建立了一个数据集，来理解亚文化的色彩组合。我们收集了所有可能的颜色组合，然后为这些不同的组合加入情感、年龄等不同的描述。这样一来，在任何给定的图形中，我们都可以用某种亚文化风格的色彩为这些图形着色。

这是2020年，我们通过大量的人偶图像的内容数据，从外观造型、面部和眼睛比率、主题、颜色组合甚至价格等等多个维度建立起人偶图像的数据集。现在我们已经收集了超过10万个图像来构建这个数据集，所以现在我们可能拥有世界上最大的人偶数据集。很快就会开源出来，供大家使用。

<- 左右滑动查看更多 ->

03 元数据（Metadata）和内容数字资产

更进一步，我们可以去使用内容素材的标签、数据背后的数据——我们称之为元数据（Metadata）。在我的公司（特赞），我们建立了一个系统来收集所有的内容数据，MuseDAM。我们和超过10万个创作者团队、创意团队合作，在实际的工作中，他们会使用这个系统来管理和描述他们所做的创意内容，包括图像、声音、三维模型等，这些创意内容的数据就被留存在系统里，这个系统实际上能接受70种不同类型的内容数据。

之后我们围绕这些内容数据，做进一步处理。当我们构建了计算内容数据的框架时，我们实际上能够逆转这个过程来使用元数据。元数据可以生成素材，然后素材可以生成内容，内容又能够激发创作者再产生新的知识，如此循环。这就是我们所说的内容生成的可能性。

2019年很早期的时候，我们和一个房地产巨头合作的商业项目，他们是最大的房地产开发商之一，当时在他们的团队中，雇佣了1000多名营销设计师，然后我们要做的是为他们打造一个设计机器人，从而帮助他们减少员工的数量，更高效地构建产品，同时保持品牌一致性。

我们也和上海市政府合作，激活了上海传统民间艺术金山农民画。这个过程很有意思。我们邀请观众画一些非常简单的东西，然后机器就会生成一幅金山农民画艺术作品，你可以在微信上分享给其他人，让更多人参与其中。同时这背后，我们还建立起一个金山民间艺术数据集。现在这些作品也会经常被展出在博物馆或者一些高规格的展览中，与其说是一种保存民间艺术的方式，不如说是一场展览，而且是以一种高度艺术化的方式。

现在我们有了AIGC Playground，这里包含了很多基础模型，有些非常具有开创性。除此之外，我们也在用DAM持续收集产生的内容数据。目前，我们拥有超过十亿的内容数据。这些都是非常重要的专有数据，从而能够将基础模型训练为专有生成模型。所以事实上每个使用系统的人，都可以使用基础模型，并通过自己的专有数据来训练模型。

举个例子。这是某一年感恩节我用Ipad画的特赞手（特赞的英文是Tech+Design，科技+设计，logo是两个大拇指）整个过程花了2个多小时。现在我们用这些图来训练机器，生成第一代模型，这样一来就可以让机器帮我生成相似风格的图了。接下来，我们从生成的结果中挑选了一些满意的图，生成第二代模型。第二代模型有20个单一资产，其中一个是手工绘制的，其余的是机器生成的。再往后的结果会更好。每次我们都会添加一些好的生成结果。所以这个模型最后会变成一种复合模型。

在内容生成的最底层，是内容的DNA。什么是内容DNA？就像每个人的DNA一样，它记录了一个人成长、发展的过程。我输入一张图片，然后使用稳定扩散训练模型（一个开源模型）生成，基于通用的内容DNA，你就可以看到这个图像如何形成的过程。在以前，如果我们查看JPG图像文件，你可能只看到文件创建时的大小，以及创建它的人，但你永远无法记录创作过程本身。现在我们将这些内容DNA转换到工作流引擎中，并且我们还可以在这过程中添加更多的工作流，比如我们还可以用chatGPT生成一些句子，结合图像、数字，最后生成一张类似工牌的图片。