动态捕捉社交的风到底往哪吹

来源@视觉中国

文|莫比迪克出海

有人来有人走，这是世界上的常态。它已经消失了，但还没有完全消失；网易来了，但不完全。

近两年，借着元宇宙和全真互联网的东风，动态捕捉+影音社交模式获得了更多开发者的关注，进入了更多用户的视野。

雅拉集团的元宇宙概念社交平台Waha，日本虚拟直播应用Reality，都是以动态抓拍+实时音视频社交为主要应用模式。

网易也在跟随这股浪潮，逐渐向“动态捕捉+社交”领域靠近。除了网易互娱2022年4月在计算机视觉和模式识别国际会议上推出的视觉动作捕捉工具iCap，8月网易还推出了面向泰国用户的动作捕捉+vTuber虚拟派对应用Fancy。

本来想借Fancy上线的机会，看看动态抓拍社交app Itsme的发展，这两个月我们观察的比较早。然而，这一调查显示，ITSME已于2022年8月10日关闭其站点。...

所以我们从下面两个部分来分析这两种完全不同的选择。上半年主要包括三个部分:天然合成公司关闭它自己，拆除它的新产品代号和它自己的模仿者轨道。第二部分包括花式产品的拆解和虚拟直播的可行性。

动态捕捉+虚拟社交的终点是抖音？

很长一段时间，Itsme是我心中Z世代的“白月光”。几乎所有的虚拟社交文章都会提到Itsme，大家都会安利。想了解Itsme的朋友可以点击阅读以下3篇文章查看往期分析:

网易投资了IMVU。关于找朋友，海外市场有哪些变化？》;

“当游戏降低了社交维度，巴西就成了虚拟社交的试验田”；

“编辑部2021年记录的有意思的app和品牌，现在怎么样了”；

虽然我们在很多文章中把Itsme称为“Z世代有趣的实时社交产品”，但不可否认的是，Itsme确实从这个世界上消失了。...

8月10日宣布关闭后，曾经每天有近100万分钟视频的Itsme，已经在App Store和Google Play中找不到这个应用了。下载的app再也打不开了，连Twitter账号的内容都被清空空，好像从来没来过。...

除了在社交媒体上全力呐喊，一些用户甚至试图发起“请愿”，要求开发商停止关闭Itsme，但结果显示只有14名用户参与请愿。总之，Itsme还是无法抗拒消失在历史洪流中的结局。

根据笔者以往的观察和用户的反馈，“不赚钱不花钱”应该是关停的主要原因。笔者在与一些虚拟社交开发者交流的过程中发现，捕捉与社交的整合不仅需要先进的技术，还需要大量的资金，甚至每月的花费可能以百万计...此外，Itsme可能仍然是其中的相对头，因此RD成本可能更惊人。

不过好消息是，Itsme的RD团队虽然放弃了Itsme，但并没有放弃动态捕捉+头像+社交。经过咨询，发现Natural Synthetics Inc推出了一个新的虚拟社交产品代号。

然而，用户并不买账。目前，Codename在App Store中只有67条评论，用户评分为2.2。从用户评论来看，评分低的原因主要集中在1。Codename的产品模式在某种程度上有点类似于抖音，Itsme的用户无法接受自己在用副本；2.Itsme上的好友关系无法迁移，导致用户与很多好友失去联系”。

但从作者的经历和观察来看，Codename在做的事情很有意思。

头像创作

Codename会要求用户在正式进入前创建一个头像形象，并提供“头像模板创建”和“人脸创建”两种模式。

在模板模式下，用户可以从Codename提供的12种不同风格的头像模板中选择自己喜欢的图像。选择之后，用户可以自由调整Avatar的肤色、体型、服装、五官、配饰、背景，与Itsme一脉相承。

在人脸模式下，获得相机权限后，Codename会根据拍摄的用户照片，捕捉用户的面部特征，为用户生成“独一无二”的面部特征。Codename认为这种模式可以让头像更接近用户，但根据作者和同事的实际体验，人脸扫描生成的人像和真人的相似度无限接近于零。如果非要说什么像，那就是一点都不像。五官抓拍很垃圾，但是表情抓拍还是很准的，模式很有意思。

电影创作

为了方便电影创作，Codename支持用户创建多个头像形象。之后，用户可以使用他们的虚拟形象来创建有趣的虚拟电影。

目前，除了基本的动态捕捉，Codename支持用户调整头像的角度和动作，移动影片，切换头像，编辑头像图像，切换背景，添加3D文本，保留原声，添加音乐，根据模板创建内容。我们选择了一些有趣的函数，并详细介绍了它们。

行动。Codename将动作分为休闲、反应、舞蹈、运动、行走五大类，涵盖了多种日常场景。

以体育动作为例。Coedname提供滑板、仰卧起坐、打篮球、俯卧撑、开合跳、原地纵跳、后空翻空空翻、深蹲、高尔夫、跨步跳等10个动作。，比健身半年的作者还多...在舞蹈、反应、休闲等类别下，头像动作更加丰富。

背景。Codename将背景分为三类:场景、用户自定义图片和纯色背景。场景选项下，涵盖女生寝室、日常寝室、客厅、迪厅、舞台、电影院、篮球场、厕所、教室、更衣室、走廊等11个场景。从场景功能来看，Codename目前的用户群体还是学生和Z世代年轻用户。

从另一个角度看，《代号》的动作、场景、服务都配备了完整的改编逻辑。在电影院吃爆米花，在篮球场打球，在舞台上弹吉他，都可以轻松实现。所以，虽然代号是虚拟社交产品，但场景来源于生活。

此外，CODENAME在镜像运输方式的处理上也非常专业，Codename提供的歌曲配乐选择也非常丰富。感兴趣的朋友可以自己下载体验一下。

社区互动

电影创作完成后，系统会自动将内容发布到Codename平台。然而，如果用户愿意，他们也可以将内容分享到抖音、Instagram和Snapchat等场外社交媒体平台，或者他们可以保存视频链接或下载视频。

用户可以在Codename主页上查看用户创作的头像电影，浏览电影的方式是抖音的上下滑动模式。

在内容呈现形式和内容交互上与抖音过于相似，这也是《代号》被诟病的主要原因。用户可以查看影片创作者的主页，喜欢/评论/转发影片内容，查看影片使用的音乐。

从用户的浏览来看，目前很多创作者发布的内容都是技术流内容，用卡变脸、小剧场都是热门内容；从互动结果来看，很多视频被赞超过200次，大部分被赞在20到150之间，部分创作者在Codename的粉丝超过7000人；从创作来看，很多创作者的主页都有10部以上的影片。似乎有些用户有诚信之嫌。

不过从作者的角度来看，Codename真的挺有意思的，和我们在文章《终于找到了超越跑来跑去的超宇宙App，购物、旅行、选美都是基本操作》中分析的图标也有一些相似之处。

虽然大家都很鄙视Codename对抖音的高度引用，但是很难不被社交恐惧友好的创作平台+优秀的创作工具+高超的动态捕捉所感动。我和同事开玩笑。以创始人的技术背景，我可能是ToB的工具，“钱景”更好。

另外，一个有趣的现象是，Itsme离线了，但是Itsme模式还在。

轨道:它消失了，但还没有完全消失。

Orbit是由中国香港的DHN爱茉莉公司于2021年12月30日推出的3D头像社交应用。截至目前，已登上东欧、南美、中东等12个国家和地区App Store社交分类下载榜Top100。

虽然Orbit和之前在北美流行的Itsme差别不大，但是在产品设计、主要功能、产品风格等方面，对于海外开发者来说也是一个突破。

我想知道Itsme的继任者Orbit能否打破这个魔咒。

Orbit尝试将动态捕捉、头像编辑和实时交互结合在一起。

正式使用前，用户需要创建自己的头像形象。头像图像创建分为两部分:相机动态捕捉和个性化调整。

首先，当用户打开相机权限时，系统会主要通过捕捉用户眼睛、嘴巴、眉毛的形状来生成初始的头像图像。整个图像属于美式写实风格，头像表情会随着用户表情实时变化。之后，用户可以根据自己的需求和喜好选择头像的肤色、发型、瞳孔颜色、睫毛、耳环、眼镜和背景色，从而打造出更具个性化的虚拟形象。

从作者的个人经历来看，Orbit在这方面做得并不好。

1.表情捕捉有很大误差。只有眉眼动态可以准确捕捉，嘴部捕捉误差较大。经常出现下唇完全包住上唇，舌头和鼻子的动态变化无法识别的情况。因为能叫的五官相对较少，也会限制情绪表达的多样性，发呆、生气、开心等常规表情无法准确表达。

2.用户无法定制和调整头像的五官和脸型，导致所有用户的头像形象千差万别，缺乏多样性。

但客观来说，一个创业公司要做到Orbit并不容易，凭借核心技术和皮克斯工作室人才达到Itsme的水平也不是一朝一夕的事情。

目前，轨道中有五个标签页，分别是见面、瞬间、创建、好友、个人资料，提供随机视频匹配、信息流、群聊三种交互场景。

视频匹配

注册账号时，Orbit会要求用户填写性别、年龄等信息。，并选择适合自己兴趣的标签。当用户点击“重力”按钮时，系统会根据用户填写的内容匹配潜在的合适用户。匹配成功后，双方用户都会以头像的身份出现在聊天室，双方用户可以进行实时语音视频聊天。

为了缓解尴尬，Orbit还设置了“问答”和“绘画”两个破冰游戏。在选择破冰问答模式时，用户可以就破冰问题互相提问，也可以左右滑动切换问题，寻找双方感兴趣的话题。从体验角度来看，破冰问题主要围绕“你在交往中最看重哪些品质，你做过最浪漫的事，你和家人的关系”等亲密关系话题展开。

在抽奖游戏模式下，用户需要根据系统提示的词汇进行抽奖，而对方需要根据抽奖内容猜测关键词，从而增强双方的默契。

当任一用户在通话结束前向对方表达爱意时，系统会设置一个临时会话窗口。在对方同意之前，用户还可以通过绘图窗口给对方发消息，但消息会被折叠为“新的聊天请求”。

除了随机匹配，用户还可以在Meet Tab下向热门推荐用户发送问候消息，其他用户通过后可以有进一步的互动。

信息流

用户可以用系统编辑器自由调整自己想要发布的内容的背景、匹配图片、字体、文字颜色、文字排列等，并以图片或视频的形式上传到“为了你”。Orbit会按时间顺序显示用户发布的内容。

用户可以喜欢自己喜欢的内容，或者直接向内容创建者发送消息，无论是哪种情况，系统都会为双方创建一个临时的对话窗口，该窗口也会折叠到新的聊天请求中。

从观察来看，平均每小时有5条左右的内容被推荐到首页。女性用户的信息流大多是“自拍+问候信息”，男性用户较少露脸，发布的内容类别更复杂。女性用户发布信息流的比例大于男性用户，内容好评多在5-20的区间，10+较为常见。

组

目前Orbit正在测试群聊功能。目前有爱情故事、日常动力、宠物、小众群体、动漫爱好者、游戏玩家、搞笑故事、情感角、美言等9个不同的组别。艺术、K-Pop、说唱、原创视频、少女Only等五个组正在筹备中。

目前现有群成员57-369人，群内发布信息流66-398条。用户加入群并发布至少一条内容后，可以查看群内容创建者的个人信息，并互相问好。交互方式和信息流没有明显区别。

总体来说，Orbit在交互方式上并没有太大的创新，但也为陌生人之间的交互打开了一个更便捷的通道，可以不经对方同意就互相发送消息。为了保护用户体验，这部分来自陌生人的问候短信会被折叠。通过好友申请后，会出现在好友留言页面。然而，Orbit似乎缺乏进一步的交互模式。成为朋友后，除了视频互动和图文消息，没有其他互动场景。在3天的测试期内，添加了20多个好友，但不超过3个好友进行了3轮以上的对话。如何让用户更加珍惜和关心自己的朋友，可能也是Orbit下一阶段需要解决的问题。

从上面来看，Orbit还在寻找Itsme的老路。不知道一个月3班的频率能不能帮助Orbit更好的成长？

花式:动态捕捉+语音室+头像，二次元VTuber进入成长期。

Fancy是网易于2022年8月2日推出的头像虚拟党应用。主要提供中文、英文、泰文三种语言的服务。从测试结果来看，产品的稳定性不算太强，偶尔会出现错误和闪回。

Fancy选择泰国市场作为出海首站也是一个有趣的现象。

在此之前，网易云已经陆续推出了面向东南亚市场的Heat Up和Kaya Live两款社交产品，其互动小说应用Dokific也在东南亚市场发力。

以前网易更倾向于在日本测试新产品。不过近段时间可以隐约感觉到网易有一些提升东南亚市场重要级别的意思。此外，网易近两年频繁推出社交+虚拟应用/游戏，似乎也在表达其探索元宇宙的野心。

从功能上看，Fancy作为一款虚拟直播互动应用，与日本Vtuber的直播平台Reality高度相似，提供了基于头像、语音交互、动态捕捉的实时互动的可能性。

现实是日本社交网络巨头GREE的元宇宙的重点部署之一。在格力的构想中，现实将成为一个自由度很高的元宇宙。用户可以制作自己的虚拟空房间和虚拟物品，也可以通过参与元宇宙中的游戏和出售原创虚拟物品获得经济收入。

格力相关负责人认为，Vtuber的普及意味着未来全人类都将拥有自己的虚拟形象，但这还不够。一个好的元宇宙应该为用户提供一种机制，帮助他们建立人际关系，并长期停留在虚拟世界中。可称为虚拟世界的不仅仅是3D画面，更重要的是让用户感受到社交。

目前，Fancy有“聊天、聚会、我”三个标签。

在正式开始使用之前，用户需要根据自己的性别选择自己的头像形象。

Fancy的虚拟形象整体定位为二次元风格，用户可以从Fancy提供的素材库中选择素材，调整Avatar的五官、发型、服装、鞋饰等。

从物资供应来看，Fancy提供了相对丰富的选择范围，大部分是免费使用的，但也有一部分需要通过爱购买。价格在30-300爱不等，爱需要通过完成系统任务获得。

设置后，用户可以选择自己喜欢的动作和自己喜欢的头像背景墙来“合影”。这些照片可以分享给平台上的朋友，用作头像或保存到他们的手机上。

Fancy还保留了传统社交的“标签”功能。用户可以自由选择适合自己特点的标签。丰富的标签让用户在Fancy上的身份更加立体饱满。此外，用户还可以邀请好友评论自己的观感，有点像同学会。

目前，Fancy主要提供栏目拓展、群聊、语音聚会三大社交场景。

展开该列。用户可以通过扩展栏目功能，关注陌生用户，与他们聊天。未经双方同意就开始对话，确实降低了用户社交的门槛，但也存在骚扰的可能。

群聊。双方互相关注，就能成为朋友。用户可以邀请朋友组成群聊，要么在群聊中社交，要么加入对方的聚会室。

派对。用户可以自由加入或创建语音聚会室，与每个人进行实时聚会。房间主人可以自由更改房间的名称、主题、公共范围、背景、楼层格局。Fancy试图稍微还原真实的聚会环节。

用户以2D头像的身份出现在聚会上。在party room中，除了文字和语音聊天之外，用户还可以通过改变不同的动作或使用庆祝和害羞等互动道具进行更深入的互动。

如果用户愿意，还可以在房间内开启AI人脸识别功能。AI会自动识别头部运动、眨眼、说话等状态。，和头像表情会实时同步。用户还可以直接将聚会室推送到YouTube平台进行聚会直播。

从2021年开始，除了海外产品现实，其实中国出海产品如Bigo Live、Uplive、Yumy等都在这里积极布局。对于用户来说，虚拟实时动态捕捉已经不是什么新鲜事了，人脸捕捉的灵活性、延迟头像的可编辑性、虚拟场景对于vTuber来说，正在成为角力的焦点。

虽然Fancy还处于非常早期的阶段，但似乎Fancy的推出时间和方向有些耐人寻味。至于发展结果，我们会继续跟踪。