HeyGen - AI Spokesperson Video Creator 官网地址
Create a video (heygen.com) api地址
简介:
公司最近对ai方面业务比较感兴趣了,特别是aigc合成式人工智能方面。国内现在都还处于试用阶段,真正面向的c端,b端的产品还不够完善。
最的就是做了一些直播数字人,短视频数字人,数字人名片等边缘应用这种。现在我们的需求就是对接heygen的模型接口,比较重要的就是合成视频,
语言合成,根据模板生成视频的接口,下面贴出一些简单的示例工具类并列举一些我自己踩的坑,防止自己迭代的时候忘记。
工具类
对接接口很简单,但是有几个比较坑的点和需要补充的点
1.上传人脸的照片时,heygen的接口演示的是base64编码的格式,我还以为需要转成base64的格式才行,结果一直报错,其实是heygen那边自己的转换的,我们这边只需要把文件转为 字节数组就行了
2. 如果你的需求对于视频来说不繁杂,只需要一个生成出来的数字人视频的话,直接使用生成视频的接口就ok了,调用这个接口会返回给你一个视频的唯一id,然后根据视频id去查询视频状态,如果成功了
就会返回 视频的路径,视频缩略图的路径,但是需要注意这些链接都会过期,你可以自己转存oss或者是定时刷新链接就行。
3. 如果你想直接生成一些比较复杂的视频,我建议你还是在heygen官网的dome中去生成一些模板,然后根据模板中的格式去用代码替换比较简单,但是这个模板一但很多,就更加麻烦了,我的解决方案是使用的
策略者模式来较为优雅的解决使用很多模板的需要硬编码的问题。
4. 因为heygen主要对接的是海外市场,所以可以用来合成视频的中午音频会比较少,但是也包含了普通话,粤语,台湾腔调这种,现在全部的音频有 382条左右,直接请求会很慢,所以我索性在我这边做了一个索引
当然你也可以自己上传你自己的声音来合成视频。
ps:
最麻烦的就是 json格式的处理,一个模板返回的json就有160行左右,并且嵌套多层,我是使用的fastjson2 ,做一个对象来相互转换的。如果有更好的处理办法也可以留言告诉我