AI 助理
备案控制台
开发者社区 人工智能 文章 正文

基于RTMP的智慧数字人|AI数字人传输技术方案探讨

2023-09-03 171
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 随着智慧数字人、AI数字人的兴起，越来越多的公司着手构建全息、真实感数字角色等技术合成的数字仿真人虚拟形象，通过“虚拟形象+语音交互（T-T-S、ASR）+自然语言理解（NLU）+深度学习”，构建适用于数字客服、虚拟展厅讲解、 智慧城市、智慧医疗、智慧教育等场景，通过人机可视化语音交互，释放人员基础劳动力，降低运营成本，提升智慧交互体验。

技术背景

随着智慧数字人、AI数字人的兴起，越来越多的公司着手构建全息、真实感数字角色等技术合成的数字仿真人虚拟形象，通过“虚拟形象+语音交互（T-T-S、ASR）+自然语言理解（NLU）+深度学习”，构建适用于数字客服、虚拟展厅讲解、 智慧城市、智慧医疗、智慧教育等场景，通过人机可视化语音交互，释放人员基础劳动力，降低运营成本，提升智慧交互体验。


一个有“温度”的智慧数字人，有多个维度组成，如图像识别、语音识别、语义理解等，本文主要阐述的是如何把这样一个智慧数字人，通过编码传输，以更低的延迟和好的体验，呈现给用户。

技术实现

本文以Windows平台为例，从技术角度探讨智慧数字人的实时编码传输。先上图：

b0667adf2f4d4b39a1e7ab9e51864ae2.png

左侧是Unity采集、获取video Texture和AudioClip数据，编码打包后，然后通过RTMP推送到服务端，右下侧实时拉取RTMP流数据播放，整体延迟在毫秒级。


视频采集这块，实现了Unity获取到的Texture数据的采集、摄像头采集、屏幕采集三大类：

public void SelVideoPushType(int type)
    {
        switch (type)
        {
            case 0:
                video_push_type_ = (uint)NTSmartPublisherDefine.NT_PB_E_VIDEO_OPTION.NT_PB_E_VIDEO_OPTION_LAYER;    //采集Unity窗体
                break;
            case 1:
                video_push_type_ = (uint)NTSmartPublisherDefine.NT_PB_E_VIDEO_OPTION.NT_PB_E_VIDEO_OPTION_CAMERA;   //采集摄像头
                break;
            case 2:
                video_push_type_ = (uint)NTSmartPublisherDefine.NT_PB_E_VIDEO_OPTION.NT_PB_E_VIDEO_OPTION_SCREEN;   //采集屏幕
                break;
            case 3:
                video_push_type_ = (uint)NTSmartPublisherDefine.NT_PB_E_VIDEO_OPTION.NT_PB_E_VIDEO_OPTION_NO_VIDEO; //不采集视频
                break;
        }
        Debug.Log("SelVideoPushType type: " + type + " video_push_type: " + video_push_type_);
    }

音频采集部分，我们主要实现了采集AudioClip的声音、麦克风、扬声器、还有两路AudioClip的音频混音：

public void SelAudioPushType(int type)
    {
        switch (type)
        {
            case 0:
                audio_push_type_ = (uint)NTSmartPublisherDefine.NT_PB_E_AUDIO_OPTION.NT_PB_E_AUDIO_OPTION_EXTERNAL_PCM_DATA;    //采集Unity声音
                break;
            case 1:
                audio_push_type_ = (uint)NTSmartPublisherDefine.NT_PB_E_AUDIO_OPTION.NT_PB_E_AUDIO_OPTION_CAPTURE_MIC;  //采集麦克风
                break;
            case 2:
                audio_push_type_ = (uint)NTSmartPublisherDefine.NT_PB_E_AUDIO_OPTION.NT_PB_E_AUDIO_OPTION_CAPTURE_SPEAKER;  //采集扬声器
                break;
            case 3:
                audio_push_type_ = (uint)NTSmartPublisherDefine.NT_PB_E_AUDIO_OPTION.NT_PB_E_AUDIO_OPTION_TWO_EXTERNAL_PCM_MIXER;  //两路Unity AudioClip混音
                break;
            case 4:
                audio_push_type_ = (uint)NTSmartPublisherDefine.NT_PB_E_AUDIO_OPTION.NT_PB_E_AUDIO_OPTION_NO_AUDIO;   //不采集音频
                break;
        }
        Debug.Log("SelAudioPushType type: " + type + " audio_push_type: " + audio_push_type_);
    }

为了便于测试延迟，在页面加了个简单的时间日期刷新：

//获取当前时间
        GameObject.Find("Canvas/Panel/LableText").GetComponent<Text>().text = string.Format("{0:D2}:{1:D2}:{2:D2}:{3:D2} " + "{4:D4}/{5:D2}/{6:D2}",
            DateTime.Now.Hour, DateTime.Now.Minute, DateTime.Now.Second, DateTime.Now.Millisecond,
            DateTime.Now.Year, DateTime.Now.Month, DateTime.Now.Day);

Unity窗体或Camera采集，可以从Texuture拿到数据，从而获取到rgb数据，投递到封装的wrapper层，实现编码传输。

if (texture_ == null || video_width_ != Screen.width || video_height_ != Screen.height)
  {
      Debug.Log("OnPostRender screen changed++ scr_width: " + Screen.width + " scr_height: " + Screen.height);
      if (screen_image_ != IntPtr.Zero)
      {
          Marshal.FreeHGlobal(screen_image_);
          screen_image_ = IntPtr.Zero;
      }
      if (texture_ != null)
      {
          UnityEngine.Object.Destroy(texture_);
          texture_ = null;
      }
      video_width_ = Screen.width;
      video_height_ = Screen.height;
      texture_ = new Texture2D(video_width_, video_height_, TextureFormat.BGRA32, false);
      screen_image_ = Marshal.AllocHGlobal(video_width_ * 4 * video_height_);
      Debug.Log("OnPostRender screen changed--");
      return;
  }
  texture_.ReadPixels(new Rect(0, 0, video_width_, video_height_), 0, 0, false);
  texture_.Apply();

摄像头和屏幕采集，可以直接在封装层实现，如果需要做预览，只需要把数据回到Unity，通过RawImage实时刷新Texture显示即可。


通过封装层实现数据预览：

public bool StartPreview()
    {
        if(CheckPublisherHandleAvailable() == false)
            return false;
        video_preview_image_callback_ = new NT_PB_SDKVideoPreviewImageCallBack(SDKVideoPreviewImageCallBack);
        NTSmartPublisherSDK.NT_PB_SetVideoPreviewImageCallBack(publisher_handle_, (int)NTSmartPublisherDefine.NT_PB_E_IMAGE_FORMAT.NT_PB_E_IMAGE_FORMAT_RGB32, IntPtr.Zero, video_preview_image_callback_);
        if (NTBaseCodeDefine.NT_ERC_OK != NTSmartPublisherSDK.NT_PB_StartPreview(publisher_handle_, 0, IntPtr.Zero))
        {
            if (0 == publisher_handle_count_)
            {
                NTSmartPublisherSDK.NT_PB_Close(publisher_handle_);
                publisher_handle_ = IntPtr.Zero;
            }
            return false;
        }
        publisher_handle_count_++;
        is_previewing_ = true;
        return true;
    }
    public void StopPreview()
    {
        if (is_previewing_ == false) return;
        is_previewing_ = false;
        publisher_handle_count_--;
        NTSmartPublisherSDK.NT_PB_StopPreview(publisher_handle_);
        if (0 == publisher_handle_count_)
        {
            NTSmartPublisherSDK.NT_PB_Close(publisher_handle_);
            publisher_handle_ = IntPtr.Zero;
        }
    }

预览数据回调：

//预览数据回调
  public void SDKVideoPreviewImageCallBack(IntPtr handle, IntPtr user_data, IntPtr image)
  {
      NT_PB_Image pb_image = (NT_PB_Image)Marshal.PtrToStructure(image, typeof(NT_PB_Image));
      NT_VideoFrame pVideoFrame = new NT_VideoFrame();
      pVideoFrame.width_ = pb_image.width_;
      pVideoFrame.height_ = pb_image.height_;
      pVideoFrame.stride_ = pb_image.stride_[0];
      Int32 argb_size = pb_image.stride_[0] * pb_image.height_;
      pVideoFrame.plane_data_ = new byte[argb_size];
      if (argb_size > 0)
      {
          Marshal.Copy(pb_image.plane_[0],pVideoFrame.plane_data_,0, argb_size);
      }
      {
          cur_image_ = pVideoFrame;
      }
  }

音频采集这块，Unity环境下，主要是采集Unity的AudioClip数据，这块需要注意的是，PCM数据发送间隔，每隔10毫秒发一次，因为AudioClip的size比如可能只有十几秒或者几分钟，需要考虑的是，AudioClip数据采集播放完毕后，是loop的形式反复播放，还是静音帧的形式，只传视频，不传音频。

var pcm_data = new PCMData();
pcm_data.sample_rate_ = audio_clip_info_.audio_clip_.frequency;
pcm_data.channels_ = audio_clip_info_.audio_clip_.channels;
pcm_data.per_channel_sample_number_ = pcm_data.sample_rate_ / 100;
var pcm_sample = new float[pcm_data.sample_rate_ * pcm_data.channels_ / 100];
audio_clip_info_.audio_clip_.GetData(pcm_sample, audio_clip_info_.audio_clip_offset_);
var sample_length = sizeof(float) * pcm_sample.Length;
pcm_data.data_ = Marshal.AllocHGlobal(sample_length);
Marshal.Copy(pcm_sample, 0, pcm_data.data_, pcm_sample.Length);
pcm_data.size_ = (uint)sample_length;
publisher_wrapper_.OnPostAudioPCMFloatData(pcm_data.data_,
    pcm_data.size_,
    pcm_time_stamp_,
    pcm_data.sample_rate_,
    pcm_data.channels_,
    pcm_data.per_channel_sample_number_);
Marshal.FreeHGlobal(pcm_data.data_);
pcm_data.data_ = IntPtr.Zero;
pcm_data = null;
pcm_time_stamp_ += 10;  //时间戳自增10毫秒

如果要两路混音，只要再从Resources下面，获取另一路AudioClip数据，然后投递即可：

audio_clip_info_mix_ = new AudioClipInfo();
audio_clip_info_mix_.audio_clip_ = Resources.Load("AudioData/music") as AudioClip;

数据投递，用以下接口：

publisher_wrapper_.OnPostAudioExternalPCMFloatMixerData(pcm_data_mix.data_,
      pcm_data_mix.size_,
      pcm_time_stamp_mix_,
      pcm_data_mix.sample_rate_,
      pcm_data_mix.channels_,
      pcm_data_mix.per_channel_sample_number_);

数据采集投递过来后，我们以图层的形式投递过来，设置音视频编码参数，底层实现音视频编码：

/*
 * nt_publisher_wrapper.cs
 * nt_publisher_wrapper
 * 
 * Github: https://github.com/daniulive/SmarterStreaming
 * 
 * Created by DaniuLive on 2017/11/14.
 */  
private void SetCommonOptionToPublisherSDK()
  {
      if (!IsPublisherHandleAvailable())
      {
          Debug.Log("SetCommonOptionToPublisherSDK, publisher handle with null..");
          return;
      }
      NTSmartPublisherSDK.NT_PB_ClearLayersConfig(publisher_handle_, 0,
                      0, IntPtr.Zero);
      if (video_option_ == (uint)NTSmartPublisherDefine.NT_PB_E_VIDEO_OPTION.NT_PB_E_VIDEO_OPTION_LAYER)
      {
          // 第0层填充RGBA矩形, 目的是保证帧率, 颜色就填充全黑
          int red = 0;
          int green = 0;
          int blue = 0;
          int alpha = 255;
          NT_PB_RGBARectangleLayerConfig rgba_layer_c0 = new NT_PB_RGBARectangleLayerConfig();
          rgba_layer_c0.base_.type_ = (Int32)NTSmartPublisherDefine.NT_PB_E_LAYER_TYPE.NT_PB_E_LAYER_TYPE_RGBA_RECTANGLE;
          rgba_layer_c0.base_.index_ = 0;
          rgba_layer_c0.base_.enable_ = 1;
          rgba_layer_c0.base_.region_.x_ = 0;
          rgba_layer_c0.base_.region_.y_ = 0;
          rgba_layer_c0.base_.region_.width_ = video_width_;
          rgba_layer_c0.base_.region_.height_ = video_height_;
          rgba_layer_c0.base_.offset_ = Marshal.OffsetOf(rgba_layer_c0.GetType(), "base_").ToInt32();
          rgba_layer_c0.base_.cb_size_ = (uint)Marshal.SizeOf(rgba_layer_c0);
          rgba_layer_c0.red_ = System.BitConverter.GetBytes(red)[0];
          rgba_layer_c0.green_ = System.BitConverter.GetBytes(green)[0];
          rgba_layer_c0.blue_ = System.BitConverter.GetBytes(blue)[0];
          rgba_layer_c0.alpha_ = System.BitConverter.GetBytes(alpha)[0];
          IntPtr rgba_conf = Marshal.AllocHGlobal(Marshal.SizeOf(rgba_layer_c0));
          Marshal.StructureToPtr(rgba_layer_c0, rgba_conf, true);
          UInt32 rgba_r = NTSmartPublisherSDK.NT_PB_AddLayerConfig(publisher_handle_, 0,
                          rgba_conf, (int)NTSmartPublisherDefine.NT_PB_E_LAYER_TYPE.NT_PB_E_LAYER_TYPE_RGBA_RECTANGLE,
                          0, IntPtr.Zero);
          Marshal.FreeHGlobal(rgba_conf);
          NT_PB_ExternalVideoFrameLayerConfig external_layer_c1 = new NT_PB_ExternalVideoFrameLayerConfig();
          external_layer_c1.base_.type_ = (Int32)NTSmartPublisherDefine.NT_PB_E_LAYER_TYPE.NT_PB_E_LAYER_TYPE_EXTERNAL_VIDEO_FRAME;
          external_layer_c1.base_.index_ = 1;
          external_layer_c1.base_.enable_ = 1;
          external_layer_c1.base_.region_.x_ = 0;
          external_layer_c1.base_.region_.y_ = 0;
          external_layer_c1.base_.region_.width_ = video_width_;
          external_layer_c1.base_.region_.height_ = video_height_;
          external_layer_c1.base_.offset_ = Marshal.OffsetOf(external_layer_c1.GetType(), "base_").ToInt32();
          external_layer_c1.base_.cb_size_ = (uint)Marshal.SizeOf(external_layer_c1);
          IntPtr external_layer_conf = Marshal.AllocHGlobal(Marshal.SizeOf(external_layer_c1));
          Marshal.StructureToPtr(external_layer_c1, external_layer_conf, true);
          UInt32 external_r = NTSmartPublisherSDK.NT_PB_AddLayerConfig(publisher_handle_, 0,
                          external_layer_conf, (int)NTSmartPublisherDefine.NT_PB_E_LAYER_TYPE.NT_PB_E_LAYER_TYPE_EXTERNAL_VIDEO_FRAME,
                          0, IntPtr.Zero);
          Marshal.FreeHGlobal(external_layer_conf);
      }
      else if (video_option_ == (uint)NTSmartPublisherDefine.NT_PB_E_VIDEO_OPTION.NT_PB_E_VIDEO_OPTION_CAMERA)
      {
          CameraInfo camera = cameras_[cur_sel_camera_index_];
          NT_PB_VideoCaptureCapability cap = camera.capabilities_[cur_sel_camera_resolutions_index_];
          SetVideoCaptureDeviceBaseParameter(camera.id_.ToString(), (UInt32)cap.width_, (UInt32)cap.height_);
      }
      SetFrameRate((uint)video_fps_);
      Int32 type = 0;   //软编码
      Int32 encoder_id = 1;
      UInt32 codec_id = (UInt32)NTCommonMediaDefine.NT_MEDIA_CODEC_ID.NT_MEDIA_CODEC_ID_H264;
      Int32 param1 = 0;
      SetVideoEncoder(type, encoder_id, codec_id, param1);
      SetVideoQualityV2(CalVideoQuality(video_width_, video_height_, is_h264_encoder_));
      SetVideoBitRate(CalBitRate(video_fps_, video_width_, video_height_));
      SetVideoMaxBitRate((CalMaxKBitRate(video_fps_, video_width_, video_height_, false)));
      SetVideoKeyFrameInterval((key_frame_interval_));
      if (is_h264_encoder_)
      {
          SetVideoEncoderProfile(1);
      }
      SetVideoEncoderSpeed(CalVideoEncoderSpeed(video_width_, video_height_, is_h264_encoder_));
      // 音频相关设置
      SetAuidoInputDeviceId(0);
      SetPublisherAudioCodecType(1);
      SetPublisherMute(is_mute_);
      SetEchoCancellation(0, 0);
      SetNoiseSuppression(0);
      SetAGC(0);
      SetVAD(0);
      SetInputAudioVolume(Convert.ToSingle(audio_input_volume_));
  }

编码打包后，可以调用推送接口，把打包后的数据，实时传到RTMP服务端：

public bool StartPublisher(String url)
    {
        if (CheckPublisherHandleAvailable() == false) return false;
        if (publisher_handle_ == IntPtr.Zero)
        {
            return false;
        }
        if (!String.IsNullOrEmpty(url))
        {
            NTSmartPublisherSDK.NT_PB_SetURL(publisher_handle_, url, IntPtr.Zero);
        }
        if (NTBaseCodeDefine.NT_ERC_OK != NTSmartPublisherSDK.NT_PB_StartPublisher(publisher_handle_, IntPtr.Zero))
        {
            if (0 == publisher_handle_count_)
            {
                NTSmartPublisherSDK.NT_PB_Close(publisher_handle_);
                publisher_handle_ = IntPtr.Zero;
            }
            is_publishing_ = false;
            return false;
        }
        publisher_handle_count_++;
        is_publishing_ = true;
        return true;
    }
    public void StopPublisher()
    {
        if (is_publishing_ == false) return;
        publisher_handle_count_--;
        NTSmartPublisherSDK.NT_PB_StopPublisher(publisher_handle_);
        if (0 == publisher_handle_count_)
        {
            NTSmartPublisherSDK.NT_PB_Close(publisher_handle_);
            publisher_handle_ = IntPtr.Zero;
        }
        is_publishing_ = false;
    }

RTMP传输这块，需要把Event状态回调给Unity，确保Unity实时处理网络异常：


Unity层处理：

public event Action<uint,string> OnLogEventMsg;
publisher_wrapper_.OnLogEventMsg += OnLogHandle;
private void OnLogHandle(uint arg1, string arg2)
{
    Debug.Log(arg2);
}

wrapper层处理：

private void PbEventCallBack(IntPtr handle, IntPtr user_data, 
      UInt32 event_id,
      Int64 param1,
      Int64 param2,
      UInt64 param3,
      UInt64 param4,
      [MarshalAs(UnmanagedType.LPStr)] String param5,
      [MarshalAs(UnmanagedType.LPStr)] String param6,
      IntPtr param7)
  {
      String event_log = "";
      switch (event_id)
      {
          case (uint)NTSmartPublisherDefine.NT_PB_E_EVENT_ID.NT_PB_E_EVENT_ID_CONNECTING:
              event_log = "连接中";
              if (!String.IsNullOrEmpty(param5))
              {
                  event_log = event_log + " url:" + param5;
              }
              break;
          case (uint)NTSmartPublisherDefine.NT_PB_E_EVENT_ID.NT_PB_E_EVENT_ID_CONNECTION_FAILED:
              event_log = "连接失败";
              if (!String.IsNullOrEmpty(param5))
              {
                  event_log = event_log + " url:" + param5;
              }
              break;
          case (uint)NTSmartPublisherDefine.NT_PB_E_EVENT_ID.NT_PB_E_EVENT_ID_CONNECTED:
              event_log = "已连接";
              if (!String.IsNullOrEmpty(param5))
              {
                  event_log = event_log + " url:" + param5;
              }
              break;
          case (uint)NTSmartPublisherDefine.NT_PB_E_EVENT_ID.NT_PB_E_EVENT_ID_DISCONNECTED:
              event_log = "断开连接";
              if (!String.IsNullOrEmpty(param5))
              {
                  event_log = event_log + " url:" + param5;
              }
              break;
          default:
              break;
      }
      if(OnLogEventMsg != null) OnLogEventMsg.Invoke(event_id, event_log);
  }

总结

以上是大概的流程，通过采集Unity的音视频数据，编码打包传输，发送到RTMP服务端，客户端直接拉取RTMP流数据，延迟在毫秒级，用户体验良好，在智慧数字人等交互场景，体验极佳。

文章标签：
虚拟数字人
图形学
人工智能
自然语言处理
语音技术
机器学习/深度学习
关键词：
AI方案
AI数字人
虚拟数字人ai
AI传输
数字人AI
音视频牛哥
目录
相关文章
游客amuieonrz6kmu
|
3天前
|
传感器 人工智能 监控
智慧电厂AI算法方案
智慧电厂AI算法方案通过深度学习和机器学习技术，实现设备故障预测、发电运行优化、安全监控和环保管理。方案涵盖平台层、展现层、应用层和基础层，具备精准诊断、智能优化、全方位监控等优势，助力电厂提升效率、降低成本、保障安全和环保合规。
游客amuieonrz6kmu
12 1
智慧电厂AI算法方案
游客amuieonrz6kmu
|
3天前
|
传感器 人工智能 监控
智慧化工厂AI算法方案
智慧化工厂AI算法方案针对化工行业生产过程中的安全风险、效率瓶颈、环保压力和数据管理不足等问题，通过深度学习、大数据分析等技术，实现生产过程的实时监控与优化、设备故障预测与维护、安全预警与应急响应、环保监测与治理优化，全面提升工厂的智能化水平和管理效能。
游客amuieonrz6kmu
15 0
智慧化工厂AI算法方案
云大宝
|
1月前
|
人工智能 Serverless
AI助理精准匹配，为您推荐方案——如何添加一个Stable Difussion图像生成应用
介绍了一种利用AI助手快速获取并搭建Stable Diffusion图像生成应用的方法。用户只需在阿里云官网向AI助手提出需求，即可获得详细的实施方案。随后，按照AI助手提供的方案，通过函数计算部署应用，并进行测试。此过程显著提升了开发效率。
云大宝
797 2
AI助理精准匹配，为您推荐方案——如何添加一个Stable Difussion图像生成应用
云大宝
|
1月前
|
人工智能 Serverless API
AI助理精准匹配，为您推荐方案——如何快速在网站上增加一个AI助手
通过向AI助理提问的方式，生成一个技术方案：在网站上增加一个AI助手，提供7*24的全天候服务，即时回答用户的问题和解决他们可能遇到的问题，无需等待人工客服上班，显著提升用户体验。
云大宝
1876 13
云大宝
|
1月前
|
存储 人工智能 Serverless
妙用AI助理帮您定方案、找细节
当您希望在繁琐的文档中迷失方向时，AI助理能为您提供清晰指引，助您轻松实现加速配置与获取核心代码参数，显著简化开发流程。无论是方案获取还是寻找细节，只需向AI助理提问，即可获得详细步骤与示例代码，大幅提升工作效率。点击右下角的AI助理，即刻体验便捷服务。
云大宝
123 1
汀丶人工智能
|
3月前
|
存储 人工智能 自然语言处理
无缝融入，即刻智能[二]：Dify-LLM平台(聊天智能助手、AI工作流)快速使用指南，42K+星标见证专属智能方案
【8月更文挑战第8天】无缝融入，即刻智能[二]：Dify-LLM平台(聊天智能助手、AI工作流)快速使用指南，42K+星标见证专属智能方案
汀丶人工智能
438 5
无缝融入，即刻智能[二]：Dify-LLM平台(聊天智能助手、AI工作流)快速使用指南，42K+星标见证专属智能方案
青否数字人源码
|
3月前
|
人工智能 搜索推荐 语音技术
青否AI数字人抖音稳定开播，数字人带货优势及注意事项！
AI数字人直播带货革新电商领域，虚拟形象外形逼真且互动流畅，改变购物体验。青否数字人采用【实时改写实时生成】确保内容不重复，并通过AI智能回复即时解答用户问题，解决非实时内容及低频互动违规。数字人技术具24/7工作能力和个性化互动优势，降低成本提高效率。青否数字人直播解决方案实现降本增效，助力商家全天候直播带货，提升销售额。
青否数字人源码
130 2
青否AI数字人抖音稳定开播，数字人带货优势及注意事项！
青否数字人源码
|
4月前
|
人工智能 固态存储
直播基地、SCN机构对于AI数字人直播独立部署的需求量暴增！
青否数字人提供低成本、高效率的数字人直播解决方案，适合直播基地和SCN机构构建直播矩阵。只需几万块，商家可独立部署源码(zhibo175)，实现真人1:1克隆，包括形象和声音。操作简单，通过绿幕视频和声音样本即可快速克隆数字人主播。此外，青否的直播专业版仅需云服务器，降低运营成本，相比其他厂商，服务每个商家成本低至1元。商家还能享受私有化部署带来的品牌独立性和数据安全性。
青否数字人源码
116 3
直播基地、SCN机构对于AI数字人直播独立部署的需求量暴增！
jianz123
|
3月前
|
人工智能
如何利用ai快速写汇报、方案、总结。
本文介绍了一套与AI有效沟通的方法，以生成符合需求的文章。通过构建【角色+背景+任务+要求】的提示词框架，并辅以调试优化，可显著提升AI输出内容的质量。角色设定应包括单位、身份与能力；背景描述需涵盖宏观、微观及受众层面；任务需界定清晰，并可细分为文本输出或立意构思；要求则涉及语言风格、字数限制及内容结构。通过不断调试，最终产出满足期望的文章。
jianz123
172 6
灵杰开发者
|
4月前
|
数据采集 人工智能 安全
阿里云Elasticsearch 企业级AI搜索方案发布
本文从AI搜索落地的挑战、阿里云在RAG场景的实践、效果提升三个方面，深度解读阿里云Elasticsearch 企业级AI搜索方案。
灵杰开发者
385 8

热门文章

最新文章

  • 1
    用1张图像生成数字人，快来制作你的AI视频吧~
  • 2
    《机器人与数字人：基于MATLAB的建模与控制》——1.1节机器人的发展历程: 过去、现在和未来
  • 3
    《机器人与数字人：基于MATLAB的建模与控制》——2.2节李群和李代数
  • 4
    《机器人与数字人：基于MATLAB的建模与控制》——1.3节借助机器人分析方法进行数字人建模
  • 5
    《机器人与数字人：基于MATLAB的建模与控制》——3.2节线速度和角速度
  • 6
    《机器人与数字人：基于MATLAB的建模与控制》——2.4节对偶数、对偶向量及代数形式
  • 7
    开发一个自己的数字人，FACEGOOD把语音驱动表情技术开源了
  • 8
    《机器人与数字人：基于MATLAB的建模与控制》——1.2节数字人建模：历史、成就和新挑战
  • 9
    携手数字人、数字空间、XR平台，阿里云与伙伴共同建设“新视界”
  • 10
    虚拟数字人行业现状和技术研究
  • 1
    [译][AI Research] AI 模型中的“it”是数据集
    55
  • 2
    如何通过AI技术提升内容生产的效率和质量
    2391
  • 3
    如何看待首个 AI 程序员入职科技公司？
    199
  • 4
    AI技术的应用和发展
    216
  • 5
    AI对网络攻击的影响
    91
  • 6
    【热门话题】如何通过AI技术提升内容生产的效率与质量
    171
  • 7
    [译][AI OpenAI-doc] Prompt工程
    86
  • 8
    探讨如何通过AI技术提升内容生产的效率和质量
    134
  • 9
    以AI对抗AI，瑞数“动态安全+AI”助力在线反欺诈
    112
  • 10
    AI在医疗领域的突破性应用：重塑未来的医疗格局
    122

    • 相关课程

    更多
  • 【科技少年】AI领航员探索教程（赛前训练）
  • 达摩院视觉AI精品课
  • AI开发者的Docker实践
  • AI社区开源学习实践
  • 趣味视觉AI应用入门与实战
  • AI数学基础

    • 相关电子书

    更多
  • 2023云栖大会：PolarDB for AI
  • 虚拟数字人视频创作产品分享
  • 虚拟数字人开放平台产品分享

    • 相关实验场景

    更多
  • 【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
  • 使用容器计算服务 ACS 算力快速搭建生成式 AI 会话应用
  • SAE 极速部署专属 AI 证件照神器
  • 流水线运行出错排查难？AI帮你智能排查
  • 以电商场景为例搭建AI语义搜索应用
  • AI克隆声音，基于函数计算部署GPT-Sovits语音生成模型
    • 下一篇
    阿里云OSS设置跨域访问