郑州微网站制作,四川大学规划建设处官方网站,wordpress 显示选项打不开,网站怎样免费推广虚幻引擎 | #xff08;类恐鬼症#xff09;玩家和NPC语音聊天-CSDN博客
上篇偏重实现步骤#xff0c;中篇偏重理解校准和降低延迟#xff0c;下篇加入上下文背景array和设置口音 TTS通用参数
————————————————————————————————————…虚幻引擎 | 类恐鬼症玩家和NPC语音聊天-CSDN博客
上篇偏重实现步骤中篇偏重理解校准和降低延迟下篇加入上下文背景array和设置口音 TTS通用参数
———————————————————————————————————————————
以下整理了Text to Speech的一些通用参数。重要性自上而下排序
Model size
基于OpenAIs Whisper models开源模型
用的模型越大计算机实时计算的时间就越久。需要快速反应可以尝试最上面的Tiny Size。往下选择更大的模型会有更高的准确性和自然度。它们拥有更多的参数和更复杂的网络结构能够捕捉更多的语言细节和语音特征从而生成更自然、更流畅的语音。注意每次切换project setting中的model size需要点上面的setup language model或者重启编辑器才能应用 点击“设置语言模型”按钮如果您的本地机器上尚未安装所选语言模型它将要求您自动下载该模型。 下载完成后编辑器将生成一个位于“Plugins/RuntimeSpeechRecognizer/Content/LanguageModels/LanguageModel.uasset”的语言模型资产。此语言模型资产将是唯一与您的项目一起打包的资产。 通过点击“清除语言模型”按钮删除任何本地下载的语言模型。 从open ais whisper 模型的大小来看纯英文的 TTS 模型比如 ggml-tiny.en.bin 和 ggml-medium.en.bin和多语言模型ggml-tiny.bin 和 ggml-medium.bin在文件大小上没有太大差异。这可能让人感到意外因为多语言模型通常需要包含更多更复杂的语言数据理应体积更大但其架构可能已经做了优化能在模型大小上保持接近单语言模型的水平。 如果有不能识别的语言可以在Epic目录下的插件文件夹中加入自定义语音包
Alternatively, you can manually download and place language models from https://huggingface.co/ggerganov/whisper.cpp into the Plugins/RuntimeSpeechRecognizer/Content folder. streaming non-streaming Streaming audio input
This example captures audio data from the microphone as a stream using the Capturable sound wave and passes it to the speech recognizer.流式音频输入使用可捕获声波从麦克风捕获音频数据作为流并将其传递给语音识别器。
Non-streaming audio input
imports audio data to the Imported sound wave and recognizes the full audio data once it has been imported.非流式音频输入将音频数据导入到导入的声波中并在导入后识别完整的音频数据。 Temperature
“temperature” 是控制生成结果随机性的一种参数。当 temperature 值较低时系统会倾向于生成较为确定和可预测的输出而当 temperature 值较高时系统会生成更多样化、更随机的输出。
这句话的意思是 当解码过程未能满足某些阈值时系统会通过增加 temperature 值来增加输出的随机性。也就是说如果解码遇到困难生成的结果不够理想系统会增加 temperature 来尝试生成更灵活、更随机的内容。 Initial Prompt
Sets the initial prompt for the first window. This can be used to provide context for the recognition to make it more likely to predict the words correctly, e.g. custom vocabularies or proper nouns.
设置第一个窗口的初始提示。这可用于为识别提供上下文使其更有可能正确预测单词例如自定义词汇或专有名词。 在文字生成语音的过程中通常是按文本逐字逐句“照读”的但在某些高级的语音合成系统中特别是当涉及到自然语言生成或调整发音的细节时可能需要一定的随机性。这种随机性通常与语调、节奏、或情感表达相关而不只是机械地“照读”。
以下是一些可能涉及随机性的场景 语调和情感为了让合成的语音听起来更自然、更像人类系统可能会在语调、重音、或表达情感的过程中引入一些随机变化。通过这种方式语音听起来就不会显得死板和单一而是更接近真人的表达。 停顿和节奏不同的语境下停顿的长度和节奏可能有所不同。系统可以通过引入一定的随机性来模拟这些变化从而生成更自然流畅的语音。 句子结构或表述方式的选择适用于生成文本再语音的系统有些系统在生成语音时可能要先生成要表达的文本内容而这个过程可能涉及到不同的句子结构或词汇选择。这时的随机性就是在文本生成阶段用到的类似于 ChatGPT 生成文本的机制。
举个例子
低 temperature如 0.2系统会生成更稳定、预期一致的语音几乎不会偏离最常见的发音方式听起来像是机械地“照读”。高 temperature如 0.8 或 1.0生成的语音会包含更多变化例如停顿、语调起伏、语速快慢的变化这样语音可能更像一个自然的对话者而不是按部就班地读文本。
然而如果 temperature 设置过高语音可能显得过于“随意”语调或情感表达可能不合适甚至会导致不太符合语境的发音选择。 Beam Search beam size default -1) Set the number of beams in beam search. Only applicable when temperature is zero.
**束搜索beam search**算法的一个设置选项特别是在生成任务如文本生成或语音合成中常用。我们来逐句分析这句话的意思
1. Set the number of beams in beam search
束搜索是一种搜索算法用来在生成文本或语音时找到多个可能的候选结果并最终选择最优的一个。这里的“beams”束指的是在每一步生成过程中保留的多个候选项。你可以将其理解为在每一阶段算法会保留多个可能的生成路径而不是只选择一个。“Set the number of beams” 意思是你可以设置要保留多少个候选项路径。比如设为 3 就表示在每个生成步骤中保留 3 个候选方案然后继续从这些方案中挑选最好的。
2. Only applicable when temperature is zero
这一部分说明束搜索算法只在 temperature 为零时生效。temperature 为零意味着系统不再引入随机性而是严格选择最高概率的结果。在这种情况下束搜索算法会非常有用因为它可以保留多个可能的候选项进行评估以确保找到最优解。如果 temperature 不为零意味着系统引入了随机性束搜索的严格性和效率会大大降低因此束搜索只在完全确定性的环境即 temperature 0下才有意义。 Step Size Ms
录入语音的毫秒数 1000ms1s。
Sets the step size in milliseconds. Determines how often to send audio data for recognition. The default value is 5000 ms (5 seconds). 这句话描述的是设置步长大小step size即每隔多少毫秒发送一次音频数据用于识别默认值为 5000 毫秒5 秒。理论上步长越小意味着数据会更频繁地发送延迟会变小但这并不总是意味着“越小越好”会缺失上下文影响。
如果启用了流式处理streaming processing那么**step size 的作用会显得不那么重要**或者说其影响会大大减少。 ※※加速库
Use Acceleration Libraries
whisper.cpp can accelerate the recognition process by using the following libraries: Core ML for Apple Silicon devices, OpenVINO on devices including x86 CPUs and Intel GPUs, Nvidia GPU Cuda on Windows or Linux, BLAS CPU support via OpenBLAS, BLAS CPU support via Intel MKL. Please note that these libraries are not included in the plugin by default and you need to install them manually, following the whisper.cpp instructions. ———————————下篇[加入上下文背景array和设置口音]——————————————
虚幻引擎 | 类恐鬼症玩家和NPC语音聊天下-CSDN博客 ———————上篇[使用runtime speech recognizer插件和解决插件报错]——————————
虚幻引擎 | 类恐鬼症玩家和NPC语音聊天上-CSDN博客
