@tslfe/ai-sdk

一个功能强大的 AI 语音交互 SDK，支持语音录制、语音识别、语音合成、语音唤醒和智能对话等功能。

特性

- 🎤 语音录制 - 支持实时录音和音频处理
- 🗣️ 语音识别 - 集成多种 ASR 引擎，支持实时语音转文字
- 🔊 语音合成 - 支持多种 TTS 引擎，包括字节跳动、阿里云等
- 🎯 语音唤醒 - 基于 ONNX 模型的离线语音唤醒
- 🤖 智能对话 - 集成多种 LLM 模型，支持流式对话
- 📊 数据可视化 - 内置图表展示功能
- 🎨 音频可视化 - 支持波形图、频谱图等多种可视化效果

安装

``bash
npm install @tslfe/ai-sdk
`

快速开始

$3

`javascript
import { createllm, createAudioRecorder } from "@tslfe/ai-sdk";

// 创建LLM实例
const llm = createllm({
application: "your-app-name",
recordConfig: {
type: "sentence",
waveView: {
enable: true,
el: "#wave-container"
}
},
tts: {
enable: true,
type: "bytedance"
}
});

// 监听事件
llm.on("data", (data) => {
console.log("收到数据:", data);
});

llm.on("connected", () => {
console.log("连接成功");
});
`

$3

`javascript
import { createAudioRecorder } from "@tslfe/ai-sdk";

const recorder = createAudioRecorder({});

// 初始化录音
recorder.init(
() => console.log("录音初始化成功"),
(error) => console.error("录音初始化失败:", error)
);

// 开始录音
recorder.start();

// 监听录音事件
recorder.on("audio", ({ text, type }) => {
console.log("音频数据:", text);
});
`

$3

`javascript

// 初始化语音唤醒
recorder.initWakeup();

// 监听唤醒事件
recorder.on("wakeup", (isWakeup) => {
if (isWakeup) {
console.log("语音唤醒成功");
}
});
`

API 文档

$3

创建 LLM 实例，用于智能对话和语音交互。

#### 参数

- config.application (string) - 应用名称，必填
- config.recordConfig (AudioRecordConfig) - 录音配置
- config.clientId (string) - 客户端 ID，可选
- config.notifications (string[]) - 通知配置
- config.tts (object) - 语音合成配置
- config.wakeup (object) - 语音唤醒配置

#### 返回值

返回 LLMInstance 实例，包含以下方法：

- inputMessage(text, type) - 发送文本消息
- on(event, callback) - 监听事件
- off(event, callback) - 取消监听
- close() - 关闭连接

$3

创建音频录制实例。

#### 参数

- config.type ('sentence' | 'live') - 录音类型
- config.mode ('normal' | 'wakeup') - 录音模式
- config.waveView (object) - 波形可视化配置
- config.powerLevelLimit (number) - 音量阈值
- config.remainTime (number) - 停顿时间

#### 返回值

返回 AudioInstance 实例，包含以下方法：

- init(success, fail) - 初始化录音
- start() - 开始录音
- stop() - 停止录音
- close() - 关闭录音
- on(event, callback) - 监听事件

事件系统

$3

- connected - WebSocket 连接成功
- data - 接收到数据
- progress - 处理进度
- close - 连接关闭

$3

- start - 开始录音
- stop - 停止录音
- audio - 音频数据
- wakeup - 语音唤醒结果
- error - 错误事件

配置选项

$3

`typescript
interface AudioRecordConfig {
mode?: "normal" | "wakeup";
type?: "sentence" | "live";
waveView?: {
el?: string;
enable?: boolean;
type?: "FrequencyHistogramView" | "WaveView" | "WaveSurferView";
options?: any;
};
powerLevelLimit?: number;
remainTime?: number;
stopTime?: number;
maximumTime?: number;
}
`

$3

`typescript
interface LLMConfig {
recordConfig: AudioRecordConfig;
application: string;
clientId?: string;
notifications?: string[];
autoInitRecorder?: boolean;
notify: 0 | 1;
tts?: {
enable?: boolean;
type?: string;
params?: object;
};
}
`

支持的 TTS 引擎

- 字节跳动 TTS
- 阿里云 TTS
- 自定义 TTS 引擎

开发

$3

`bash
yarn install
`

$3

`bash
yarn serve
`

$3

`bash
yarn compile
``