AI 即刻字幕 - 语音识别、端侧 AI 、实时双语字幕

AI 即刻字幕是一款面向视频、直播、会议、网课、语言学习和日常交流场景的实时字幕与 AI 翻译工具。 通过端侧 AI 语音识别与翻译技术，AI 即刻字幕可以将设备正在播放的声音或麦克风语音实时转换为文字，并以悬浮字幕显示在其他应用上方。无论是观看外语视频、直播、短视频，还是参加会议、在线课程或面对面交流，都可以快速获得实时字幕和翻译结果。 语音识别与翻译 AI 推理均在用户设备端完成，无需将原始音频或待翻译文本上传至 AVGAIGROUP 自有服务器进行 AI 处理，在兼顾实时性的同时减少对网络的依赖并保护内容隐私。 【实时 AI 字幕】 将正在播放的语音快速转换为文字，边听边识别、边识别边显示。 适用于视频字幕、直播字幕、会议字幕、网课字幕以及日常语音转文字等场景，让没有字幕的内容也可以获得实时文字辅助。 【视频与系统音频识别】 经用户主动授权后，可以识别 Android 系统允许捕获的设备内部音频，包括部分视频、直播、课程、会议及其他媒体声音。 系统音频捕获能力受到 Android 系统以及音频来源应用的限制。部分应用可能主动禁止第三方应用捕获其播放音频。 如果视频或音频内容受到 DRM（数字版权管理）或其他内容保护机制保护，Android 系统或内容提供方可能禁止音频捕获。在这种情况下，AI 即刻字幕可能无法获取系统音频，因此无法通过系统音频模式生成字幕。 此类限制由 Android 系统、内容来源应用或内容提供方的版权保护机制决定，并非 AI 即刻字幕自身的语音识别功能故障。AI 即刻字幕不会尝试绕过 DRM、版权保护或其他应用设置的音频捕获限制。 如果目标应用不允许系统音频捕获，可以根据实际情况尝试使用麦克风识别模式。 【麦克风实时字幕】 通过设备麦克风识别周围语音并生成实时字幕。 适用于面对面交流、会议讨论、课堂学习、语言练习，以及系统音频无法直接捕获时的部分使用场景。 【实时字幕翻译】 在生成语音字幕的同时，可以将识别结果翻译为目标语言。 适合观看外语视频、学习外语、参加跨语言会议或理解不同语言的日常对话，让实时字幕与语音翻译在同一个界面完成。 【自研上下文感知 NLLB 翻译】 AI 即刻字幕采用针对移动设备优化的自研上下文感知 NLLB 神经机器翻译模型。 在传统逐句翻译的基础上，我们针对连续字幕场景进行了上下文感知优化，使模型能够结合前后字幕语境处理连续翻译任务，以改善短句、口语以及连续对话中的翻译连贯性。 模型训练过程中使用了包括 DeepSeek 教师模型辅助生成、翻译和优化的多语言训练语料，并结合数据筛选与端侧模型优化，将大语言模型提供的语言知识用于轻量级本地翻译模型的训练。 最终用于字幕翻译的模型由 AI 即刻字幕在用户设备端直接运行。使用实时翻译功能时，不需要在线调用 DeepSeek，也不会将待翻译字幕发送给 DeepSeek 或 AVGAIGROUP 自有服务器进行云端翻译。 【悬浮字幕】 字幕可以悬浮显示在其他应用上方。 观看视频、直播、课程或使用其他应用时，无需频繁切换页面，即可持续查看原文和翻译字幕。 可根据不同使用场景调整字幕显示方式、语言以及相关显示选项。 【端侧 AI 与隐私保护】 AI 即刻字幕的语音识别与翻译均采用端侧 AI 处理，相关 AI 推理任务直接在用户设备上完成，不使用 AVGAIGROUP 自有服务器进行云端语音识别或翻译。 在使用语音识别和翻译功能时，原始音频及用于翻译的文本无需上传至 AVGAIGROUP 自有服务器进行 AI 处理。 端侧运行能够减少对网络连接的依赖，并降低音频和字幕内容在网络传输过程中产生的隐私风险。 应用仍可能使用网络连接下载 AI 模型和语言资源，以及提供广告、应用内购买和 Google Play 等必要的第三方服务；这些网络功能与端侧语音识别及翻译 AI 推理相互独立。 【设备性能建议】 实时字幕需要同时进行语音识别、文本处理和翻译等 AI 计算任务，对设备的 CPU、内存及整体计算性能存在一定要求。 为了获得更加流畅的实时字幕与翻译体验，建议使用运行内存（RAM）8GB 或以上的 Android 设备。 部分发布时间较早、处理器性能较低或可用内存较少的设备仍可能运行相关功能，但由于端侧语音识别与翻译本身具有客观的计算性能消耗，可能出现字幕生成速度较慢、翻译延迟增加或其他性能下降情况。 实际性能不仅取决于内存容量，还与设备处理器性能、系统后台负载、温度与降频状态、所选语音识别模型及翻译语言等因素有关。 【按需下载 AI 模型】 不同用户需要的语言不同，因此应用支持根据实际需求下载相应的语音识别模型或翻译语言包。 无需一次下载所有模型，可以减少不必要的设备存储空间占用。 【灵活的字幕设置】 可以根据不同场景调整字幕语言、翻译方式、显示模式以及其他字幕相关选项。 无论是观看视频、学习语言还是进行面对面交流，都可以选择适合自己的字幕显示方式。 【免费使用与免广告选项】 应用提供通过激励视频获取额外使用时长的方式，同时提供可选的免广告使用方案。 用户可以根据自己的使用需求选择适合的方式。 【适用场景】 • 外语视频实时字幕与翻译 • 支持系统音频捕获的视频内容字幕辅助 • 直播、短视频实时字幕 • 在线课程、网课和语言学习 • 视频会议和跨语言交流 • 面对面对话与语音翻译 • 会议语音转文字 • 无字幕视频的文字辅助 • 不方便开启声音时阅读语音内容 • 听力辅助和信息理解 【权限说明】 为了实现实时字幕、系统音频识别和悬浮字幕等功能，AI 即刻字幕可能需要以下 Android 系统权限： • 麦克风权限 用于识别通过设备麦克风输入的语音。 • 媒体投屏或音频捕获授权 用于在用户主动授权后获取 Android 系统允许捕获的设备播放音频，并生成实时字幕。该权限不代表应用能够捕获所有第三方应用的音频。 • 悬浮窗权限 用于将实时字幕显示在其他应用上方。 • 通知及前台服务相关权限 用于在实时字幕功能运行期间维持必要的后台服务。 • 网络权限 用于下载 AI 模型和语言资源，以及加载广告、处理应用内购买和使用必要的第三方网络服务。 相关权限仅在对应功能需要时使用。用户可以在 Android 系统设置中查看或撤销相应权限。 【DRM 与兼容性说明】 AI 即刻字幕只能获取 Android 系统和音频来源应用允许第三方应用捕获的音频。 对于启用了 DRM（数字版权管理）、版权保护、安全播放机制，或主动禁止音频捕获的应用和媒体内容，Android 系统可能不会向 AI 即刻字幕提供音频数据。因此，此类内容可能无法使用系统音频实时字幕功能。 不同应用、不同内容甚至同一应用中的不同视频，都可能采用不同的内容保护策略，因此无法保证所有第三方应用及媒体内容均支持系统音频捕获。 AI 即刻字幕不会绕过或尝试规避 DRM、版权保护、安全播放机制或第三方应用设置的音频捕获限制。 如果目标应用无法进行系统音频捕获，可根据实际情况尝试使用麦克风识别模式。 【第三方服务】 应用可能使用 Google Play Billing、Google Mobile Ads、Google ML Kit 和 Google Play 服务等第三方服务。 相关服务可能根据其各自的隐私政策处理提供服务所必需的设备、网络、购买、广告、诊断或其他必要信息。 【使用说明】 实时语音识别和 AI 翻译的实际速度、准确率以及可用功能可能受到设备性能、可用内存、Android 系统版本、音频质量、环境噪声、说话方式、所选 AI 模型，以及第三方应用的音频捕获与 DRM 策略等因素影响。 建议使用运行内存 8GB 或以上且具有较新处理器的设备，以获得更流畅的端侧实时语音识别与翻译体验。 AI 即刻字幕希望通过完全在设备端执行的 AI 语音识别与翻译，让实时字幕、视频翻译和语音翻译更加简单，同时尽可能减少用户音频与字幕内容离开设备的需要。