Trích xuất phụ đề

Sử dụng quy trình này để tạo tệp phụ đề từ video. Weydub hỗ trợ hai phương thức trích xuất:

• Trích xuất bằng OCR cho phụ đề đã được ghi cứng và hiển thị trong khung hình video.
• Trích xuất bằng ASR cho lời thoại trong rãnh âm thanh.

Bạn muốn kiểm tra chất lượng đầu ra trước khi bắt tay xây dựng? Hãy thử quy trình web Weydub tương ứng: Tạo phụ đề.

Để xem phần giải thích ở cấp hệ thống về Video OCR theo thời gian, việc lọc văn bản trong cảnh và phân đoạn ASR phù hợp để tạo phụ đề, hãy đọc Tạo phụ đề bằng AI với Video OCR và ASR.

Điểm cuối

POST /v-w-c/gateway/ve/work/free

Việc trích xuất phụ đề diễn ra không đồng bộ. Lưu body.idProject và body.dataList[].id, sau đó sử dụng Mô hình tác vụ không đồng bộ để thăm dò trạng thái, xử lý callback, cơ chế thử lại và ký callback.

Quyền truy cập và giới hạn

Chọn OCR hoặc ASR

Không sử dụng OCR để chép lời các video chỉ có lời nói. Không sử dụng ASR để đọc phụ đề ghi cứng không kèm âm thanh.

Dữ liệu yêu cầu trích xuất phụ đề OCR

Sử dụng OCR khi phụ đề đã được nhúng trong hình ảnh video.

{
  "urls": ["https://example.com/video.mp4"],
  "needChineseOcclude": 14,
  "videoInpaintLang": "en",
  "lang": "en",
  "videoInpaintMasks": "[{\"type\":\"trans_only_ocr\",\"region\":[[0,0.8],[1,0.8],[1,1],[0,1]]}]",
  "extraOptions": "{\"extra_inpaint_config\":{\"auto_correct_on\":false,\"strip_last_punct_on\":true,\"scene_filter_on\":false}}",
  "callback": "https://your-domain.example/webhooks/weydub"
}

Lưu ý:

• needChineseOcclude phải là 14.
• videoInpaintMasks là bắt buộc để trích xuất OCR và nên là một chuỗi JSON thu gọn trước khi ký.
• type nên là trans_only_ocr.
• Đặt lang bằng videoInpaintLang khi không cần dịch.
• Tọa độ được chuẩn hóa từ 0 đến 1, theo thứ tự: góc trên bên trái, góc trên bên phải, góc dưới bên phải, góc dưới bên trái.

Mặt nạ OCR

Sử dụng một hoặc nhiều mặt nạ khi đã biết vùng phụ đề hiển thị. Mặt nạ giới hạn theo thời gian giúp tránh trích xuất các gợi ý cốt truyện tạm thời hoặc văn bản đăng ký và coi chúng là lời thoại.

Các vùng thường dùng:

Tùy chọn OCR

extraOptions.extra_inpaint_config có thể điều chỉnh quá trình làm sạch kết quả OCR:

Giữ extraOptions dưới dạng chuỗi JSON thu gọn cho các payload API công khai, trừ khi hợp đồng tài khoản của bạn quy định khác.

Dữ liệu yêu cầu trích xuất phụ đề ASR

Sử dụng ASR khi video có lời nói và bạn cần bản chép lời có mốc thời gian.

{
  "urls": ["https://example.com/video.mp4"],
  "needWanyin": 1,
  "sourceLang": "en",
  "lang": "en",
  "wyTaskType": "ONLY_ASR",
  "needWyEdit": 0,
  "wyNeedText": 0,
  "extraOptions": "{\"asr_speaker_detect_on\":true,\"extra_video_translate_config\":{\"remove_last_punct_on\":true}}",
  "callback": "https://your-domain.example/webhooks/weydub"
}

Lưu ý:

• wyTaskType phải là ONLY_ASR.
• wyNeedText: 0 có nghĩa là không kết xuất phụ đề vào một video mới.
• needWyEdit: 0 vô hiệu hóa hành vi chỉnh sửa thủ công/pro-draft cho tác vụ trích xuất này.
• sourceLang là ngôn ngữ lời nói. lang là ngôn ngữ đầu ra của phụ đề; sử dụng cùng một mã khi không cần dịch.

Tùy chọn ASR

Tham số

Đầu ra

Các tác vụ trích xuất thành công có thể trả về:

• srcSrtUrl
• tgtSrtUrl
• processStatus
• processProgress
• paidPoint
• siêu dữ liệu tác vụ trong mục công việc được trả về

Việc trích xuất OCR và ASR không cần kết xuất video mới. Hãy thăm dò cho đến khi processStatus === 1 rồi mới đọc srcSrtUrl hoặc tgtSrtUrl.

Các callback gửi trực tiếp payload của mục công việc, không có lớp bao code / msg / body bên ngoài được sử dụng trong phản hồi thăm dò.

Ghi chú dành cho tác nhân

• Chọn OCR cho văn bản phụ đề được ghi cứng vào video; chọn ASR cho lời thoại.
• Giữ videoInpaintMasks và extraOptions ở dạng chuỗi thu gọn trước khi ký.
• Không gửi các mảng mặt nạ OCR dưới dạng mảng gốc, trừ khi hợp đồng tài khoản của bạn quy định như vậy.
• Sử dụng truy vấn enum (POST /v-w-c/enum/query2) để lấy thông tin hỗ trợ hiện tại cho sourceLang và Lang; endpoint enum này không yêu cầu ký.
• Thăm dò cho đến khi processStatus bằng 1 rồi mới đọc srcSrtUrl hoặc tgtSrtUrl.
• Lưu trữ các tệp phụ đề trước khi quá trình dọn dẹp theo chính sách lưu giữ diễn ra.