Trích xuất phụ đề

OCR và ASR là hai điểm bắt đầu khác nhau

Văn bản trên màn hình và lời thoại cần những loại bằng chứng, quy trình hiệu chỉnh và lộ trình căn thời gian khác nhau.

Kết luận chính

• OCR trên video đọc văn bản đã hiển thị trong các khung hình.
• ASR nhận dạng lời nói từ luồng âm thanh.
• Cả hai phương pháp đều không loại bỏ nhu cầu căn thời gian, lọc và rà soát.

OCR trên video hữu ích khi nguồn chứa phụ đề chèn cứng hoặc văn bản lời thoại hiển thị khác. Một quy trình thực tiễn sẽ tìm các vùng văn bản tiềm năng qua nhiều khung hình, nhóm các quan sát lặp lại theo thời gian, lọc chữ trong cảnh và các kết quả dương tính giả, sau đó chuyển những vùng còn lại thành các mốc phụ đề có căn thời gian.

ASR bắt đầu từ lời nói. Phương pháp này hữu ích khi âm thanh rõ và nguồn không có văn bản, nhưng vẫn phải xử lý việc phân đoạn, người nói, khoảng ngừng, khẩu âm, lời nói chồng lấn và tốc độ đọc phụ đề. Đầu ra của nó không mặc nhiên tương đương với văn bản hiển thị trong hình ảnh.

Điểm khởi đầu phù hợp phụ thuộc vào nguồn. Một luồng phụ đề sạch có thể là đầu vào tốt nhất; phụ đề chèn cứng có thể khiến OCR trở thành lựa chọn trực tiếp; lời nói không có văn bản có thể cần ASR. Hệ thống sản xuất nên nêu rõ các quy trình này để đội ngũ biết điều gì đã được quan sát, điều gì được suy luận và điều gì vẫn cần rà soát.

Chọn bằng chứng trước khi chọn công cụ

Kiểm tra nguồn để xác định có luồng phụ đề sạch, văn bản chèn cứng, lời nói dễ nghe, nhạc hoặc hiệu ứng, nhiều người nói cùng lúc và chữ trong cảnh hay không. Tình trạng nguồn quyết định nên sử dụng OCR, ASR, tệp được cung cấp hay kết hợp nhiều phương pháp.

OCR theo dõi chữ hiển thị theo thời gian

Một quy trình OCR video đáng tin cậy sẽ phát hiện các ứng viên, nhóm những lần quan sát qua các khung hình liền kề, lọc logo và chữ trong cảnh, sửa lỗi nhận diện rồi tạo ra các cue có mốc thời gian. Vùng và khoảng thời gian vẫn là bằng chứng hữu ích để rà soát và làm sạch hình ảnh.

1. Phát hiện các ứng viên văn bản trong những khung hình tiêu biểu.
2. Nhóm các lần quan sát lặp lại thành các cue theo thời gian.
3. Lọc chữ trong cảnh và các kết quả nhận diện nhầm.
4. Sửa câu chữ và so sánh với âm thanh khi cần.
5. Rà soát thời điểm, ngắt câu và tốc độ đọc trước khi xuất.

ASR theo dõi lời nói, không phải hình ảnh

ASR có thể tái dựng lời thoại khi âm thanh đủ rõ, nhưng không biết phần chữ hiển thị nào thuộc về lời thoại. Việc đổi người nói, khoảng dừng, giọng đọc, âm nhạc và lời nói chồng lấn đòi hỏi phải phân đoạn và rà soát.

• Kiểm tra độ rõ của âm thanh và nhiễu nền.
• Đánh dấu những lần đổi người nói và lời nói chồng lấn.
• Kiểm soát độ dài cue, khoảng dừng và tốc độ đọc phụ đề.
• Đối chiếu tên và thuật ngữ với hồ sơ của loạt phim.

Làm rõ hai hướng xử lý

OCR và ASR có thể được đối chiếu hoặc sử dụng cùng nhau, nhưng không nên mô tả phương pháp này là phương án tự động thay thế cho phương pháp kia. Hãy ghi lại bằng chứng nào đã tạo ra từng cue và những gì đã được chỉnh sửa.

Câu hỏi thường gặp

Có phải lúc nào cũng nên kết hợp OCR và ASR không?

Không. Hãy sử dụng hướng xử lý phù hợp với nguồn. Việc kết hợp có thể giúp đối chiếu phụ đề cứng và lời thoại rõ ràng, nhưng cũng tạo thêm một bước đối soát.

Kết quả OCR có sẵn sàng để dịch ngay không?

Thông thường là chưa. Hãy lọc chữ trong cảnh, sửa lỗi nhận diện, xác minh thời điểm và tốc độ đọc, đồng thời chốt phiên bản nguồn trước.

ASR có thể khôi phục phần chữ không xuất hiện trong video không?

Có thể khôi phục lời thoại từ âm thanh đủ rõ, nhưng lời nói ngoài khung hình, lời nói chồng lấn, âm nhạc và phát âm không rõ vẫn cần được rà soát.