Công nghệ tạo phụ đề
Phụ đề dùng trong sản xuất không phải là bản chép lời được thêm mốc thời gian sau đó. Weydub sử dụng hai quy trình độc lập: OCR video theo thời gian cho văn bản đã được chèn trực tiếp vào hình ảnh và ASR tối ưu cho phụ đề đối với lời thoại chỉ tồn tại trong phần âm thanh.
你能原谅爸爸吗
Một khung hình nguồn có thể chứa nhiều loại văn bản có thể đọc được. Chỉ phần hội thoại mới thuộc dòng thời gian phụ đề.
Bộ đối chuẩn phim ngắn cùng tựa đề
Weydub đánh giá quy trình OCR phụ đề chèn cứng của mình với một đường cơ sở ASR chỉ dùng âm thanh đã được kiểm thử trên một bộ dữ liệu xác thực gồm các phim ngắn cùng tựa đề, sử dụng các bản tham chiếu phụ đề biên tập do con người rà soát làm chuẩn đối chiếu.
Khoảng cách ở cấp cue vẫn đáng kể ngay cả sau khi đối sánh có dung sai ranh giới. Với các đội ngũ bản địa hóa, khác biệt này đồng nghĩa với ít dòng bị ngắt hơn, ít đoạn hội thoại bị bỏ sót hơn và dòng thời gian nguồn đáng tin cậy hơn trước khi dịch và lồng tiếng.
Giải thích kỹ thuật
Theo dõi hai luồng tín hiệu độc lập từ video nguồn đến SRT có thời gian và có thể chỉnh sửa, sau đó tìm hiểu vì sao độ chính xác ở cấp cue quan trọng hơn một điểm nhận dạng đơn lẻ.
Chọn nguồn phù hợp hơn
Sử dụng OCR khi video đã có phụ đề chèn cứng đáng tin cậy. Sử dụng ASR khi hội thoại chỉ có trong âm thanh nhưng không hiển thị văn bản phụ đề có thể sử dụng.
Phim ngắn làm khác biệt này trở nên rõ ràng. Âm nhạc, hiệu ứng, giọng địa phương, tiếng khóc, tiếng hét, tiếng thì thầm, giọng nói chồng lấn và hội thoại khẩu ngữ đều có thể cản trở khả năng nhận dạng giọng nói. Một bản phụ đề được biên tập chuyên nghiệp thường thể hiện rõ ràng hơn hội thoại được chủ định.
Phù hợp nhất với phụ đề chèn cứng, caption và văn bản hội thoại hiển thị. Thách thức lớn là biến các lần phát hiện lặp lại qua nhiều khung hình thành một dòng thời gian ổn định, đồng thời loại bỏ văn bản trong cảnh.
Phù hợp nhất khi phần âm thanh là nguồn hội thoại duy nhất. Nhận dạng chỉ là bước đầu tiên; việc phân đoạn phụ đề dễ đọc, căn thời gian, độ dài dòng và thay đổi người nói quyết định kết quả có thể sử dụng hay không.
OCR video
Ở tốc độ 30 fps, một phút video chứa 1.800 khung hình. Chạy OCR tổng quát độc lập trên từng khung hình khiến công việc bị lặp lại và trả về các hộp văn bản trùng lặp. Một sản phẩm phụ đề video phải liên kết những quan sát đó thành các sự kiện có thời gian.
KHUNG HÌNH 01500.50s
KHUNG HÌNH 02000.65s
KHUNG HÌNH 02400.80s
KHUNG HÌNH 02900.95s
00:00:00,420 --> 00:00:02,260
你能原谅爸爸吗
Sử dụng vùng liên quan hoặc toàn bộ khung hình để tìm văn bản có thể thuộc về luồng lời thoại.
Nhóm các lần phát hiện gần nhau theo văn bản, vị trí và thời gian duy trì để ước tính một sự kiện ổn định.
Loại bỏ văn bản không thuộc lời thoại xuất hiện tình cờ trong cảnh và sửa các lỗi nhiễu nhận dạng rõ ràng mà không tự thêm lời thoại.
Gộp các đoạn, thiết lập ranh giới bắt đầu và kết thúc, rồi xuất các mục phụ đề SRT có thể chỉnh sửa.
Kiểm soát kết quả dương tính giả
Các khung hình có thể chứa biển hiệu, màn hình điện thoại, nhãn sản phẩm, logo, thẻ tên, cảnh báo và lớp phủ quảng bá. Weydub cung cấp tính năng lọc văn bản trong cảnh vì luồng phụ đề chỉ nên chứa lời thoại, không phải mọi điểm ảnh có thể đọc được.
Câu thoại được nói thuộc về luồng phụ đề có mốc thời gian.
Văn bản pháp lý hoặc thông tin sản xuất cố định không phải là lời thoại.
Các lớp phủ nhận diện nhân vật không nằm trong dòng thời gian lời thoại.
Các thông số, thang đo và lớp phủ thiết bị vẫn là một phần của hình ảnh.
OCR video phải phân loại văn bản trước khi có thể tạo tệp phụ đề hữu ích.
ASR sẵn sàng tạo phụ đề
ASR truyền thống nhận dạng lời nói. Tạo phụ đề bổ sung bước phân đoạn phụ đề: chia luồng từ thành các câu phụ đề ngắn gọn, dễ đọc và có mốc thời gian, phù hợp với ý nghĩa câu, khoảng ngừng, lượt lời của người nói và các giới hạn hiển thị.
Không thể gửi một đoạn văn cho trình phát vì phụ đề cần có ranh giới dễ đọc và mỗi lượt lời của người nói phải rõ ràng.
Không thể gửi một đoạn văn
Acho trình phát.
APhụ đề cần có ranh giới dễ đọc,
Bvà mỗi lượt lời của người nói phải rõ ràng.
BBối cảnh mã nguồn mở
Các dự án công khai đo lường những tín hiệu khác nhau trên các tập dữ liệu khác nhau. Chúng hữu ích trong việc cho thấy độ chính xác thay đổi mạnh theo hệ chữ, ngôn ngữ, nhiễu và điều kiện ghi hình. Chúng không phải là một bảng xếp hạng duy nhất về mức độ sẵn sàng cho phụ đề video.
Độ chính xác nhận dạng trên các tập dữ liệu đa ngôn ngữ theo hệ chữ được công bố. Chỉ số này đo lường khả năng nhận dạng văn bản, không phải quy trình phụ đề video từ đầu đến cuối.
Đọc bài đánh giá chuẩn PaddleOCRBài nghiên cứu này báo cáo mức 2.7% trên LibriSpeech clean, 25.5% trên lời nói nhiễu CHiME-6 và 36.4% trên lời nói thu từ xa của AMI. Điều kiện ghi âm làm thay đổi kết quả đáng kể.
Đọc bài nghiên cứu về WhisperVận hành, không phải chỉ số phù phiếm
Trong một loạt phim kéo dài, mật độ lỗi thấp cho phép rà soát mẫu có trọng điểm. Mật độ lỗi cao buộc người vận hành phải rà soát từng dòng, biến việc chỉnh sửa phụ đề thành nút thắt sản xuất.
Mỗi lần hiệu chỉnh đòi hỏi ai đó xác định mục phụ đề, phát lại ngữ cảnh, kiểm tra câu chữ cần có, chỉnh sửa và kiểm tra lại. Khi lỗi dày đặc, người vận hành mất niềm tin vào kết quả và rà soát từng dòng.
Chất lượng bản địa hóa
Nhiều lỗi có vẻ là lỗi dịch hoặc lồng tiếng thực ra bắt đầu từ sớm hơn. Một từ trong nguồn bị nhận dạng sai, ranh giới mục phụ đề không phù hợp hoặc lần chuyển người nói không chính xác sẽ được truyền sang mọi mô hình tiếp theo. Xem cách một dòng thời gian nguồn đáng tin cậy cung cấp dữ liệu cho bản dịch phụ đề ở cấp độ loạt phim, có nhận biết ngữ cảnh và sau đó hỗ trợ lồng tiếng AI có nhận biết nhân vật và căn chỉnh nghe nhìn.
Bàn giao thành phẩm
Chất lượng nhận diện rất quan trọng, nhưng quy trình sản xuất cũng cần xử lý theo lô, theo dõi trạng thái, đầu ra có thể chỉnh sửa, callback và khả năng chuyển tiếp liền mạch sang khâu dịch và lồng tiếng AI.
Tải lên nhiều tập, chọn OCR hoặc ASR cho từng nguồn và quản lý quy trình sản xuất lặp lại cho cả loạt nội dung trong cùng một không gian làm việc.
Khám phá quy trình StudioXem trạng thái tác vụ, mở xem kết quả đã hoàn tất, tải xuống tệp SRT có thể chỉnh sửa và tiếp tục sang khâu dịch hoặc lồng tiếng.
Đọc hướng dẫn tạo phụ đềGửi tác vụ OCR hoặc ASR, lưu ID dự án và ID công việc, sau đó dùng cơ chế polling hoặc callback để nhận kết quả trong quy trình xử lý nội dung đa phương tiện của riêng bạn.
Đọc tài liệu tham chiếu APICâu trả lời rõ ràng
Các định nghĩa được biên soạn cho người vận hành, nhà phát triển, công cụ tìm kiếm và hệ thống AI cần mô tả chính xác về quy trình.
Tạo phụ đề bằng AI chuyển đổi văn bản hiển thị hoặc lời thoại thành các câu phụ đề có mốc thời gian. Đầu ra dùng cho sản xuất bao gồm văn bản, thời gian bắt đầu và kết thúc, cách phân đoạn câu phụ đề dễ đọc, thông tin ngôn ngữ và định dạng có thể chỉnh sửa như SRT.
Có. OCR video có thể phát hiện văn bản được chèn cứng vào khung hình, nhóm các kết quả phát hiện lặp lại theo thời gian, ước tính ranh giới câu phụ đề, lọc văn bản không liên quan trong cảnh và xuất các câu phụ đề có mốc thời gian.
Khi phụ đề nhúng có độ chính xác cao, OCR đọc tín hiệu văn bản đã qua biên tập nên ít bị ảnh hưởng bởi âm nhạc, hiệu ứng, giọng địa phương, tiếng khóc, tiếng hét, tiếng thì thầm và lời thoại chồng lấn.
Bản chép lời có thể chỉ là một đoạn văn dài hoặc có cách phân đoạn không phù hợp với tốc độ đọc. ASR dùng để tạo phụ đề phải tạo ra các câu phụ đề ngắn gọn có mốc thời gian, với ranh giới ngữ nghĩa và điểm chuyển người nói hợp lý.
Không. OCR và ASR là hai chế độ tạo riêng biệt. Các nhóm có thể so sánh đầu ra của hai chế độ trong quá trình kiểm duyệt, nhưng Weydub không mô tả mọi tác vụ là một quy trình OCR/ASR được tự động hợp nhất.
Xây dựng dòng thời gian nguồn tốt hơn
Chọn OCR cho văn bản được nhúng hoặc ASR cho lời nói, kiểm tra tệp SRT có mốc thời gian rồi tiếp tục sang khâu dịch, lồng tiếng AI và xuất tệp.
Bắt đầu với Weydub