Jabatan perniagaan menyerahkan katalog produk PDF 50 halaman yang penuh dengan jadual kompleks, imej berserta keterangan teks, dan susun atur yang bercampur aduk. Pendekatan tradisional ialah menjalankan OCR terlebih dahulu untuk mengekstrak teks, kemudian memasukkannya ke dalam perisian terjemahan. Hasilnya, dokumen yang diterima bukan sahaja mempunyai padanan teks-imej yang salah, malah jadual juga rosak susun aturnya, dan akhirnya memerlukan banyak masa untuk semakan manual. Apabila dokumen bukan lagi sekadar teks tulen, sebaliknya pembawa kompleks yang memadukan teks dan imej, aliran kerja tradisional 'kenal pasti dahulu, terjemah kemudian' sudah tidak memadai.
Model Bahasa Besar Multimodal: Evolusi daripada 'Membaca Teks' kepada 'Memahami Imej'
Model terjemahan teks terdahulu hanya boleh memproses teks tulen. Apabila berhadapan dengan dokumen campuran teks dan imej, ia terpaksa bergantung pada teknologi OCR untuk menukar imej kepada teks. Namun, OCR sering kali gagal memahami hubungan logik antara imej dan teks, contohnya tersalah anggap anotasi carta sebagai teks utama, atau tersasar padanan antara nombor dan teks dalam jadual.
Kemunculan Model Bahasa Besar Multimodal (Multimodal LLM) telah mengubah landskap ini. Ia mampu memproses input teks dan imej secara serentak, serta memahami susun atur halaman, makna carta, dan perkaitan antara teks dan imej secara langsung. Semasa menterjemah, model ini bukan sahaja menukar bahasa, malah 'memahami' konteks keseluruhan dokumen.
Ujian Terjemahan Teks dan Imej: Penilaian Tiga Dimensi Teras
Untuk memahami prestasi AI multimodal dalam aplikasi praktikal, kami telah menjalankan penilaian terhadap dokumen campuran teks dan imej yang tipikal seperti manual produk, risalah pemasaran, dan risalah perubatan.
1. Pengecaman Susun Atur dan Padanan Teks-Imej
OCR tradisional sering mengalami kecelaruan urutan pembacaan apabila berhadapan dengan jadual merentasi halaman atau teks yang diselang-seli dengan imej. Model multimodal pula boleh mengenal pasti dengan tepat teks mana yang merupakan anotasi imej dan mana yang teks utama melalui ciri visual, memastikan padanan teks-imej selepas terjemahan adalah tepat sepenuhnya.
2. Pemahaman Konteks dan Ketepatan Terminologi
Maklumat dalam imej sering kali dapat melengkapkan konteks teks. Sebagai contoh, imej komponen mesin boleh membantu model menterjemah terminologi profesional yang berkaitan dengan tepat, bukannya memberikan perkataan umum yang salah. Ini amat penting untuk Terjemahan Dokumen Teknikal: Penyetempatan yang Difahami oleh Jurutera.
3. Keupayaan Pengekalan Susun Atur
Model multimodal dapat mengekalkan maklumat koordinat dan format asal dengan lebih baik semasa output, sekaligus mengurangkan masa kerja penyusunan semula. Untuk mengetahui lebih lanjut tentang cara mengendalikan susun atur yang kompleks, sila rujuk Susah Terjemah Dokumen Imbasan? OCR Digabungkan dengan AI untuk Memulihkan Susun Atur.
Perbandingan antara Penyelesaian Tradisional dan Multimodal
Jadual berikut merumuskan perbezaan antara dua kaedah memproses dokumen campuran teks dan imej:
| Dimensi Penilaian | OCR Tradisional + Terjemahan Teks | Terjemahan Langsung AI Multimodal |
|---|---|---|
| Padanan Teks-Imej | Mudah tersasar, memerlukan pelarasan manual | Mengenal pasti hubungan logik secara automatik, padanan tepat |
| Pemahaman Susun Atur Kompleks | Hanya boleh mengekstrak teks, kehilangan maklumat susun atur | Memahami hubungan ruang antara jadual, carta dan teks |
| Kualiti Terjemahan Terminologi | Kurang konteks visual, mudah salah terjemah | Menggabungkan konteks imej, terminologi profesional lebih tepat |
| Tahap Pengekalan Susun Atur | Memerlukan banyak pemulihan manual | Mengekalkan koordinat dan format asal, mengurangkan masa kerja penyusunan semula dengan ketara |
Bagaimana Perusahaan Melaksanakan Terjemahan Teks-Imej Multimodal?
Walaupun model bahasa besar multimodal menunjukkan prestasi yang cemerlang, dalam amalan perusahaan, isu kestabilan kualiti dan keselamatan data masih perlu diselesaikan. Perusahaan disarankan untuk mengikuti langkah-langkah berikut semasa pelaksanaannya:
- Pilih model multimodal yang sesuai: Untuk jenis dokumen yang berbeza (seperti risalah perubatan berbanding risalah pemasaran), pilih model yang mempunyai keupayaan pengecaman visual paling kuat.
- Integrasikan dengan pangkalan data terminologi perusahaan: Pastikan perbendaharaan kata profesional dalam teks dan imej mematuhi piawaian dalaman, mengelakkan penggunaan perkataan yang tidak tepat oleh model umum.
- Laksanakan mekanisme semakan manual: Untuk dokumen berisiko tinggi, kekalkan proses semakan oleh manusia.
AI multimodal telah menyelesaikan masalah 'memahami' teks dan imej, namun penyampaian terjemahan peringkat perusahaan masih memerlukan gabungan pangkalan data terminologi dan semakan manual untuk memastikan kualiti akhir yang bebas daripada kesilapan.
Di platform DocTransAI, kami menyokong penjadualan terjemahan pelbagai model, membolehkan perusahaan menukar model bahasa besar asas secara fleksibel mengikut jenis dokumen. Pada masa yang sama, sistem akan memuatkan pangkalan data terminologi eksklusif perusahaan secara automatik, bagi memastikan konsistensi terjemahan teks dan imej.
Bagi dokumen teks dan imej yang mengandungi maklumat sulit (seperti lukisan reka bentuk produk yang belum diterbitkan atau laporan kewangan), DocTransAI menyediakan penyelesaian penggunaan secara peribadi, memastikan semua data imej dan teks tidak keluar dari rangkaian tempatan perusahaan. Selain itu, sistem menyokong fungsi pengekalan susun atur, memetakan hasil terjemahan output model multimodal kembali ke koordinat asal dengan tepat, membolehkan pasukan semakan manual membuat pelarasan halus dalam susun atur yang biasa, sekaligus mengurangkan masa kerja penyusunan semula dengan ketara.
Penutup
Kematangan AI multimodal menjadikan terjemahan dokumen campuran teks dan imej bukan lagi satu bencana dari segi susun atur dan konteks. Daripada penukaran teks semata-mata, ia telah berevolusi kepada pemahaman menyeluruh terhadap konteks teks dan imej. Ini bukan sahaja meningkatkan kecekapan terjemahan, malah menjamin penyampaian kandungan profesional yang tepat.