Kapag nagpadala ang departamento ng negosyo ng isang 50-pahinang PDF na katalogo ng produkto na puno ng mga kumplikadong talahanayan, mga larawang may paliwanag, at magkakahalong layout. Ang tradisyonal na paraan ay magpa-OCR muna upang makuha ang teksto, pagkatapos ay ipapasa sa translation software, ngunit ang resulta ay magulo ang pagkakahanay ng teksto at larawan, sira ang pormat ng talahanayan, at kailangan pang maglaan ng maraming oras para sa manual na pagwawasto. Kapag ang dokumento ay hindi na puro teksto kundi isang kumplikadong medium na pinaghalong teksto at larawan, ang tradisyonal na proseso ng "unahin ang pagkilala, pagkatapos ay isalin" ay hindi na sapat.
Multimodal LLM: Ang Ebolusyon mula sa "Pagbasa ng Teksto" tungo sa "Pag-unawa ng Larawan"
Ang mga modelo ng pagsasalin ng teksto noon ay nakakapagproseso lamang ng purong teksto. Kapag nakaharap sa mga dokumentong halo ang teksto at larawan, kailangan nilang umasa sa teknolohiyang OCR upang gawing teksto ang mga larawan. Ngunit madalas na hindi nauunawaan ng OCR ang lohikal na ugnayan ng larawan at teksto, halimbawa, ang pagkakamali sa annotation ng tsart bilang bahagi ng teksto, o ang pagkakasunod-sunod ng mga numero at teksto sa loob ng isang talahanayan.
Ang paglitaw ng Multimodal LLM (Multimodal na Malalaking Modelo ng Wika) ay nagbago sa sitwasyong ito. Kayawa nitong procesuhin nang sabay ang mga input na teksto at larawan, at direktang maintindihan ang layout ng pahina, kahulugan ng mga tsart, at ugnayan sa pagitan ng teksto at larawan. Sa panahon ng pagsasalin, hindi lamang nagpapalit ng wika ang modelo, kundi "iniintindi" nito ang buong konteksto ng dokumento.
Praktikal na Pagsubok sa Pagsasalin ng Teksto at Larawan: Pagsusuri sa Tatlong Pangunahing Dimensyon
Upang maunawaan ang praktikal na pagganap ng multimodal AI, nagsagawa kami ng pagsusuri sa mga tipikal na dokumentong halo ang teksto at larawan tulad ng mga manual ng produkto, marketing DM, at medikal na instruksyon.
1. Pagkilala sa Layout at Pagtutugma ng Teksto at Larawan
Ang tradisyonal na OCR ay madalas na nagkakaroon ng magulong pagkakasunod-sunod ng pagbasa kapag nakaharap sa mga talahanayang tumatawid sa pahina o tekstong nakahalo sa mga larawan. Ang multimodal na modelo naman ay kayang tukuyin nang tumpak, sa pamamagitan ng mga visual na katangian, kung aling teksto ang kabilang sa annotation ng larawan at kung alin ang kabilang sa pangunahing teksto, upang masiguro na perpektong tugma ang teksto at larawan pagkatapos ng pagsasalin.
2. Pag-unawa sa Konteksto at Katumpakan ng Terminolohiya
Ang impormasyon sa mga larawan ay madalas na nagdaragdag sa konteksto ng teksto. Halimbawa, ang isang larawan ng bahagi ng makina ay makakatulong sa modelo na isalin nang tumpak ang kaukulang teknikal na terminolohiya, sa halip na magbigay ng pangkalahatan ngunit maling salita. Ito ay napakahalaga para sa Pagsasalin ng Teknikal na Dokumento: Pagpapaintindi sa mga Inhinyero sa Lokal na Wika.
3. Kakayahan sa Pagpapanatili ng Layout
Kapag nag-o-output, ang multimodal na modelo ay mas nakakapanatili ng orihinal na mga coordinate at impormasyon sa pormat, na binabawasan ang oras na gugugulin sa muling pag-aayos ng layout. Kung nais mong mas malaman kung paano pangasiwaan ang mga kumplikadong layout, maaari mong tingnan ang Mahirap Isalin ang mga Scan? Pinagsama ang OCR at AI upang Ibalik ang Layout.
Paghahambing ng Tradisyonal na Solusyon at Multimodal na Solusyon
Ibinubuod ng talahanayan sa ibaba ang mga pagkakaiba ng dalawang paraan sa pagproseso ng mga dokumentong halo ang teksto at larawan:
| Dimensyon ng Pagsusuri | Tradisyonal na OCR + Pagsasalin ng Teksto | Direktang Pagsasalin ng Multimodal AI |
|---|---|---|
| Pagtutugma ng Teksto at Larawan | Madaling magka-misalign, kailangan ng manual na pag-aayos | Awtomatikong kinikilala ang lohikal na ugnayan, tumpak ang pagtutugma |
| Pag-unawa sa Kumplikadong Layout | Makuha lamang ang teksto, nawawala ang impormasyon sa layout | Nauunawaan ang spatial na ugnayan ng mga talahanayan, tsart, at teksto |
| Kalidad ng Pagsasalin ng Terminolohiya | Kulang sa visual na konteksto, madaling magkamali sa pagsasalin | Pinagsasama ang konteksto ng larawan, mas tumpak ang propesyonal na terminolohiya |
| Pagpapanatili ng Layout | Kailangan ng maraming manual na pagpapanumbalik | Pinapanatili ang orihinal na mga coordinate at pormat, malaki ang pagbawas sa oras ng muling pag-aayos |
Paano Ipinapatupad ng mga Enterprise ang Multimodal na Pagsasalin ng Teksto at Larawan?
Kahit na napakahusay ng pagganap ng multimodal na malalaking modelo, sa praktikal na paggamit ng mga enterprise, kailangan pa ring lutasin ang mga isyu sa katatagan ng kalidad at seguridad ng data. Inirerekomenda sa mga enterprise na sundin ang mga sumusunod na hakbang kapag nag-i-implement:
- Pumili ng angkop na multimodal na modelo: Para sa iba't ibang uri ng dokumento (tulad ng medikal na instruksyon kumpara sa marketing DM), piliin ang modelong may pinakamalakas na kakayahan sa visual recognition.
- Iugnay sa terminolohiya ng enterprise: Tiyakin na ang mga propesyonal na termino sa teksto at larawan ay sumusunod sa mga panloob na pamantayan, upang maiwasan ang hindi angkop na salita mula sa mga pangkalahatang modelo.
- Magpatupad ng mekanismo ng manual na pagwawasto: Para sa mga dokumentong may mataas na panganib, panatilihin ang hakbang ng manual na pag-review.
Nalulutas ng multimodal AI ang isyu sa "pag-unawa" sa teksto at larawan, ngunit para sa enterprise-level na paghahatid ng pagsasalin, kailangan pa ring pagsamahin ang terminolohiya at manual na pag-review upang masiguro ang walang-kamaliang kalidad sa huli.
Sa platform ng DocTransAI, sinusuportahan namin ang pag-dispatch ng pagsasalin gamit ang maraming modelo, kung saan maaaring palitan ng mga enterprise ang mga underlying na malalaking modelo batay sa uri ng dokumento. Bukod dito, awtomatikong naglo-load ang sistema ng eksklusibong terminolohiya ng enterprise, upang masiguro ang pagkakapare-pareho ng pagsasalin ng teksto at larawan.
Para sa mga dokumentong teksto at larawan na naglalaman ng mataas na kumpidensyal na impormasyon (tulad ng hindi pa inilalathala na mga disenyo ng produkto o mga financial report), nagbibigay ang DocTransAI ng solusyon sa pribadong deployment, upang matiyak na ang lahat ng data ng larawan at teksto ay hindi lalabas sa lokal na network ng enterprise. Bukod dito, sinusuportahan ng sistema ang pagpapanatili ng layout, na tumpak na nagmamapa ng mga resulta ng pagsasalin mula sa multimodal na modelo pabalik sa orihinal na mga coordinate, upang ang koponan ng manual na pag-review ay makagawa ng mga pag-aayos sa pamilyar na layout, na malaki ang binabawas sa oras ng muling pag-aayos ng layout.
Konklusyon
Ang pagkahinog ng multimodal AI ay nagpapahiwatig na ang pagsasalin ng mga dokumentong halo ang teksto at larawan ay hindi na isang kalamidad sa layout at konteksto. Mula sa simpleng pagsasalin ng teksto, ito ay umusbong tungo sa komprehensibong pag-unawa sa konteksto ng teksto at larawan. Hindi lamang nito pinapataas ang kahusayan sa pagsasalin, kundi sinisiguro rin nito ang tumpak na paghahatid ng propesyonal na nilalaman.