Ci sono più di 630 milioni di siti su Internet moderno, ma solo il 6% di essi contiene contenuti in lingua russa. La barriera linguistica è il problema principale della diffusione della conoscenza tra gli utenti della rete, e crediamo che debba essere risolto non solo insegnando le lingue straniere, ma anche utilizzando sistemi automatici traduzione automatica nel browser.

Oggi parleremo ai lettori di Habr di due importanti cambiamenti tecnologici nel traduttore Yandex Browser. Innanzitutto, la traduzione di parole e frasi selezionate ora utilizza un modello ibrido e ricordiamo come questo approccio differisca dall'uso di reti puramente neurali. In secondo luogo, le reti neurali del traduttore ora tengono conto della struttura delle pagine web, delle cui caratteristiche parleremo anche sotto il taglio.

Traduttore ibrido di parole e frasi

I primi sistemi di traduzione automatica erano basati su dizionari e regole(in effetti, regolari scritti a mano), che determinava la qualità della traduzione. I linguisti professionisti hanno lavorato per anni per elaborare regole manuali sempre più dettagliate. Il lavoro richiedeva così tanto tempo che si prestava seria attenzione solo alle coppie di lingue più popolari, ma anche al loro interno le macchine non funzionavano bene. La lingua viva è un sistema molto complesso che non segue bene le regole. È ancora più difficile da descrivere con le regole di corrispondenza tra due lingue.

L'unico modo per una macchina di adattarsi costantemente alle mutevoli condizioni è imparare da sola da un gran numero di testi paralleli (identici nel significato, ma scritti in lingue differenti). Questo è l'approccio statistico alla traduzione automatica. Il computer confronta testi paralleli e identifica in modo indipendente i modelli.

Ho traduttore statistico ci sono sia vantaggi che svantaggi. Da un lato, è bravo a memorizzare parole e frasi rare e difficili. Se sono stati incontrati in testi paralleli, il traduttore li ricorderà e continuerà a tradurli correttamente. D'altra parte, il risultato della traduzione è simile a un puzzle completato: il quadro generale sembra essere chiaro, ma se guardi da vicino, puoi vedere che è composto da pezzi separati. Il motivo è che il traduttore rappresenta parole singole sotto forma di identificatori che non riflettono in alcun modo la relazione tra loro. Ciò non è coerente con il modo in cui le persone percepiscono il linguaggio quando le parole sono definite da come vengono utilizzate, da come si relazionano con altre parole e da come differiscono da esse.

Aiuta a risolvere questo problema reti neurali... L'incorporamento di parole, utilizzato nella traduzione automatica neurale, associa tipicamente ogni parola a un vettore di diverse centinaia di numeri. I vettori, contrariamente ai semplici identificatori dell'approccio statistico, si formano durante l'addestramento di una rete neurale e tengono conto delle relazioni tra le parole. Ad esempio, il modello potrebbe riconoscere che poiché "tè" e "caffè" appaiono spesso in contesti simili, entrambe le parole dovrebbero essere possibili nel contesto di una nuova parola "versamento", che, ad esempio, ne ha incontrata solo una nella dati di allenamento.

Tuttavia, il processo di apprendimento delle rappresentazioni vettoriali è chiaramente più impegnativo dal punto di vista statistico rispetto alla memorizzazione meccanica degli esempi. Inoltre, non è chiaro cosa fare con quelle rare parole di input che non vengono spesso incontrate abbastanza da consentire alla rete di costruire una rappresentazione vettoriale accettabile per esse. In questa situazione, è logico combinare entrambi i metodi.

Dall'anno scorso, Yandex.Translate utilizza modello ibrido... Quando il traduttore riceve un testo dall'utente, lo consegna a entrambi i sistemi per la traduzione, sia alla rete neurale che al traduttore statistico. Quindi un algoritmo basato su un metodo di apprendimento valuta quale traduzione è migliore. Quando si segna, vengono presi in considerazione dozzine di fattori: dalla lunghezza della frase (le frasi brevi sono tradotte meglio dal modello statistico) alla sintassi. La migliore traduzione viene mostrata all'utente.

È il modello ibrido che viene ora utilizzato in Yandex Browser, quando l'utente seleziona parole e frasi specifiche sulla pagina per la traduzione.

Questa modalità è particolarmente utile per coloro che parlano generalmente una lingua straniera e desiderano tradurre solo parole sconosciute. Ma se, ad esempio, invece del solito inglese incontri il cinese, allora qui sarà difficile fare a meno di un traduttore di pagine. Sembrerebbe che la differenza sia solo nel volume del testo tradotto, ma non tutto è così semplice.

Traduttore di pagine web neurali

Dal momento dell'esperimento di Georgetown fino quasi ai giorni nostri, tutti i sistemi di traduzione automatica sono stati addestrati a tradurre separatamente ogni frase del testo di partenza. Mentre una pagina web non è solo un insieme di frasi, ma un testo strutturato, che ha elementi fondamentalmente diversi. Diamo un'occhiata agli elementi principali della maggior parte delle pagine.

Intestazione... Di solito testo luminoso e di grandi dimensioni, che vediamo subito entrando nella pagina. Il titolo spesso contiene l'essenza della notizia, quindi è importante tradurlo correttamente. Ma questo è difficile da fare, perché c'è poco testo nell'intestazione e senza capire il contesto, puoi commettere un errore. Nel caso della lingua inglese, è ancora più complicato, perché i titoli in lingua inglese spesso contengono frasi con grammatica non tradizionale, infiniti o addirittura omettono verbi. Per esempio, Annunciato il prequel di Game of Thrones.

Navigazione... Parole e frasi che ci aiutano a navigare nel sito. Per esempio, Casa, Di ritorno e Il mio account difficilmente vale la pena tradurre come "Home", "Indietro" e "Il mio account" se si trovano nel menu del sito e non nel testo della pubblicazione.

Testo principale... Con esso, tutto è più semplice, differisce poco dai normali testi e frasi che possiamo trovare nei libri. Ma anche qui è importante garantire la coerenza delle traduzioni, cioè garantire che gli stessi termini e concetti siano tradotti allo stesso modo all'interno della stessa pagina web.

Per una traduzione di alta qualità di pagine Web, non è sufficiente utilizzare una rete neurale o un modello ibrido, è necessario tenere conto anche della struttura delle pagine. Per fare questo, abbiamo dovuto affrontare molte difficoltà tecnologiche.

Classificazione dei segmenti di testo... Per fare ciò, utilizziamo nuovamente CatBoost e fattori basati sia sul testo stesso che sul markup HTML dei documenti (tag, dimensione del testo, numero di collegamenti per unità di testo, ...). I fattori sono piuttosto eterogenei, quindi è CatBoost (basato sull'aumento del gradiente) che mostra i migliori risultati (l'accuratezza della classificazione è superiore al 95%). Ma la classificazione dei segmenti da sola non basta.

Distorsioni dei dati... Tradizionalmente, gli algoritmi Yandex.Translator vengono addestrati utilizzando testi da Internet. Sembrerebbe che questa sia una soluzione ideale per formare un traduttore di pagine web (in altre parole, la rete impara da testi della stessa natura di quelli su cui la useremo). Ma una volta che abbiamo imparato a separare i diversi segmenti l'uno dall'altro, abbiamo scoperto una caratteristica interessante. In media, sui siti, i contenuti occupano circa l'85% di tutto il testo, mentre i titoli e la navigazione rappresentano solo il 7,5%. Ricorda anche che i titoli e gli elementi di navigazione stessi sono notevolmente diversi nello stile e nella grammatica dal resto del testo. Questi due fattori si combinano per creare un problema di asimmetria dei dati. È più redditizio per una rete neurale ignorare semplicemente le caratteristiche di questi segmenti, che sono rappresentati molto male nel campione di addestramento. Il web sta imparando a tradurre bene solo il corpo del testo, che risente della qualità della traduzione dei titoli e della navigazione. Per neutralizzare questo effetto sgradevole, abbiamo fatto due cose: a ciascuna coppia di frasi parallele abbiamo assegnato uno dei tre tipi di segmenti (contenuto, intestazione o navigazione) come meta-informazione e aumentato artificialmente la concentrazione di questi ultimi due nel corpus di formazione a 33 % a causa del fatto che esempi simili hanno iniziato a essere mostrati più spesso alla rete neurale di apprendimento.

Apprendimento multi-task... Poiché ora sappiamo come dividere il testo sulle pagine Web in tre classi di segmenti, potrebbe sembrare un'idea naturale addestrare tre modelli separati, ognuno dei quali gestirà la traduzione di un diverso tipo di testo: intestazioni, navigazione o contenuto . Funziona davvero bene, ma lo schema funziona ancora meglio in cui addestriamo una rete neurale per tradurre tutti i tipi di testo contemporaneamente. La chiave per capire sta nell'idea di apprendimento multi-task (MTL): se tra più compiti apprendimento automatico c'è una connessione interna, quindi un modello che impara a risolvere questi problemi allo stesso tempo può imparare a risolvere ciascuno dei problemi meglio di un modello specializzato a profilo stretto!

Ritocchi... Avevamo già una traduzione automatica abbastanza buona, quindi non sarebbe saggio addestrare da zero un nuovo traduttore per Yandex Browser. È più logico prendere un sistema di base per tradurre testi ordinari e riqualificarlo per lavorare con le pagine web. Nel contesto delle reti neurali, questo è spesso chiamato messa a punto. Ma se affronti questo problema a testa alta, ad es. basta inizializzare i pesi della rete neurale con i valori del modello finito e iniziare ad apprendere su nuovi dati, poi si può affrontare l'effetto di uno spostamento di dominio: man mano che si apprende, la qualità della traduzione delle pagine web (in-domain ) aumenterà, ma la qualità della traduzione dei testi ordinari (fuori dominio) diminuirà. Per eliminare questa spiacevole caratteristica, durante l'allenamento aggiuntivo, imponiamo un'ulteriore restrizione alla rete neurale, vietandole di modificare troppo i pesi rispetto allo stato iniziale.

Matematicamente, questo si esprime aggiungendo un termine alla funzione di perdita, che è la KL-divergenza tra le distribuzioni di probabilità della parola successiva prodotta dalle reti originali e riaddestrate. Come puoi vedere nell'illustrazione, questo porta al fatto che l'aumento della qualità della traduzione delle pagine web non porta più al degrado della traduzione del testo normale.

Frasi di frequenza di lucidatura dalla navigazione... Nel processo di lavoro su un nuovo traduttore, abbiamo raccolto statistiche sui testi di vari segmenti di pagine web e abbiamo visto qualcosa di interessante. I testi che riguardano gli elementi di navigazione sono abbastanza standardizzati, quindi spesso rappresentano le stesse frasi modello. Questo è così effetto potente che più della metà di tutte le frasi di navigazione trovate su Internet sono solo 2mila di quelle più frequenti.

Noi, ovviamente, ne abbiamo approfittato e abbiamo dato diverse migliaia delle frasi più frequenti e le loro traduzioni ai nostri traduttori per la verifica per essere assolutamente sicuri della loro qualità.

Allineamenti esterni. C'era un altro requisito importante per il traduttore di pagine Web nel browser: non doveva distorcere il markup. Quando i tag HTML si trovano al di fuori delle frasi o sui loro confini, non sorge alcun problema. Ma se all'interno della frase c'è, per esempio, Due sottolineato parole, quindi in traduzione vogliamo vedere “due evidenziato le parole". Quelli. a seguito del trasferimento, devono essere soddisfatte due condizioni:

1. Il frammento sottolineato nella traduzione deve corrispondere esattamente al frammento sottolineato nel testo di partenza.
2. La coerenza della traduzione ai confini della sezione sottolineata non dovrebbe essere violata.

Per garantire questo comportamento, prima traduciamo il testo come di consueto, quindi utilizziamo modelli statistici di allineamento delle parole per determinare le corrispondenze tra frammenti del testo originale e tradotto. Questo aiuta a capire cosa esattamente deve essere enfatizzato (corsivo, disponi come collegamento ipertestuale, ...).

Osservatore di intersezioni... I potenti modelli di traduzione della rete neurale che abbiamo addestrato richiedono molte più risorse di elaborazione sui nostri server (sia CPU che GPU) rispetto ai modelli statistici delle generazioni precedenti. Allo stesso tempo, gli utenti non leggono sempre le pagine fino alla fine, quindi l'invio di tutto il testo delle pagine Web al cloud sembra inutile. Per risparmiare risorse del server e traffico utente, abbiamo insegnato a Translator a usare

La traduzione automatica con le reti neurali ha fatto molta strada dal primo ricerca scientifica su questo argomento fino al momento in cui Google ha annunciato la traduzione completa del servizio Google Translate in deep learning.

Come saprai, il traduttore neurale si basa sul meccanismo delle Reti Neurali Ricorrenti Bidirezionali, costruito su calcoli matriciali, che permette di costruire modelli probabilistici significativamente più complessi rispetto ai traduttori automatici statistici. Tuttavia, si è sempre creduto che la traduzione neurale, come la traduzione statistica, richieda un corpus parallelo di testi in due lingue per l'apprendimento. Una rete neurale viene addestrata su questi corpus, prendendo come riferimento una traduzione umana.

Come si è scoperto ora, le reti neurali sono in grado di padroneggiare una nuova lingua per la traduzione, anche senza un corpus di testi parallelo! Il sito di prestampa arXiv.org ha pubblicato due lavori su questo argomento contemporaneamente.

“Immagina di dare a qualcuno molti libri cinesi e molti libri arabi – nessuno di loro è uguale – e quella persona sta imparando a tradurre dal cinese all'arabo. Sembra impossibile, vero? Ma abbiamo dimostrato che un computer può farlo ", afferma Mikel Artetxe, informatico presso l'Università dei Paesi Baschi a San Sebastian, in Spagna.

La maggior parte delle reti neurali per la traduzione automatica sono addestrate "con un insegnante", nel cui ruolo agisce un corpus parallelo di testi, tradotti da una persona. Nel processo di addestramento, in parole povere, la rete neurale fa un'ipotesi, verifica rispetto allo standard e imposta le impostazioni necessarie ai suoi sistemi, quindi apprende ulteriormente. Il problema è che per alcune lingue nel mondo non c'è un largo numero testi paralleli, quindi non sono disponibili per le tradizionali reti neurali di traduzione automatica.

Google Neural Machine Translation (GNMT) "linguaggio universale". L'illustrazione a sinistra mostra i gruppi di significati di ogni parola in diversi colori, in basso a destra - i significati della parola ottenuti per essa da diverse lingue umane: inglese, coreano e giapponese.

Dopo aver compilato un gigantesco "atlante" per ogni lingua, il sistema cerca di sovrapporre uno di questi atlanti a un altro - ed ecco qui, hai una specie di corpora di testo parallelo pronto!

È possibile confrontare gli schemi delle due architetture di apprendimento non supervisionate proposte.

L'architettura del sistema proposto. Per ogni frase in lingua L1, il sistema impara ad alternare due passaggi: 1) soppressione del rumore(denoising), che ottimizza la probabilità di codificare una versione rumorosa di una frase con un comune codificatore e la sua ricostruzione da parte del decodificatore L1; 2) traduzione inversa(back-translation), quando una frase viene tradotta in modalità output (cioè codificata da un codificatore comune e decodificata da un decodificatore L2), e quindi la probabilità di codificare quella frase tradotta con un codificatore comune e recuperare la frase originale da un codificatore L1 il decodificatore è ottimizzato. Illustrazione: Mikela Artetkse et al.

Architettura proposta e obiettivi di apprendimento del sistema (dal secondo documento di ricerca). L'architettura è un modello di traduzione frase per frase in cui sia il codificatore che il decodificatore operano in due lingue, a seconda dell'identificatore della lingua di input che scambia le tabelle di ricerca. Sopra (codifica automatica): il modello è addestrato per eseguire la riduzione del rumore in ciascun dominio. Bottom (translation): come prima, in più codifichiamo da un'altra lingua, utilizzando come input la traduzione prodotta dal modello nell'iterazione precedente (rettangolo blu). Le ellissi verdi indicano i termini della funzione di perdita. Illustrazione: Guillaume Lampla et al.

Entrambi lavoro scientifico utilizzare una tecnica notevolmente simile con piccole differenze. Ma in entrambi i casi la traduzione si realizza attraverso un qualche "linguaggio" intermedio o, per meglio dire, una dimensione o spazio intermedio. Finora, le reti neurali senza un insegnante mostrano una qualità di traduzione non molto alta, ma gli autori dicono che è facile migliorarla se si usa un piccolo aiuto da un insegnante, proprio ora, per motivi di purezza dell'esperimento , non l'hanno fatto.

Lavori presentati alla International Conference on Learning Representations 2018. Nessuno degli articoli è stato ancora pubblicato sulla stampa scientifica.

I siti web indicizzati dai motori di ricerca hanno più di mezzo miliardo di copie e il numero totale di pagine web è decine di migliaia di volte di più. I contenuti in lingua russa occupano il 6% dell'intera Internet.

Come tradurre il testo richiesto in modo rapido e in modo tale da preservare il significato inteso dell'autore. I vecchi metodi dei moduli di traduzione di contenuti statistici funzionano in modo molto dubbio. è impossibile determinare con precisione la declinazione di parole, tempo e altro. La natura delle parole e le connessioni tra di esse è complessa, il che a volte rende il risultato molto innaturale.

Ora Yandex utilizza la traduzione automatica automatica, che migliorerà la qualità del testo finale. Puoi scaricare l'ultima versione ufficiale del browser con la nuova traduzione integrata.

Traduzione ibrida di frasi e parole

Il browser Yandex è l'unico in grado di tradurre la pagina nel suo insieme, nonché parole e frasi singolarmente. La funzione sarà molto utile per quegli utenti che sono più o meno fluenti in una lingua straniera, ma a volte incontrano difficoltà di traduzione.

La rete neurale integrata nel motore di traduzione delle parole non sempre ha affrontato i compiti. parole rare erano estremamente difficili da incorporare nel testo e renderlo leggibile. Ora un metodo ibrido è stato integrato nell'applicazione utilizzando vecchie tecnologie e nuove.

Il meccanismo è il seguente: il programma prende le frasi o le parole selezionate, quindi le fornisce a entrambi i moduli della rete neurale e al traduttore statistico e l'algoritmo integrato determina quale risultato è migliore e quindi lo dà all'utente.

Traduttore di rete neurale

I contenuti stranieri sono progettati in un modo molto specifico:

• le prime lettere delle parole nei titoli sono scritte in maiuscolo;
• le frasi sono costruite con una grammatica semplificata, alcune parole sono omesse.

I menu di navigazione sui siti vengono analizzati tenendo conto della loro posizione, ad esempio la parola Indietro, traduci correttamente indietro (torna indietro) e non indietro.

Per tenere conto di tutte le funzionalità sopra menzionate, gli sviluppatori hanno inoltre addestrato una rete neurale, che utilizza già una vasta gamma di dati di testo. Ora la qualità della traduzione è influenzata dalla posizione del contenuto e dal suo design.

Risultati della traduzione applicata

La qualità della traduzione può essere misurata dall'algoritmo BLEU *, che confronta la traduzione automatica e la traduzione di un professionista. Scala di qualità da 0 a 100%.

Migliore è la traduzione neurale, maggiore è la percentuale. Secondo questo algoritmo, il browser Yandex traduce 1,7 volte meglio.

o La quantità diventa qualità?

Un articolo basato sul discorso alla conferenza RIF + KIB 2017.

Traduzione automatica neurale: perché proprio ora?

Si parla da tempo di reti neurali e sembrerebbe che uno dei compiti classici dell'intelligenza artificiale - la traduzione automatica - chieda di essere risolto proprio sulla base di questa tecnologia.

Tuttavia, ecco le dinamiche di popolarità nella ricerca di query sulle reti neurali in generale e sulla traduzione automatica neurale in particolare:

Si vede chiaramente che fino a poco tempo fa non c'era nulla sulla traduzione automatica neurale sui radar - e alla fine del 2016, diverse aziende, tra cui Google, Microsoft e SYSTRAN, hanno dimostrato le loro nuove tecnologie e sistemi di traduzione automatica basati su reti neurali. Sono apparsi quasi contemporaneamente, con una differenza di diverse settimane o addirittura giorni. Perché?

Per rispondere a questa domanda, è necessario capire cos'è la traduzione automatica basata su reti neurali e qual è la sua principale differenza rispetto ai sistemi statistici classici o ai sistemi analitici che vengono utilizzati oggi per la traduzione automatica.

Al centro del traduttore neurale c'è il meccanismo delle reti neurali ricorrenti bidirezionali (Bidirectional Recurrent Neural Networks), costruito su calcoli matriciali, che consente di costruire modelli probabilistici significativamente più complessi rispetto ai traduttori automatici statistici.

Come la traduzione statistica, la traduzione neurale richiede corpus paralleli per la formazione, che consentono di confrontare la traduzione automatica con la traduzione "umana" di riferimento, solo nel processo di apprendimento opera non con singole frasi e frasi, ma con intere frasi. Il problema principale è che è necessaria molta più potenza di calcolo per addestrare un tale sistema.

Per accelerare il processo, gli sviluppatori utilizzano le GPU di NVIDIA e la Tensor Processing Unit (TPU) di Google, chip proprietari adattati specificamente per le tecnologie di apprendimento automatico. I chip grafici sono inizialmente ottimizzati per algoritmi di calcolo a matrice e quindi il guadagno di prestazioni è 7-15 volte rispetto alla CPU.

Anche così, l'addestramento di un modello neurale richiede da 1 a 3 settimane, mentre un modello statistico di circa la stessa dimensione viene sintonizzato in 1-3 giorni e questa differenza aumenta con le dimensioni.

Tuttavia, non solo i problemi tecnologici hanno frenato lo sviluppo delle reti neurali nell'ambito del compito della traduzione automatica. Alla fine, è stato possibile addestrare i modelli linguistici prima, anche se più lentamente, ma non ci sono stati ostacoli fondamentali.

Anche la moda per le reti neurali ha avuto un ruolo. Molti si sono sviluppati dentro di sé, ma non hanno avuto fretta di dichiararlo, temendo di non ottenere il guadagno di qualità che la società si aspetta dall'espressione Reti Neurali. Questo può spiegare il fatto che diversi traduttori neurali sono stati annunciati uno dopo l'altro.

Qualità della traduzione: di chi è il punteggio BLEU più spesso?

Proviamo a capire se l'aumento della qualità della traduzione corrisponde alle aspettative accumulate e all'aumento dei costi che accompagnano lo sviluppo e il supporto delle reti neurali per la traduzione.
La ricerca di Google dimostra che la traduzione automatica neurale fornisce un miglioramento relativo dal 58% all'87%, a seconda della coppia linguistica, rispetto all'approccio statistico classico (o Phrase Based Machine Translation, PBMT, come viene anche chiamato).

SYSTRAN conduce ricerche in cui la qualità della traduzione viene valutata scegliendo tra diverse opzioni presentate, realizzate da diversi sistemi, nonché la traduzione "umana". E sostiene che la sua traduzione neurale è preferita il 46% delle volte alla traduzione umana.

Qualità della traduzione: c'è una svolta?

Anche se Google afferma un miglioramento del 60% o più, c'è un piccolo problema in questa metrica. I rappresentanti dell'azienda parlano di "Relative Improvement", ovvero di quanto sono riusciti con un approccio neurale ad avvicinarsi alla qualità della Traduzione Umana rispetto a quanto era nel classico traduttore statistico.

Gli esperti del settore che analizzano i risultati presentati da Google nell'articolo Neural Machine Translation System di "Google: Bridging the Gap between Human and Machine Translation" sono piuttosto scettici sui risultati presentati e affermano che in effetti il ​​punteggio BLEU è stato migliorato di soli 10 %, e si notano progressi significativi proprio su test abbastanza semplici da Wikipedia, che, molto probabilmente, sono stati utilizzati nel processo di formazione della rete.

All'interno di PROMT, confrontiamo regolarmente la traduzione su vari testi dei nostri sistemi con i concorrenti, e quindi ci sono sempre esempi a portata di mano su cui possiamo verificare se la traduzione neurale è davvero così superiore alla generazione precedente come sostengono i produttori.

Testo originale (EN): Preoccuparsi non è mai servito a nessuno.
Traduzione di Google PBMT: Preoccuparsi non ha fatto nulla di buono a nessuno.
Google Translate NMT: preoccuparsi non ha mai aiutato nessuno.

A proposito, la traduzione della stessa frase in Translate.Ru: "L'eccitazione non ha mai giovato a nessuno", puoi vedere che era e rimane la stessa anche senza l'uso di reti neurali.

Anche Microsoft Translator non è molto indietro in questa materia. A differenza dei colleghi di Google, hanno persino realizzato un sito web in cui è possibile effettuare una traduzione e confrontare due risultati: neurale e pre-neurale, per assicurarsi che le affermazioni sulla crescita della qualità non siano infondate.

In questo esempio, vediamo che ci sono progressi, ed è davvero evidente. A prima vista, sembra che l'affermazione degli sviluppatori secondo cui la traduzione automatica ha quasi raggiunto la traduzione "umana" sia vera. Ma è davvero così, e cosa significa in termini di applicazione pratica della tecnologia per il business?

In generale, la traduzione che utilizza le reti neurali è superiore alla traduzione statistica e questa tecnologia ha un enorme potenziale di sviluppo. Ma se affrontiamo il problema con attenzione, saremo in grado di assicurarci che il progresso non sia in tutto, e non per tutti i compiti è possibile utilizzare le reti neurali senza guardare al compito stesso.

Traduzione automatica: qual è la sfida

Da un traduttore automatico, l'intera storia della sua esistenza - e questo è già più di 60 anni! - ha aspettato un po' di magia, presentandola come una macchina da scrivere da film di fantascienza, che traduce istantaneamente qualsiasi discorso in un fischio alieno e ritorno.

In effetti, i compiti sono diversi livelli, uno dei quali implica una traduzione “universale” o, se così si può dire, “quotidiana” per le attività quotidiane e per facilitare la comprensione. I servizi di traduzione online e molti prodotti mobili sono perfetti per questo livello.

Questi compiti includono:

Traduzione veloce di parole e testi brevi per vari scopi;
traduzione automatica nel processo di comunicazione sui forum, in social networks, messaggeri;
traduzione automatica durante la lettura di notizie, articoli di Wikipedia;
traduttore di viaggio (cellulare).

Tutti quegli esempi di crescita della qualità della traduzione tramite reti neurali, che abbiamo considerato sopra, riguardano proprio questi problemi.

Tuttavia, con gli obiettivi e gli obiettivi dell'azienda in relazione alla traduzione automatica, le cose sono leggermente diverse. Ad esempio, ecco alcuni dei requisiti per i sistemi di traduzione automatica aziendali:

Traduzione di corrispondenza commerciale con clienti, partner, investitori, dipendenti stranieri;
localizzazione di siti, negozi online, descrizioni di prodotti, istruzioni;
traduzione di contenuti generati dagli utenti (recensioni, forum, blog);
la capacità di integrare la traduzione nei processi aziendali e nei prodotti e servizi software;
accuratezza della traduzione rispetto alla terminologia, alla riservatezza e alla sicurezza.

Proviamo a capire con esempi se qualsiasi attività di traduzione può essere risolta utilizzando le reti neurali e come esattamente.

Caso: Amadeus

Amadeus è uno dei più grandi sistemi globali di distribuzione di biglietti aerei al mondo. Ad esso sono collegate da un lato i vettori aerei, dall'altro le agenzie, che devono ricevere tutte le informazioni sui cambiamenti in tempo reale e trasmetterle ai propri clienti.

Il compito è localizzare le condizioni per l'applicazione delle tariffe (Fare Rules), che vengono generate automaticamente nel sistema di prenotazione da diverse fonti. Queste regole sono sempre formate in inglese. La traduzione manuale è quasi impossibile qui, a causa del fatto che ci sono molte informazioni e cambiano frequentemente. Un agente di biglietti aerei vorrebbe leggere le Regole tariffarie in russo per consigliare prontamente ed efficacemente i suoi clienti.

È necessaria una traduzione comprensibile che trasmetta il significato delle regole tariffarie, tenendo conto di termini e abbreviazioni tipici. E la traduzione automatica deve essere integrata direttamente nel sistema di prenotazione Amadeus.

→ Il compito e l'attuazione del progetto sono dettagliati nel documento.

Proviamo a confrontare la traduzione effettuata tramite la PROMT Cloud API, integrata in Amadeus Fare Rules Translator, e la traduzione "neurale" di Google.

Originale: TARIFFE DI ACQUISTO IMMEDIATO ANDATA E RITORNO

PROMT (Approccio Analitico): TARIFFE PER L'ACQUISTO DI VOLI IMMEDIATI ANDATA E RITORNO

GNMT: SHOPPING TONDO

Ovviamente, il traduttore neurale non può farcela qui, e un po' più avanti sarà chiaro il perché.

Caso: TripAdvisor

TripAdvisor è uno dei servizi di viaggio più grandi al mondo e non ha bisogno di presentazioni. Secondo un articolo pubblicato da The Telegraph, ogni giorno sul sito compaiono 165.600 nuove recensioni di vari siti turistici in diverse lingue.

Il compito è tradurre le recensioni turistiche dall'inglese al russo con una qualità di traduzione sufficiente a comprendere il significato di questa recensione. Difficoltà principale: caratteristiche tipiche dei contenuti generati dagli utenti (testi con errori, errori di battitura, parole mancanti).

Anche parte del compito era valutare automaticamente la qualità della traduzione prima di pubblicarla su TripAdvisor. Poiché non è possibile assegnare un punteggio manuale a tutti i contenuti tradotti, una soluzione di traduzione automatica deve fornire un meccanismo automatico per valutare la qualità dei testi tradotti: un punteggio di affidabilità per consentire a TripAdvisor di pubblicare solo recensioni tradotte di alta qualità.

Per la soluzione è stata utilizzata la tecnologia PROMT DeepHybrid, che consente di ottenere una traduzione di qualità superiore e comprensibile al lettore finale, anche attraverso il post-editing statistico dei risultati della traduzione.

Diamo un'occhiata agli esempi:

Originale: abbiamo mangiato lì la scorsa notte per un capriccio ed è stato un pasto delizioso. Il servizio era attento senza essere eccessivo.

PROMT (traduzione ibrida): abbiamo mangiato lì la scorsa notte per caso ed era cibo delizioso. Il personale era attento ma non invadente.

GNMT: Abbiamo mangiato lì la scorsa notte per un capriccio ed era cibo delizioso. Il servizio era attento senza avere più cuscinetti.

Tutto qui non è così deprimente in termini di qualità come nell'esempio precedente. In generale, in termini di parametri, questo compito può essere potenzialmente risolto utilizzando reti neurali e ciò può migliorare ulteriormente la qualità della traduzione.

Sfide dell'utilizzo di NMT per le aziende

Come accennato in precedenza, un traduttore "universale" non sempre fornisce una qualità accettabile e non può supportare una terminologia specifica. Per integrarsi nei tuoi processi e applicare reti neurali per la traduzione, devi soddisfare i requisiti di base:

La presenza di volumi sufficienti di testi paralleli per poter addestrare una rete neurale. Spesso, il cliente ne ha semplicemente pochi, o addirittura i testi su questo argomento non esistono in natura. Possono essere classificati o in uno stato non molto adatto per l'elaborazione automatica.

Per creare un modello, è necessario un database che contenga almeno 100 milioni di token (token) e per ottenere una traduzione di qualità più o meno accettabile - 500 milioni di token. Non tutte le aziende hanno un tale volume di materiali.

La presenza di un meccanismo o algoritmi per la valutazione automatica della qualità del risultato.

Potenza di calcolo sufficiente.
Un traduttore neurale "universale" spesso non è della giusta qualità ed è necessaria una "piccola nuvola" per implementare una rete neurale privata in grado di fornire qualità e velocità di lavoro accettabili.

Non è chiaro cosa fare con la privacy.
Non tutti i clienti sono pronti a fornire i propri contenuti per il trasferimento al cloud per motivi di sicurezza e NMT è prima di tutto una storia cloud.

conclusioni

In generale, la traduzione automatica neurale produce un risultato di qualità superiore rispetto a un approccio "puramente" statistico;
Traduzione automatica attraverso una rete neurale - più adatta per risolvere il problema della "traduzione universale";
Nessuno degli approcci MT è di per sé uno strumento universale ideale per risolvere qualsiasi compito di traduzione;
Per risolvere i problemi di traduzione negli affari, solo soluzioni specializzate possono garantire la conformità a tutti i requisiti.

Arriviamo a una decisione assolutamente ovvia e logica che per le tue attività di traduzione è necessario utilizzare il traduttore più adatto a questo. Non importa se c'è o meno una rete neurale all'interno. Comprendere il compito stesso è più importante.

Tag: Aggiungi tag

Questa nota è un grande commento alle notizie su Google Translate che ha collegato il russo alla traduzione di deep learning. A prima vista, tutto suona e sembra molto bello. Tuttavia, spiegherò perché non dovresti affrettarti a trarre conclusioni su "i traduttori non sono più necessari".

Il trucco è che oggi la tecnologia può sostituire... ma non può sostituire nessuno.
Un traduttore non è qualcuno che conosce una lingua straniera, così come un fotografo non è qualcuno che ha comprato una grande reflex nera. Questa è una condizione necessaria, ma tutt'altro che sufficiente.

Un traduttore è colui che conosce perfettamente la propria lingua, capisce bene quella di qualcun altro e sa trasmettere con precisione le sfumature del significato.

Tutte e tre le condizioni sono importanti.

Finora non vediamo nemmeno la prima parte (in termini di "conosce la propria lingua"). Bene, almeno per il russo, finora tutto è molto, molto brutto. Questo è davvero qualcosa, ma la disposizione delle virgole è perfettamente algoritmica (Word se ne è occupata nel 1994, concedendo in licenza l'algoritmo dalla gente del posto), e per la rete neurale del corpus di testo delle Nazioni Unite esistente, è appena sopra il tetto.

Per chi non lo sapesse, tutti i documenti ufficiali delle Nazioni Unite sono emessi nelle cinque lingue dei membri permanenti del Consiglio di sicurezza, incluso il russo, e questo è il più grande database di traduzioni di altissima qualità degli stessi testi per queste cinque lingue . A differenza delle traduzioni di opere letterarie, dove "il traduttore Ostap può essere trasportato", la base delle Nazioni Unite si distingue per la trasmissione più accurata delle più sottili sfumature di significato e l'osservanza ideale delle norme letterarie.

Questo fatto, oltre alla sua assoluta libertà, lo rende un insieme di testi (corpus) ideale per la formazione di traduttori artificiali, sebbene copra solo un sottoinsieme di lingue puramente burocratico-ufficiale.

Torniamo ai nostri traduttori di ariete. Per la legge di Pareto, l'80% dei traduttori professionisti sono cattivi. Si tratta di persone che hanno completato corsi di lingua straniera, o, nella migliore delle ipotesi, di qualche istituto pedagogico regionale laureato in “insegnante di lingua straniera scuola primaria per le aree rurali”. E non hanno altre conoscenze. Altrimenti, non sarebbero seduti in uno dei lavori meno pagati.

Sai come fanno i soldi? No, non sulle traduzioni. Di norma, chi ordina queste traduzioni comprende il testo in lingua straniera meglio di un traduttore.

Si siedono sui requisiti della legge e/o delle consuetudini locali.

Bene, dovremmo avere le istruzioni per il prodotto in russo. Pertanto, l'importatore trova una persona che conosce un po' la lingua "importata" e traduce questa istruzione. Questa persona non conosce il prodotto, non ha alcuna conoscenza in questo settore, aveva "tre con meno" in russo, ma - traduce. Tutti conoscono il risultato.

È ancora peggio se traduce "in senso contrario", cioè in una lingua straniera (ciao al cinese). Quindi il suo lavoro molto probabilmente cade nei "bannismi" di Exler o nella loro controparte locale.

O ecco un caso peggiore. Quando si contatta lo stato. le autorità con documenti stranieri devono presentare una traduzione di questi documenti. Inoltre, la traduzione non dovrebbe provenire dallo zio Vasya, ma da un ufficio legalmente rispettato, con sigilli "umidi", ecc. Bene, dimmi, quanto è difficile "tradurre" una patente di guida o c'è un certificato di nascita? Tutti i campi sono standardizzati e numerati. Il "traduttore" ha bisogno, nel peggiore dei casi, di traslitterare semplicemente i nomi propri da un alfabeto all'altro. Ma no, "zio Vasya" sta riposando e, il più delle volte, grazie nemmeno alla legge, ma semplicemente alle istruzioni interne dei funzionari locali.

Si prega di notare che l'80% degli uffici di traduzione vive con i notai. Indovina tre volte perché?

In che modo l'emergere di una buona traduzione automatica influenzerà questi traduttori? Non c'è modo. Beh, questo è c'è la speranza che la qualità delle loro traduzioni migliori ancora in alcuni aspetti minori, dove c'è qualcosa da tradurre. Bene, questo è tutto. L'orario di lavoro qui non diminuirà in modo significativo, perché anche ora la maggior parte delle volte copiano il testo da una colonna all'altra. "Questo formaggio contiene tante proteine, tanti carboidrati..." Forme nazionali in paesi diversi diversi, quindi non saranno meno lavoro. Soprattutto se non ti sforzi.

Conclusione intermedia: per l'80% più basso non cambierà nulla. Guadagnano già non perché sono traduttori, ma perché sono burocrati al livello più basso.

Ora diamo un'occhiata alla parte opposta dello spettro, beh, lascia che sia il 3% superiore.

L'1% più responsabile, anche se non il più tecnicamente difficile: l'interpretazione simultanea molto importante negoziati. Di solito tra grandi società, ma al limite - nelle Nazioni Unite o in cima simili. Un errore di un traduttore quando non trasmette nemmeno il significato - le emozioni, può portare, nel peggiore dei casi, a una guerra atomica. Allo stesso tempo, come capisci, il colore emotivo di frasi anche letteralmente coincidenti in diverse lingue può essere molto diverso. Quelli. il traduttore deve avere una perfetta conoscenza di entrambi i contesti culturali della propria lingua di lavoro. Esempi banali sono le parole "negro" e "disabile". Sono quasi neutri in russo e vivacemente colorati emotivamente, fino all'oscenità, in inglese moderno.

Tali traduttori non devono aver paura dell'IA: nessuno affiderà mai tale responsabilità a una macchina.

Il successivo 1% sono traduttori letterari. Bene, per esempio, ho un intero scaffale dedicato alle edizioni originali in lingua inglese accuratamente raccolte di Conan Doyle, Lewis Carroll, Hugh Laurie - nell'originale, senza adattamenti e le nostre ristampe locali. Leggere questi libri è fantastico per lo sviluppo vocabolario, sai, beh, oltre a un enorme piacere estetico. Come traduttore certificato, posso raccontare molto vicino al testo qualsiasi frase di questi libri. Ma accettare la traduzione? Sfortunatamente no.

Non balbetto nemmeno sulle traduzioni di poesie.

Infine, l'1% tecnicamente più difficile (per una rete neurale - generalmente impossibile) è la traduzione scientifica e tecnica. Di solito, se una squadra in qualche paese ha preso l'iniziativa nel proprio campo, nomina le proprie scoperte e invenzioni nella propria lingua. Può succedere che in un altro paese un'altra squadra abbia inventato/scoperto indipendentemente la stessa cosa. È così che sono apparse, ad esempio, le leggi di Boyle-Marriott, Mendeleev-Poisson e le controversie sul tema di Popov / Marconi, fratelli Mozhaisky / Wright / Santos-Dumont.

Ma se la squadra straniera "galoppava completamente" in avanti, gli scienziati "recuperando" hanno due opzioni in senso linguistico: rintracciare o tradurre.

Certo, è più facile calcolare i nomi delle nuove tecnologie. Ecco come apparivano in russo algebra, medicinale e un computer, in francese - bistro, datcha e Vodka; in inglese - sputnik, tokamak e perestrojka.

Ma a volte si traducono. La voce delle scienze umane nella mia testa si precipita selvaggiamente dal termine tachsota per denotare l'argomento della trasformata di Fourier dalla trasformata di Fourier, come traduzione per querquenza... A parte gli scherzi, in Google non esistono termini del genere, ma ho un libro di testo sull'elaborazione del segnale digitale su supporto cartaceo approvato e consacrato dal Ministero della Difesa che contiene questi termini.

E sì, l'analisi tachsota è l'unico (a me noto) modo per distinguere voce maschile dalla femmina. Opzioni?

A cosa sto arrivando: queste persone non hanno nulla da temere, perché loro stessi formano la lingua, introducono nuove parole e termini in essa. Le reti neurali imparano semplicemente dalle loro soluzioni. Beh, senza dimenticare il fatto che questi scienziati e ingegneri non guadagnano con le traduzioni.

E infine, la "classe media", brava traduttori professionisti ma non al top. Da un lato, sono ancora protetti dalla burocrazia: traducono, ad esempio, istruzioni, ma non più in integratori alimentari omeopatici, ma, diciamo, in normali medicine o macchine lì. D'altra parte, si tratta già di lavoratori moderni con un'elevata automazione del lavoro. Il loro lavoro inizia già adesso con la compilazione di un "dizionario" di termini in modo che la traduzione sia uniforme, e poi, appunto, consiste nell'editare il testo in un software specializzato come trados. Le reti neurali ridurranno il numero di modifiche necessarie e aumenteranno la produttività del lavoro, ma sostanzialmente non cambieranno nulla.

In totale, le voci sulla morte imminente della professione di traduttore ordinario sono leggermente esagerate. A tutti i livelli, il lavoro accelererà un po' e la concorrenza aumenterà un po', ma - niente di straordinario.

Ma chi lo prenderà - sono i traduttori-giornalisti. Anche 10 anni fa, potevano tranquillamente fare riferimento a un articolo in lingua inglese da cui non capivano nulla e scrivere sciocchezze complete. Oggi ci stanno anche provando, ma i lettori che conoscono l'inglese li hanno immersi più e più volte in ... beh, hai reso l'idea.

In generale, il loro tempo è passato. Con un versatile traduttore automatico di medio livello, anche se un po' goffo, "giornalisti" come