Morfologia e árvores de dependência

O método analyzeSyntax retorna detalhes sobre a estrutura linguística do texto fornecido. Para cada token no texto, a API Natural Language fornece informações sobre a estrutura interna (morfologia) e o papel na frase (sintaxe).

Morfologia é o estudo da estrutura interna das palavras. Ela tem como foco o modo como os elementos de uma palavra (radicais, raízes, prefixos, sufixos etc.) são dispostos ou modificados para criar significados diferentes. No inglês, por exemplo, "-s" ou "-es" são adicionados ao final de substantivos contáveis para torná-los plural, e "-d" ou "-ed" a um verbo para indicar o tempo no passado. O sufixo “-ly” é adicionado aos adjetivos para criar advérbios. Por exemplo, o adjetivo "happy" (feliz) e o advérbio “happily” (felizmente).

Na API Natural Language, a análise morfológica é usada para extrair informações gramaticais das palavras.

A morfologia varia muito entre os idiomas. Por exemplo, em russo, a terminação das palavras indica a função delas na frase. Por exemplo, quando é o objeto direto de um verbo, “книга” (caso nominativo de livro) torna-se “книгу” (caso acusativo). Isso significa que a ordem das palavras pode variar sem alterar o significado da frase. No entanto, palavras em ordens diferentes afetam a adequação no contexto. Idiomas como inglês e mandarim, que não têm afixos indicando o caso, dependem mais da ordem das palavras em uma frase para especificar as respectivas funções delas. Como resultado, a análise morfológica depende principalmente do idioma de origem e da compreensão da morfologia compatível com ele.

Sintaxe é o estudo da estrutura de frases e orações. A sintaxe e a morfologia trabalham juntas para transmitir relações gramaticais. Dependendo do idioma, o trabalho é dividido de maneira diferente entre elas. Por exemplo, o russo usa um afixo para indicar o papel do objeto direto ("у" em "книгу"), enquanto o inglês usa a ordem das palavras, em que o objeto direto segue o verbo (read the book).

A resposta analyzeSyntax retorna informações morfológicas no campo partOfSpeech e a relação sintática entre as palavras no campo dependencyTree.

Classes gramaticais

Em uma solicitação sintática, as informações sobre classes gramaticais e morfologia são retornadas no campo partOfSpeech da resposta. O campo partOfSpeech contém um conjunto de subcampos com informações sobre classes gramaticais (POS, na sigla em inglês), bem como informações morfológicas mais explícitas. Esses subcampos estão relacionados a seguir.

• tag indica a classe gramatical com uma tag de POS de alta granularidade (NOUN, VERB etc.) e fornece informações sintáticas superficiais de nível superior. As tags de POS são usadas para criar padrões e/ou reduzir ambiguidade na análise linguística seguinte. Por exemplo, a palavra "train" pode ser marcada como NOUN (treino) em vez de VERB (treinar)

• number indica o número gramatical de uma palavra. Em inglês, o sufixo "-s" é adicionado a substantivos contáveis para indicar mais de um (por exemplo, "dog + s" indica mais de um cachorro). A ausência do sufixo plural indica, muitas vezes, a forma singular. Em alguns idiomas, como o árabe, também há a noção de número dual. Esse campo pode conter os seguintes valores:

  • SINGULAR: representa uma quantidade.
  • PLURAL: representa mais de uma quantidade.
  • DUAL: representa exatamente duas quantidades.

• person identifica a pessoa gramatical de uma palavra. Em inglês, “I/me” é a primeira pessoa do singular e se refere ao falante (ou escritor) da expressão, enquanto “you” e “she/her e he/him” referem-se ao destinatário pretendido (ouvinte) e a outra pessoa, respectivamente. Esse campo pode conter os seguintes valores:

  • FIRST: pessoa que denota o falante.
  • SECOND: pessoa que denota destinatário pretendido, isto é, a pessoa com quem se fala.
  • THIRD: pessoa que denota alguém que não seja o falante nem o ouvinte.
  • REFLEXIVE_PERSON: indica, por exemplo, que o sujeito e o objeto se referem a mesma entidade, como em “The cat licked itself”, em que "itself" é anexado a um verbo para indicar reflexividade. Em russo e japonês, o reflexivo é um pronome independente. Por exemplo, "John se ama" em russo é "Джон любит себя", em que себя é um reflexivo neutro em termos de gênero. Em japonês é "Tarō wa zibun o aisuru" (versão romanizada), em que "zibun" também é um reflexivo neutro em termos de gênero. Consulte pronome reflexivo.

• gender indica o gênero gramatical de um substantivo. Esse campo pode conter os seguintes valores:

  • o gênero gramatical FEMININE
  • o gênero gramatical MASCULINE
  • o gênero gramatical NEUTER

• case indica o caso gramatical de uma palavra e seu papel em uma frase ou oração. Esse campo pode conter os seguintes valores:

  • O caso ACCUSATIVE indica o objeto direto de um verbo transitivo.
  • O caso ADVERBIAL indica a forma adverbial de um adjetivo. Observe que o inglês usa palavras diferentes para advérbios ("well") e adjetivos ("good"). O sufixo -ly, em inglês, transforma adjetivos em advérbios (por exemplo, "happy", "happily"), mesmo que não seja considerado um "caso".
  • COMPLEMENTIVE: no chinês, indica uma palavra necessária para completar o significado de uma expressão potencial, descritiva ou resultante usando uma partícula conjuntiva.
  • O caso DATIVE indica um objeto indireto, que se refere a quem ou o que recebe o objeto direto. Em inglês, o objeto indireto é frequentemente indicado pela preposição "to" como na frase "He gave the ball to Bobby" (Ele deu a bola para o Bobby), em que "Bobby" é o objeto indireto e é o destinatário da bola. Já neste exemplo russo: Иван дал книгу маше (Ivan deu o livro a Masha), “-e” indica que “маше” é o objeto indireto, e Masha é o destinatário do livro.
  • O caso GENITIVE indica posse. Observe que o inglês geralmente indica posse usando o afixo "-'s" em vez de usar um caso genitivo. O afixo "-s" pode ser anexado ao final de uma frase, por exemplo, "(The man who ran the bill up)’s wife paid a dear price for his excess". Enquanto neste exemplo em russo "-а" marca "Антон-" como genitivo: "Где книга Антона?" (Onde está o livro de Anton). Em russo, o caso genitivo também aparece como o complemento de palavras como "vários", "poucos". Por exemplo, em "Зимой здесь мало снега" ("No inverno há pouca neve aqui") "-a" "marca "снег-" ("neve") como genitivo, já que é o complemento de “мало” (“pequeno”). Não há posse envolvida.
  • O caso INSTRUMENTAL indica se um substantivo é o instrumento pelo qual uma ação é concluída. A frase "Ele abriu a porta com a chave" em russo seria: "он открыл дверь ключом", em que "-om" se anexa a "ключ" (chave), indicando o caso instrumental.
  • O caso LOCATIVE indica o uso de uma palavra para se referir a um local. Não existe caso locativo em inglês.
  • O caso NOMINATIVE está associado ao sujeito de um verbo. Em inglês, o sujeito de uma oração é indicado pela ordem das palavras, não pelo caso. Na oração "The girl won the race" (A garota venceu a corrida), a frase "the girl" (a garota) é o sujeito, aparecendo à esquerda do verbo "won" (venceu). Em russo, "девушка" (a/uma garota) pode aparecer antes ou depois do verbo: "девушка выиграла гонку” ou "гонку выиграла девушка", em que o verbo é "выиграла" (venceu).
  • O caso OBLIQUE: indica o uso de uma palavra como objeto de um verbo ou preposição.
  • O caso PARTITIVE: indica a “parcialidade” de uma palavra ou a ausência de uma identidade específica. Um exemplo de partitivo em inglês seria "three of my friends" (três dos meus amigos). Em russo, seria "три моих друзей", onde "трое" é "três de" (compare com "три друга", em que "три" é "três").
  • O caso PREPOSITIONAL indica o objeto de uma preposição.
  • REFLEXIVE_CASE: especifica a identidade do objeto de um verbo como sendo o próprio sujeito. Na maioria dos idiomas, não há o caso reflexivo, já que ele é indicado pelos pronomes reflexivos especiais como "himself" (se, ele mesmo), "myself" (me, eu mesmo) etc. em inglês.
  • RELATIVE_CASE: no chinês, indica o complementador de uma oração relativa que liga um substantivo a um verbo ou adjetivo. Por exemplo, 工作 [的] 地方 (trabalho [] local = "local [onde eu] trabalho") e 便宜 的 餐馆 (baratos [] restaurantes = restaurantes [que sejam] baratos)
  • VOCATIVE: indica um substantivo usado para se dirigir a alguém ou algo, geralmente àquele com quem se fala.

• tense denota o tempo verbal, que indica a referência do verbo a uma posição no tempo. Observe que tense é diferente de aspect, que também trata de uma relação do verbo com o tempo. Entretanto, o foco do "aspect" são as características desse fluxo temporal, não a posição. Em muitos idiomas, os tempos IMPERFECT e PLUPERFECT se referem mais precisamente a combinações específicas de "tense" e "aspect". Esse campo pode conter os seguintes valores:

  • CONDITIONAL_TENSE é um termo alternativo para o termo morfológico mais predominante "modo condicional". Consulte CONDITIONAL_MOOD abaixo.
  • FUTURE indica uma ação que acontecerá no futuro. No inglês, o tempo futuro é geralmente indicado com a adição da palavra "will" a um verbo principal.
  • PAST indica uma ação que aconteceu no passado.
  • PRESENT indica uma ação que acontece no presente.
  • IMPERFECT indica uma ação que aconteceu no passado, mas que não foi concluída nesse período de tempo. Observe que, no inglês, o tempo imperfeito é geralmente indicado com a adição do gerúndio de um verbo ao tempo passado como, por exemplo, na frase "I was walking" (Eu estava caminhando). Um evento de tempo imperfeito ocorre no passado, mas ele ainda não foi concluído em relação a esse tempo
  • PLUPERFECT indica uma ação que aconteceu no passado e também foi concluída nesse período de tempo. Por exemplo, a ação na frase em inglês "I had walked" (Eu caminhei) aconteceu no passado e foi concluída durante o referencial desse passado.

• aspect indica o aspecto gramatical de um verbo, a expressão do fluxo temporal. Ao contrário de tense, que se concentra na posição do verbo no tempo, o foco do aspect são as características do fluxo temporal em que ele ocorre. Esse campo pode conter os seguintes valores:

  • PERFECTIVE indica um evento que foi “concluído” porque ocorreu completamente no passado ou ocorrerá completamente no futuro.
  • IMPERFECTIVE indica um evento incompleto porque ele é contínuo ou se repete.
  • PROGRESSIVE indica um evento contínuo. Um aspecto progressivo é geralmente tratado como um caso especial do aspecto imperfeito mais geral, que também inclui repetições.

• mood indica o humor gramatical de um verbo, que indica a atitude de uma ação subjacente. Esse campo pode conter os seguintes valores:

  • CONDITIONAL_MOOD indica uma ação na forma condicional. Em inglês, as formas verbais não são condicionais. Na verdade, o comportamento condicional é expresso pelo uso da palavra "would" combinada com um verbo no infinitivo.
  • IMPERATIVE indica um comando ou uma solicitação por meio da segunda pessoa.
  • INDICATIVE indica a constatação de um fato, conhecido mais genericamente como modo indicativo.
  • INTERROGATIVE indica uma pergunta.
  • JUSSIVE indica um comando ou uma solicitação por meio da primeira ou terceira pessoa. No inglês, não há um modo jussivo. As exortações que começam com um "Let us" (Vamos) real ou implícito transmitem esse modo.
  • SUBJUNCTIVE indica uma qualidade de incerteza relacionada a uma ação também conhecida como modo subjuntivo, ao contrário do indicativo. No inglês, não há um modo subjuntivo específico. Palavras como "want" (querer), "wish" (desejar), "hope" (esperar) etc. transmitem o sentido do modo subjuntivo.

• voice indica a voz gramatical de um verbo, a relação entre uma ação e um sujeito e/ou objeto. Esse campo pode conter os seguintes valores:

  • A voz ACTIVE indica uma ação realizada pelo sujeito.
  • A voz CAUSATIVE indica uma ação que tem um efeito aplicado ao sujeito. No inglês, não há voz causativa direta. A forma causativa é indicada pelo uso do verbo "make" (fazer). Por exemplo, "Mom made me go to school" (Mamãe me fez ir à escola).
  • A voz PASSIVE indica uma ação que tem um efeito aplicado ao sujeito. Em muitos casos, um "agente" da passiva está implícito ou é desconhecido.

• reciprocity denota a reciprocidade de uma palavra, normalmente um pronome, indicando que ele se refere a um sintagma nominal de outra parte da oração. Esse campo pode conter os seguintes valores:

  • RECIPROCAL indica que o pronome é recíproco
  • NON_RECIPROCAL: indica que o pronome não é recíproco.

• proper: indica se um substantivo faz parte de um nome próprio. Muitos nomes próprios são formados por várias palavras. Se essa frase for detectada como nome próprio, cada token também será considerado próprio. Por exemplo, "José" e "Silva" do nome próprio "José Silva" terão o atributo próprio definido como PROPER. Esse campo pode conter os seguintes valores:

  • PROPER: indica que o token faz parte de um nome próprio.
  • NOT_PROPER: indica que o token não faz parte de um nome próprio

• form: indica formas morfológicas adicionais que não se encaixam perfeitamente no conjunto anterior de formas comuns (tense, mood, person etc.). A maioria dessas classes é específica a idiomas únicos. Esse campo pode conter os seguintes valores:

  • ADNOMIAL (coreano/japonês): indica uma terminação de palavra (coreano) ou verbo (japonês) que modifica um sintagma nominal. Por exemplo, 밥을 먹는 사람 (alguém que come arroz) e 書く人 (alguém que escreve).
  • AUXILIARY (coreano): indica uma terminação de palavra que liga dois predicados principal e auxiliar adjacentes. Por exemplo, 밥을 먹게 하다 (fazer [alguém] comer).
  • COMPLEMENTIZER (coreano): indica uma terminação de palavra que liga duas ou mais orações diferentes. Por exemplo, 밥을 먹고 물을 마신다 ([Eu] como arroz e bebo água).
  • FINAL_ENDING (coreano/japonês): indica uma terminação de palavra que finaliza a oração ou frase no final delas. Exemplos: 밥을 먹는다 [(Eu) como arroz] e 手紙を書く [escrever uma carta]
  • GERUND (coreano/japonês): indica uma terminação de palavra que normaliza verbos ou adjetivos em coreano. Por exemplo, 밥 먹기 (comendo arroz). Em japonês, liga verbos a vários verbos auxiliares. Por exemplo, 書きたい (querer escrever).
  • REALIS (japonês): indica formas condicionais e subjuntivas com uma partícula conjuntiva. Por exemplo, “ば”: 書けば (se [eu] escrever).
  • IRREALIS (japonês) indica a ligação de verbos a verbos auxiliares negativos, passivos ou causativos. Por exemplo, 書かない (não escrever), 書かれる (a ser escrito) e 書かせる (fazer [alguém] escrever).
  • ORDER (japonês): indica um verbo de comando, semelhante ao imperativo: 書け! [escreva!]
  • SPECIFIC (japonês): indica formas especiais que não estão nas seis categorias acima. O uso mais comum dessa forma é a derivação de um substantivo a partir de um adjetivo, adicionando um sufixo à forma: かわいさ (beleza).
  • SHORT (russo): indica um adjetivo ou particípio reduzido.
  • LONG (russo): indica um adjetivo ou particípio longo, diferente do SHORT acima.

A API Natural Language fornece informações morfológicas por token, e não por frase. Não há compatibilidade com construções morfológicas que ultrapassem os limites de palavra.

Árvores de dependência

Em uma solicitação sintática, as informações sobre classes gramaticais e morfologia são retornadas no campo partOfSpeech da resposta.

Na Natural Language API, uma árvore de dependência com a estrutura sintática é criada para cada frase de texto recebida para análise sintática. As informações sintáticas são retornadas no campo dependencyEdge da resposta.

Veja o diagrama da árvore de dependência desta frase do discurso de posse de John F. Kennedy:

Para cada token, o elemento dependencyEdge identifica qual outro token ele modifica (no campo headTokenIndex) e a relação sintática entre esse token e o principal (no campo label). Por exemplo, este é o elemento dependencyEdge do token "your" (seu) na primeira ocorrência do sintagma "your country" (seu país):

      "dependencyEdge": {
        "headTokenIndex": 4,
        "label": "POSS"
      },

Esse elemento indica que "your" modifica o quinto token (headTokenIndex usa um deslocamento baseado em zero) e que é um modificador possessivo.

Toda árvore de dependência inclui um elemento ROOT ("label": ROOT), que corresponde ao verbo principal na frase. No exemplo acima, o elemento ROOT é a primeira palavra da oração ("headTokenIndex": 0). Para a palavra ROOT "Ask" (Perguntar), o headTokenIndex é o próprio índice.

Embora as árvores de análise não ultrapassem os limites das frases, a Natural Language API indexa frases e tokens usando valores de deslocamento baseados em zero no texto como um todo.

A Natural Language API rotula relações sintáticos usando um conjunto comum de dependências que se aplicam aos idiomas compatíveis. Os rótulos são descritos abaixo. No texto de exemplo, "Head" (principal) e o rótulo aparecem abaixo dos tokens aos quais eles se aplicam.

British Broadcasting Company (BBC)
                     Head     ABBREV

The book looks heavy.
         Head  ACOMP

The book is   heavy.
         Head ACOMP

She arrived sad.
    Head    ACOMP

I consider John intelligent.
  Head          ACOMP

The accident happened as the night was falling.
             Head                      ADVCL

If you know who did it, you should tell the teacher.
       ADVCL                       Head

He talked to him in order to secure the account.
   Head                      ADVCL

Genetically modified food.
ADVMOD      Head

less   often
ADVMOD Head

About  200 people came to the party.
ADVMOD Head

Sam eats red  meat.
         AMOD Head

Sam took out a 3 million dollar loan.
                         AMOD   Head

Sam, my brother, arrived.
Head    APPOS

Bill (John’s cousin)
Head         APPOS

He is  a doctor.
   Head ATTR

She resembles her mother.
    Head          ATTR

What is  your name?
ATTR Head     NSUBJ

What breed is   the dog?
     ATTR  Head     NSUBJ

I consider John an intelligent person.
  Head                         ATTR

Reagan has died.
       AUX Head

He should leave.
   AUX    Head

Kennedy has been    killed.
        AUX AUXPASS Head

Kennedy was/got killed.
        AUXPASS Head

Bill is big  and honest.
        Head CC

They either ski  or snowboard.
            Head CC

Bill went to Florida but Jane traveled to Alaska.
     Head            CC

He says that you like  to swim.
   Head          CCOMP

I am certain that he did   it.
     Head            CCOMP

I admire the fact that you are   honest.
             Head          CCOMP

Bill is big and honest.
        Head    CONJ

They either ski  or snowboard.
            Head    CONJ

We have apples, pears, oranges, and bananas.
        DOBJ    CONJ   CONJ         CONJ

What she said  makes sense.
         CSUBJ Head

That she lied was suspected by everyone.
         CSUBJ    Head

Then, as if  to show that he could, . . .
         DEP    Head

travel agency florence kentucky
       Head   DEP

The man is here.
DET Head

Which book do you prefer?
DET   Head

Iguazu is   in Argentina :)
       Head              DISCOURSE

She gave me a raise.
    Head      DOBJ

They win  the lottery.
     Head     DOBJ

There is   a ghost in the room.
EXPL  Head   NSUBJ

It   is clear that we should decline.
EXPL Head

She gave me   a present.
    Head IOBJ   DOBJ