Extend nmod and flat chains to the right + unit tests

Changelog

@@ -2,7 +2,7 @@ Finnish language model for spaCy
 
 <unreleased>
 
-* The noun chunker now includes also "flat" dependencies: e.g. "maaliskuun 7. päivänä"
+* The noun chunker includes chains of flats and nmods: e.g. "maaliskuun 7. päivänä"
 
 Version 0.13.0, 2023-07-21
 

fi/fi.py

@@ -437,6 +437,13 @@ def potential_np_head(word):
             word.dep in np_deps or word.head.pos == PRON
         )
 
+    def extend_right(word):
+        res = word.i
+        for rdep in word.rights:
+            if rdep.dep in extend_deps:
+                res = extend_right(rdep)
+        return res
+
     doc = doclike.doc  # Ensure works on both Doc and Span.
     if not doc.has_annotation("DEP"):
         raise ValueError(Errors.E029)
@@ -471,12 +478,9 @@ def potential_np_head(word):
             if lbracket <= prev_end:
                 continue
 
-            rbracket = word.i
             # Try to extend the span to the right to capture
-            # appositions and noun modifiers
-            for rdep in word.rights:
-                if rdep.dep in extend_deps:
-                    rbracket = rdep.i
+            # noun phrase extensions
+            rbracket = extend_right(word)
             prev_end = rbracket
 
             yield lbracket, rbracket + 1, np_label

tests/unit/test_noun_chunks.py

@@ -1,8 +1,8 @@
 import pytest
-from spacy.lang.fi import Finnish
+from fi import FinnishExtended
 from util import get_doc_from_text
 
-fi_nlp = Finnish()
+fi_nlp = FinnishExtended()
 fi_tokenizer = fi_nlp.tokenizer
 
 
@@ -140,6 +140,27 @@
         [5, -1, 3, 2, 1, 0],
         ['Lain', 'varhaiskasvatus', 'suunnitelmallista toimintaa'],
     ),
+    (
+        'Asiasta päätettiin maaliskuun 7. päivänä tehdyllä sopimuksella',
+        ['NOUN', 'VERB', 'NOUN', 'ADJ', 'NOUN', 'VERB', 'NOUN'],
+        ['obl', 'ROOT', 'obl', 'flat', 'flat', 'acl', 'obl'],
+        [1, 0, 3, -1, -2, 1, -5],
+        ['Asiasta', 'maaliskuun 7. päivänä', 'sopimuksella'],
+    ),
+    (
+        'Tutkija tuli Helsingin yliopiston fysiikan laitokselta',
+        ['NOUN', 'VERB', 'PROPN', 'NOUN', 'NOUN', 'NOUN'],
+        ['nsubj', 'ROOT', 'nmod:poss', 'nmod:poss', 'nmod:poss', 'obl'],
+        [1, 0, 1, 2, 1, -4],
+        ['Tutkija', 'Helsingin yliopiston fysiikan laitokselta'],
+    ),
+    (
+        'Rakenteluun tarvitsee osia optoerottimista veneen moottoreihin',
+        ['NOUN', 'VERB', 'NOUN', 'NOUN', 'NOUN', 'NOUN'],
+        ['obl', 'ROOT', 'obj', 'nmod', 'nmod:poss', 'nmod'],
+        [1, 0, -1, -1, 1, -2],
+        ['Rakenteluun', 'osia optoerottimista veneen moottoreihin'],
+    ),
 ]
 
 FI_NP_TEST_XFAIL_EXAMPLES = [