[NER][Japanese] labeled segment shorter than token

🤗Tokenizers
1

When dealing with Japanese NER tasks, I have a problem.
the labeled segment “日本”[29,31] is shorter than the token ‘日本の’, how to deal with it?

here are more cases:
token labeled segment
WRN END 町の 大手町
WRN START の世界 世界チェス選手権
WRN END ルの アップル
WRN END 駅から ガイルドルフ西駅
WRN END 日本の 日本
WRN END いで 鳥羽・伏見の戦い
WRN END 国の アメリカ合衆国
WRN END !」 ソー・ファー、ソー・グッド…ソー・ホワット!
WRN END 米国 米
WRN END スの スノープス
WRN END 内で 知内
WRN END 市の 札幌市
WRN END スの ゼウス
WRN END 市の 福島県いわき市

xlmr_tokenizer = AutoTokenizer.from_pretrained("xlm-roberta-base")
text= "株式会社ジェイアール東日本企画は、東京都渋谷区に本社を置く日本の総合広告代理店。"
embed = xlmr_tokenizer(text)
print(xlmr_tokenizer.convert_ids_to_tokens(embed.input_ids))

## ['<s>', '▁', '株式会社', 'ジェ', 'イ', 'ア', 'ール', '東', '日本', '企画', 'は', '、', '東京都', '渋谷', '区', 'に', '本', '社', 'を', '置', 'く', '日本の', '総合', '広告', '代理', '店', '。', '</s>']

"entities": [
            {
                "name": "株式会社ジェイアール東日本企画",
                "span": [
                    0,
                    15
                ],
                "type": "法人名"
            },
            {
                "name": "東京都渋谷区",
                "span": [
                    17,
                    23
                ],
                "type": "地名"
            },
            {
                "name": "日本",
                "span": [
                    29,
                    31
                ],
                "type": "地名"
            }
        ]