bert的使用

[yewuchen414]

请问代码中的bert模型可以在本地准备吗，我注意到代码里有一个self.tokenizer.dee_tokenize(sent_text)，但是不太清楚dee_tokenize是什么，运行之后显示没有这个东西

[Spico197]

嗨您好，目前的模型都使用了bert的中文词表来做token id转换，所以需要本地准备一个bert tokenizer的相关model和config，是可以提前在本地保存然后再导入的。

关于dee_tokenize的定义可以在这里找到：

DocEE/dee/utils.py

Lines 142 to 145 in a32b6f8

	if self.doc_lang == "zh":
	self.dee_tokenize = self.dee_char_tokenize
	elif self.doc_lang == "en":
	self.dee_tokenize = self.dee_space_tokenize

[yewuchen414]

您的邮件已收到，我会尽快回复