Hierarchical_Recurrent_network
这个模型主要分为三个部分,分别是Word Level Encoder,Hierarchical Attention and Utterance Encoder,decoder and Response。
简单来说:首先是用Word Level Encoder將上下文转变成hidden vectors。然后,在生成每一个词时,分层的注意力机制分别在词级的attention和话语级的attention提取相应的重要成分。在其中多个word level attention 将会把自己提取到的上下文信息 uploaded 到一个 utterance level encoder,重新综合上下文信息。最后变成综合当前query输入给decoder生成对话。
下面是三个部分详细说明:
不足: