本文以报时机器人为载体,介绍了报时机器人的对话能力范围、配置文件功能和训练和运行命令,重点介绍了rasa shell命令启动后的程序执行过程。
一.报时机器人项目结构
1.对话能力范围
(1)能够识别欢迎语意图(greet)和拜拜意图(goodbye)
(2)能够识别时间意图(query_time)
(3)能够识别日期意图(query_date)
(4)能够识别星期几意图(query_weekday)
2.配置文件功能
(1)nlu.yml:主要包含意图、例子、对实体的标注等。
(2)stories.yml文件:用户和机器人之间对话的表示,用户输入意图,机器人响应action。
(3)actions.py:自定义的action,比如action_query_time、action_query_date、action_query_weekday。
(4)config.yml:主要包含nlu(分词、特征提取和分类等)和dialog policy(记忆、规则、机器学习等)。
(5)domain.yml:主要包含意图、视图、槽位、响应、动作等。
(6)credentials.yml:主要和其它对话平台集成,比如facebook、slack等。
(7)endpoints.yml:action_endpoint(调用自定义action)、tracker_store对话存储(内存、redis、mongodb等)、event_broker消息队列(RabbitMQ、Kafka等)。
3.训练和运行命令
(1)训练模型
使用NLU数据和stories训练模型,模型保存在./models中。
rasa train
说明:关于如何把数据集按照比例拆分为训练集和测试集,在训练集上训练模型,在测试集上测试模型,可以参考《聊天机器人框架Rasa资源整理》。
(2)启动action服务器
使用Rasa SDK开启action服务器。
rasa run actions
(3)启动rasa服务器和客户端
通过命令行的方式加载训练模型,然后同聊天机器人进行对话。
rasa shell
二.rasa shell执行流程分析
整体思路是通过rasa shell加载和解析模型,通过消息处理的方式建立起用户(客户端)和聊天机器人(rasa服务)对话的桥梁。
1.rasa/cli/shell.py文件
在rasa/cli/shell.py
文件中,def shell(args: argparse.Namespace) -> None
函数如下:
2.rasa/cli/run.py文件
在rasa/cli/run.py
文件中,def run(args: argparse.Namespace) -> None
函数如下:
3.rasa/api.py文件
在rasa/api.py
文件中,def run(...) -> None
函数如下:
在run()
函数中调用serve_application()
函数如下:
4.rasa/core/run.py文件
在rasa/core/run.py
文件中,serve_application()
函数如下:
在serve_application()
函数中启动了一个基于Sanic的Web服务器,通过configure_app()
方法构建了app,然后通过run()
方法启动,如下所示:
app = configure_app(
input_channels,
cors,
auth_token,
enable_api,
response_timeout,
jwt_secret,
jwt_method,
port=port,
endpoints=endpoints,
log_file=log_file,
conversation_id=conversation_id,
use_syslog=use_syslog,
syslog_address=syslog_address,
syslog_port=syslog_port,
syslog_protocol=syslog_protocol,
request_timeout=request_timeout,
)
......
app.run(
host=interface,
port=port,
ssl=ssl_context,
backlog=int(os.environ.get(ENV_SANIC_BACKLOG, "100")),
workers=number_of_workers,
)
通过register_listener(listener, event)
注册给定事件的侦听器:
app.register_listener(partial(load_agent_on_start, model_path, endpoints, remote_storage), "before_server_start",)
app.register_listener(close_resources, "after_server_stop")
5.rasa/core/agent.py文件
通过load_agent_on_start()
方法加载一个agent。在rasa/core/agent.py
文件中,load_agent()
函数如下所示:
在load_agent()
函数中,加载模型代码是agent.load_model(model_path)
。在Agent类的def load_model()
方法中,关于初始化MessageProcessor代码如下:
self.processor = MessageProcessor(
model_path=model_path,
tracker_store=self.tracker_store,
lock_store=self.lock_store,
action_endpoint=self.action_endpoint,
generator=self.nlg,
http_interpreter=self.http_interpreter,
)
加载模型的代码如下:
logger.info(f"Loading model {model_tar}...")
with tempfile.TemporaryDirectory() as temporary_directory:
try:
metadata, runner = loader.load_predict_graph_runner(
Path(temporary_directory),
Path(model_tar),
LocalModelStorage,
DaskGraphRunner,
)
return os.path.basename(model_tar), metadata, runner
except tarfile.ReadError:
raise ModelNotFound(f"Model {model_path} can not be loaded.")
6.rasa/engine/loader.py文件
在rasa/engine/loader.py
文件中,def load_predict_graph_runner()
函数如下:
三.遇到的问题和说明
1.如何用PyCharm调试Rasa项目
解析:一种是基于Script path的调试方法,一种是基于Module name的调试方法。这里介绍前者如下所示:
(1)Script Path:安装rasa类库的__main__.py
文件路径。
(2)Parameters:rasa的各种cli,比如train、test、shell等。
(3)Working directory:安装rasa类库的根目录。
说明:因为rasa类库依赖类库太多导致系统环境混乱,所示建议使用虚拟环境进行rasa类库安装。
2.NoConsoleScreenBufferError
解析:exception=NoConsoleScreenBufferError('No Windows console found. Are you running cmd.exe?')
3.模型20220915-081548-honest-yield.tar.gz
解析:由metadata.json文件和components文件夹组成,后者和config.yml内容密切相关,如下所示:
4.Sanic框架
解析:Sanic是一个高性能异步的Web框架。
5.asyncio库
解析:它的编程模型是一个消息循环,关键字涉及event_loop、coroutine、task、future、async/await等。
本文只是简要的介绍了rasa shell命令启动后的程序执行过程,但是对于加载模型后如何解析模型构建图,以及用户输入后,消息如何通过模型(nlu和dialog policy)得到输出并没有介绍,后面写篇文章专门介绍。
参考文献:
[1]Rasa实战:构建开源对话机器人
[2]Sanic官方文档:https://www.osgeo.cn/sanic/
[3]asyncio库异步I/O:https://docs.python.org/3.7/library/asyncio.html
[4]聊天机器人框架Rasa资源整理