jackyqs/chatglm2-gpu repository overview

chatglm2-gpu版本，支持torchkeras的adaLora微调，支持openai api。

个人不建议prompt微调，因为prompt只能微调非原prompt微调，否则会让模型变笨或微调效果不佳，或是使原模型失去记忆。

要微调需要了解原有prompt的情况，因为微调的数据不足以改变原有数据的分布，导致效果不佳或不可控。

chatglm2适合直接来做业务辅助，回答封闭性的结果，以达到相对可控。

目前大模型不适合直接用来做业务，因为目前AI不经济，并发性能低（业务3-5秒/次，聊天可以达到实时），要提升并发性能，ROI为是个负值，投入无法覆盖产出。