阿里发布Qwen 3，开启中国开源模型新纪元，心言集团分享实践经验

内容: 2023年4月29日，阿里推出了其新一代大型模型——Qwen 3。作为中国开源生态的新“双子星”，Qwen 3与DeepSeek结合，不仅打破了过去以Llama为主和Mistral为辅的开源格局，更为中国的AI发展带来了新的机遇和挑战。此次发布引起了行业广泛关注，Founder Park也特别采访了多位来自不同领域的AI创业公司代表，深入探讨了开源与闭源模型的选择、模型微调的优劣、模型能力的局限性以及大模型创业过程中常见的误区。

在这一系列采访中，心言集团的开源布道师和高级算法工程师“左右”分享了他们在实际应用中的观察和经验。他们提供了关于中国开源模型逐步崛起的深刻见解，并阐述了其自身业务在开源生态下的技术探索与发展路径。

开源与闭源模型的选择

左右提到，基于当前业务需求，心言集团大约90%的场景选择使用微调后的模型进行本地部署，以满足线上服务的要求。对于一些特定任务，例如数据构造或需要调用高性能大模型的场景，他们则会使用相应的API。

在模型选型上，心言集团主要采用基于Qwen的微调模型，并会根据不同业务需求使用不同规模的模型。目前，他们常用的包括7B、32B和72B等多个版本。由于需要考虑用户隐私和多模态处理的需求，对于具身智能的业务环节，他们倾向于使用更小的多模态模型，如0.5B和1.5B等。

左右强调选择Qwen模型的原因，一方面是其生态系统的成熟度和稳定性，Qwen提供了完善的推理框架和微调工具，方便企业快速响应市场需求。例如，像SGLang和vLLM等工具的相对成熟性为研发团队减少了不必要的迭代成本。

另一方面，技术能力与业务契合也至关重要。心言集团专注于情感陪伴与泛心理相关的功能，而Qwen在中文理解及相关领域数据的预训练上表现优异，适合后续微调以满足具体需求。

当前模型应用的挑战

在接受采访时，左右指出了在使用大型模型和进行微调时面临的多重挑战，在具身智能领域，推理成本和生态适配问题尤为突出。因应用户隐私要求，模型需本地部署，以确保数据安全。采用英伟达等方案时，推理硬件成本往往过高，而效能与速度则难以兼顾。换用国产芯片可能引起生态兼容性不足的问题，尤其在更新紧密的技术环境中，适配周期的拉长让企业面对很大的时间压力。

对于线上业务，左右提出了在模型能力和推理成本方面的挑战。情感陪伴的业务对模型的情感理解能力要求极高，模型需要高效捕捉并处理用户的多层次情感信息，这对多模态理解能力形成了挑战。尤其是在用户量激增的情况下，推理延迟和成本问题更是难以避免，因此需要有效调度算力以应对突发流量压力。

对开源模型生态的期待

左右认为，当前以DeepSeek、Qwen、Llama为代表的开源模型正处于一个关键的发展阶段。他们期待这些开源模型能够逐步追平如Claude、GPT-4等闭源顶尖模型，在技术开放性上做得更加深入，并愿意分享更多的技术细节与经验，从而有助于整个开源社区进步。

左右指出，虽然DeepSeek在技术探索上表现得更为激进和理想化，但Qwen与Llama则更加关注于技术的通用性及社区需求的广泛性，采取稳健的技术选型。

大模型创业的误区及未来发展

在谈到大模型创业过程中最容易被忽视的误区时，左右强调了模型与产品之间的适配度以及对AI角色的误解。他们指出，很多人将AI视为一种解决旧有需求的工具，简单加以应用。真正有效的方式是将AI作为后端解决方案，深入处理信息，并实现真正的个性化服务。

尤其在情感陪伴领域，用户输入不仅仅是语音转文本，还需要对语气、语调进行深层次分析，使其情感识别得以精准。左右坚信，未来的AI产品应更加注重用户的真实需求，而非仅仅将AI技术简单堆砌在旧有场景之上。

随着Qwen、DeepSeek等中国开源模型逐渐在国际舞台上崭露头角，心言集团以其独特的实践经验与见解，为中国开源AI生态的建设贡献了有价值的思考。未来，心言集团将持续关注泛心理应用与具身智能的发展，力求在开源的浪潮中乘风破浪，开创情感计算的崭新未来。