流行组搭子,砭石大模型的多模态AI能
炎炎夏日，常常感觉全身没劲、疲倦乏力，甚至有失眠心烦、口舌生疮、咽喉黏腻多痰等症状。中医讲：湿气重，五脏六腑运行都会受阻，身体就会沉重，懒散不想动，还会导致浮肿虚胖。
那我们就一起通过智能助手—砭石，这个切实有效的多模态医疗人工智能大模型，一起来了解下夏季养生科学吧。
察言观色—面诊舌诊
中医凭借着望闻问切的功力，收集病情资料，诊断疾病。人的面部是众多经脉汇聚之地，脏腑气血的盛衰，在面部会有所表现，通过砭石的“面诊”拍个照，人工智能采集面向参数，可以来了解人体的健康状态和病情变化。以小编的面部照片为例，根据砭石分析显示:面色偏黄，主热、主湿、主虚，是脾虚湿蕴的表现。
再使用砭石大模型拍个舌诊照片，几秒后，软件生成了一段诊断文字，根据舌象特征初步判断您的体质为:痰湿体质，常见表现面部皮肤油脂较多，容易因气温升高而面红耳赤，汗多且黏，胸闷腹胀，自觉咽中有痰，容易困倦，身体沉重……痰湿体质的基本特征跃然于屏幕之上。
“有诸于内，必行诸于外”是中医学朴素的辨证法，砭石通过深度学习算法对中医面诊舌诊进行赋能，将表皮特征与人体内部的脏腑、经络等联系起来，通过辩证思考，判断出病人的体质和病情。
问长问短—对话问诊
夏季闷热，痰湿体质者体内湿气较重，易受外界暑热、暑湿之气的侵袭，进一步加重痰湿程度，因此痰湿体质的人在夏季是很难度过的。
我们再问问砭石，痰湿体质夏季怎么调理？一行文字输出到对话框……
砭石显示，痰湿体质者体内多因水液内停而痰湿凝聚，所以宜以化痰祛湿为主，兼健运脾胃。具体建议如下：饮食调理，痰湿体质的膳食应以清淡作为主要原则，运动调养……药物调理……睡眠调养多项养生调理建议迅速生成。
细致入微—健康监测
随着天气变热，感觉心跳也加快了，通过砭石测测心率和呼吸率这些生理指标。锁定人脸框，录制一分钟视频，通过捕捉人脸表面周期变化来实现对心率、呼吸率、心率变异性、血压、血氧等生理指标测量，生命体征参数分别显现于屏，压力正常，可以放心了。
以上是智慧眼砭石大模型在图片、文字、视频多模态复合能力的部分演示。
多模态对于解决医疗领域任务的复杂性和多样性具有极其重要的意义。目前，人工智能在医学上的应用大多数采用单模态数据来处理特定的任务，例如计算机断层扫描显像(CT)和视网膜图像等。但是，临床医生在诊断、评估和决策治疗计划时，会处理来自多个源的多模态的数据，因此，多模态数据在个性化医疗、数字临床试验、远程监测和护理、虚拟健康助手方面将发挥重要的应用。
直观地，多模态学习可以聚合多源数据，获得更多的辅助信息以及更丰富的表示，进而获得更好的诊断效果。
具体来说，面向用户，多模态首先更符合人类认知世界的习惯，人类具有多种感官，接受多种模态信息，这些信息常常是互补的、协同作用的，因此，使用多模态信息一般可以更好地认知与完成复杂任务。其次，交互体验增强，通过支持多模态输入，用户可以通过更加灵活的方式传达信息。最后，更广泛的任务支持，LLM通常只能完成NLP相关任务，而MLLM通过接入多模态可以完成更多任务。
砭石是典型的医疗领域多模态大模型，通过多模态指令微调、上下文学习、思维链推理等关键技术能够支持包括医疗领域文本、图像、视频和音频形式的输入，具体形式覆盖智能问诊，辅助阅片，面诊舌诊，生理指标预测，睡眠监测几个方面，不仅实现了中西医诊疗相结合，而且实现了动态视频与静态图文处理，可以方便医疗机构更好地理解分析病情，提高了医疗信息处理的效率和准确性。
风起云涌的AI领域，“多模态预训练大模型将成为人工智能基石”已成业内共识。未来，这一基石将实现图像、文本、视频、音频的统一知识表达，并朝着具备推理、问答、总结等认知智能方向发展，砭石将在医疗健康领域全面发挥其潜能。
