为ChatGPT等提供安全护栏,CalypsoAI获1.6亿元融资

添加书签

专注AIGC领域的专业社区,关注OpenAI、百度文心一言等大语言模型(LLM)的发展和应用落地,关注LLM的基准评测和市场研究,欢迎关注!

6月28日,为AI提供安全防护的CalypsoAI在官网宣布,获得2300万美元(约1.6亿元)A-1轮融资。本次由Paladin Capital Group 领投,洛克希德·马丁风险投资、Hakluyt Capital等跟投。
最近,CalypsoAI发布了为ChatGPT等大语言模型提供安全护栏的产品,其功能与前几天「AIGC开放社区」介绍的同类开源产品LangKit点击查看)差不多。CalypsoAI还提供了恶意代码检测、越狱预防等特色防护功能。
总体来说,这类产品相当于大语言模型界的“360安全管家”,主要解决数据隐私、安全防护、输出非法信息等难点,以加快金融、医疗、法律等行业对ChatGPT等生成式AI产品的场景化落地。
随着ChatGPT、Midjourney等产品火爆出圈全球掀起了新一轮AI变革,各行业通过集成、自研等方式将大语言模型、生成式AI产品集成在应用、业务中实现降本增效。但数据隐私、安全问题受到了全球多数国家的重点关注,欧盟、北美甚至出台了严格的监管框架
但这种停留在纸面上的监管无法从根本上解决实际问题,因此,为ChatGPT等大语言模型提供安全防护成为一个发展迅速且有潜力的赛道,作为资深AI防护企业CalypsoAI瞄准这一商机,迅速发布产品并获得了资本市场的青睐。
资料显示,CalypsoAI创立于2018年,总部位于美国旧金山。CalypsoAI曾在2019年4月,获得220万美元种子轮融资;2020年7月,获得1300万美元A轮融资,目前总融资额度为3820万美元。
CalypsoAI主要为军方、政务、企业等提供AI防护,包括应用环境评估、功能测试、AI应用深度定制开发等,美国国土安全部 、美国空军、航空部等皆是其客户。
随着ChatGPT的火爆出圈其安全问题也越发明显,CalypsoAI通过多年积累的AI防护经验发布了专注大语言模型的防护产品——CalypsoAI Moderator。
功能方面,CalypsoAI Moderator主要提供数据隐私和安全、恶意代码检测、越狱防护、数据质量验证等功能。

数据隐私和安全:使用者经常会将敏感数据输入到ChatGPT等产品中,例如,内部代码、机密文件,造成数据泄露产生安全隐患。
CalypsoAI Moderator会扫描用户上传的数据文件,当发现敏感数据时会提醒用户正在进行危险操作,同时会记录下哪位员工在什么时间进行了这些操作,方便以后用于审查。
越狱防护:用户为了让大语言模型输出非法内容,例如,如何进行更专业的入室偷窃,会进行一些诱导性的提示输入。
CalypsoAI Moderator会自动扫描这些逆反、有害、非法的提示内容,同时可以为大语言模型设定安全护栏,防止为这些危险提示提供内容输出。
恶意代码检测:用户可能会向大语言模型输入一些有害的代码,例如,会让系统直接崩溃。CalypsoAI Moderator会实时扫描用户输入的每一段代码,并快速识别是否存在危险。如果有害,则直接组织输入到大语言模型中,并记录所有交互细节方便以后安全分析。
数据安全方面,CalypsoAI表示,永远不会窃取、复制用户的数据,所有扫描的数据全部会留在用户系统中,不会自动上传到CalypsoAI的平台,或用于训练其他模型。
CalypsoAI创始人兼首席执行官Neil Serebryany 表示,很多组织因为大语言模型带来的诸多安全问题,而放弃对其使用。现在,CalypsoAI Moderator可以为企业、政务提供一站式大语言模型安全防护,帮助他们解决这些难题加速应用进程。

本文素材来源CalypsoAI官网,如有侵权请联系删除

END