【AI Agent极限挑战赛】三大赛题揭晓
添加书签由AIGC开放社区联合联想拯救者、英特尔共同主办的【2024 AI Agent极限挑战赛】于8月17日在上海中庚聚龙酒店成功举办。赛事全面考察参赛者将AI技术应用于实际问题的能力。比赛内容包括对大语言模型的理解、提示词(Prompt)的结构化调优技术、个人助理Agent的开发,以及利用大模型生成文本、图片和视频等多种内容的能力。
赛事共设置“舆情热点话题文章全自动写作大师”、“AI系统运维数据分析师”、“AI面试官”三道题目。我们以文章形式发布详细的赛题说明,供大家参阅,错过比赛的小伙伴们感兴趣的话可以自行挑战下哦~
一、赛题背景
二、流程概述
2、聚合相关的话题、内容和热门评论
3、将聚合的所有信息,自动汇总成为一篇长图文的文章,可包含文章导语、脉络信息(如有)、配图、分内容小节、文章标签、结束语(均为可选)等,形成一篇图文并茂的文章内容。
4、将文章内容保存成为在线word,并返回链接给用户,注意权限。或直接返回图文内容。
三、构建功能点要求
构建1个Agent并构建对应的工作流。
1、聚合的内容来源,可任选其一的社交媒体或自媒体平台,推荐今日头条,也可选择汇总多个汇总的来源渠道(加分),配合搜索引擎等进行内容汇总整理
2、如汇总内容较多,超出大模型的上下文,需要把每一条聚合的内容(推文、评论、文章等)进行提炼总结,保证内容素材和最终生成文章不超出上下文
3、配图可选(加分),可以根据内容生成,或使用插件搜索花瓣、百度等相关配图,或根据锻炼内容自动生成每段配图
4、若无法直接将配图插入到文档中,也可以只插入图片的url链接。tips:使用<img>标签插入云文档图片
5、文章内容可体现出,相关的话题在社交媒体上不同讨论的网友的观点,如正向的、反向不赞同的、较为理性的、吃瓜性质的…等,体现文章观点的丰富性
四、交付的结果要求
赛题2:AI系统运维数据分析师(满分80分)
一、赛题背景
借助于大语言模型,我们得以一定程度上解决统计分析的问题,让普通人员无需专业的运维知识或开发的经验,即可实现对不同系统、不同业务数据进行快速分析和可视化。并且依托于大模型的海量知识,结合本地的知识库(如企业运维手册),来进行全面的问题定位和排查,并出来相应的建议。
二、流程概述
(数据获取https://aigcopen.feishu.cn/docx/Ux0PdmZSyoyg76xG0sOcQaW6nac),
(数据获取https://aigcopen.feishu.cn/docx/WlnDdhQUPoyQAVxqlMtcZGeanV4)
b.大模型+工作流处理并分析数据
c.将多个分析后的数据结果进行合并归集
d.统计多维度,如日志信息、最后出现时间、出现次数、最小(大)间隔时间、平均间隔时间等,并针对不同日志分类(如error、warning、info等不同等级)进行建议处理和如何修复的信息。
e.(进阶)可结合本地的知识库(可选-本地运维手册-OPENAIGC开发者大赛.pdf https://aigcopen.feishu.cn/file/JHzrb9WJloYNgYxpCwCcVs3Mn4f)进行更精确的分析处理
f.生成统计分析图表,尽可能详细和直观,可生成多张
g.(进阶)生成分析报告,包含分析图表+问题建议/修复建议+总结归纳,将内容写入到在线文档中(word),并返回文档访问地址
三、构建功能点要求
构建1个Agent:
a.可根据指令读取多条日志数据并准确进行统计分析(可分批次汇总日志统计结果,最后汇总所有结果,另注意处理长文本可能会超出LLM的最大的上下文长度)
(数据统计示例)
b.可根据时间范围和日志等级进行筛选分析统计
c.对特定的问题,搜索问题修复或者建议处理方式
d.可根据指令生成分析报告
e.(进阶)如果构建了本地知识库进行向量处理,则以本地知识库搜索为主+大模型本身的知识进行分析和给出处理方案。(在本赛题包中的“本地运维手册-OPENAIGC开发者大赛.pdf“,点击下载后使用)
f.可以输出统计图表(如下2个图参考)进行直接展示
g.可按照指令,对分析结果生成完整的分析报告,构建对应的工作流,来满足Agent调用执行需求。
四、交付的结果要求:
2、对应的工作流
赛题3:AI面试官(满分120分)
一、赛题背景
在现代招聘流程中,面试是评估候选人能力和匹配度的关键环节。然而,传统面试过程通常耗时耗力且主观性较强,需要一定的人力资源投入。本赛题旨在通过AI大模型技术的应用,实现自动化面试问答及候选人能力分析,提高招聘效率和准确性。
二、流程概述
1、读取招聘职位需求表格(职位候选人名单&招聘列表-2024拯救者杯Agent大赛),包含岗位名称,职位要求,个人能力要求,招聘数量,招聘负责人,负责人邮箱,发布时间,是否关闭等字段。
2、读取候选人面试表格(职位候选人名单&招聘列表-2024拯救者杯Agent大赛):包含候选人基础信息(ID、姓名、邮箱、竞选岗位等信息)Excel表格
3、读取简历PDF内容(赛题-简历数据.zip),用于后续分析和问答处理。
下载简历数据,构建本地向量知识库,知识库里包含不同职位的候选人投递的简历,从知识库中提取候选人的信息。
4、招聘负责人通过Agent自动发送候选人的AI面试链接:发送面试Agent的访问链接给候选人,使其能够开始面试问答过程。
5、面向候选人的agent收集基础信息:收集必要的基础数据(面试id或姓名),并读取对应的PDF简历和招聘需求。
6、根据面试Agent多轮的面试问答:可针对面试者简历以及职位招聘要求,进行包含基础信息问答,如实操写代码,写文案,或其它能力考核,自动对面试者进行多维度的评判(例如包括职业能力匹配度、基础职业素养、工作经验等多个方面,可参考下方职业能力考察维度)。并更新候选人面试情况表(excel)
7、对每个候选人,进行综合打分,并生成能力分析图表,并插入到对应的候选人下,可以是单独的以候选人命名的sheet或者候选人列表中的字段均可
8、邮件通知招聘负责人,候选人完成AI面试:每当有候选人完成AI面试问答,系统将自动发送邮件通知面试官,提示其查看候选人的面试情况,并附带excel附件或在线文档链接。
9、招聘负责人可随时根据招聘的进展进行问答,对应的Agent应能够根据存储的面试进展进行准确回复。
10、发送邮件offer通知:可以根据招聘负责人要求,对符合的候选人发送邮件offer通知
三、构建功能点要求
构建2个Agent:
1、针对职位候选人的面试问答Agent的构建:
a.对当前候选人进行基础的信息收集
b.匹配招聘表格数据以及简历信息
c.对候选人进行交互式问答,(可针对面试者简历以及岗位要求,进行包含基础信息问答,实操写代码,写文案,或其它),需要明确问答不应超过5轮且不超出大模型的上下文
d.结合候选人简历、问答内容以及招聘需求,对候选人进行多维度的评判,以及打分,更新候选人面试情况表(excel)
e.完成问答后,邮件通知招聘负责人(统一发送的邮箱为:422342158@qq.com,测试阶段可以修改为其他邮箱),邮件需附带云文档的链接,以及队伍分组id+名字
f.对当前岗位要求和个人能力的要求进行回复
2、针对招聘负责人的招聘Agent的构建:
a.查询特定职位招聘的情况
b.询问当前是否有未完成AI面试的候选人,以及具体的情况
c.对未完成AI面试的候选人,进行全部或条件筛选后,自动发送AI面试申请邮件
d.查询特定候选人的面试情况
e.查询特定或条件范围内的候选人,面试后的多维度评价分析、得分或其它的所有信息
f.查询整体的招聘情况进展
g.查询招聘职位所有候选人的情况并进行数据统计和分析,生成图表
h.对符合要求的候选人,发送邮件offer通知候选人
开发过程中,表格中的候选人邮箱以及招聘负责人的邮箱,可以修改为自己的邮箱,最终提交作品后,候选人以及招聘负责人的邮箱,请全部修改为:422342158@qq.com ;
构建对应的工作流,来满足Agent自动化的调用执行需求。
四、赛题数据包下载
a.简历数据,打开后右上角下载即可:赛题-简历数据.zip https://aigcopen.feishu.cn/file/X17gbPP3VogrAZxU67PcgBE2nWd
简历数据请下载到本地,上传到系统中,进行向量化的知识库构建。
b.简历对应的招聘需求和候选人情况表:职位候选人名单&招聘列表-2024拯救者杯Agent大赛(获取地址:https://aigcopen.feishu.cn/sheets/HN4asIcGNhywmZtY5mxcJVLnnAb?sheet=5582d6)
请每个队伍,将该文档复制copy一份到自己的云文档空间里,并保证分享设置为互联网可阅读,方便评委进行查看和打分
五、交付的结果要求
1、2个构建的Agent
2、对应的工作流
六、面试考察的六个维度(参考,或根据大模型或自定义维度)
a.Knowledge:专业知识,包括学历、专业技术资格。
b.Skill:专业技能,特别是指具体的,实际操作的能力。
c.Ability Achievement:综合素质与能力,特别是指抽象的能力,以及工作经验。
d.Personality:个性特质,包括自我定位和性格特点。
e.Motivation:求职动机,包括离职应聘愿意和职业目标。
f.Value:价值现,也包括个人价值观及对企业文化的认同度。
提问example:
问题:你大学学的什么专业或接受过哪些特殊培训?
第2维度考察:专业技能(具体的,实际操作的能力)
问题:你是应届毕业生,缺乏经验,如何能胜任这项工作?
第3维度考察:综合能力工作经验
问题:你新到一个部门,一天一个客户来找你解决问题,你努力想让他满意,可是始终达不到群众的满意,他投诉你们部门工作效率低,你该怎么办?
第4维度考察:个性特征(自我定位和性格特点)
问题:你有什么业余爱好?
第5维度考察:求职动机(应聘原因和职业目标)
问题:您在前一家公司的离职原因是什么?
第6维度考察:价值观(个人价值对企业文化的认同度)
问题:你对我们企业有什么了解?
END
点击【阅读原文】,查看挑战赛完整赛题包!
本篇文章来源于微信公众号: AIGC开放社区