HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face——论文阅读
大致思路利用chatgpt做任务规划,调用huggingface中的各种人工智能模型做具体的操作(工具调用),最终统筹概括给一个明确的结果到用户。
关键点在于如何构建chaotgpt和AI模型的桥梁。进一步思路是将众多的模型如何应用的描述总结成prompt给到大模型,这个工作量重到令人绝望。但是发现可以用LLM去公众ML社区上找高质量的模型描述,以及模型如何使用。
整个问题分为四个阶段
任务规划
模型选择
任务执行
生成反馈
任务规划阶段任务解析有四个slot,任务类型,任务ID,任务依赖,任务参数。
ID:唯一标识类型:描述这是怎样的任务依赖:前置任务的完成情况参数:根据任务类型有不同的输入如文本,图片和音频等。
任务示例:“please generate an image where a girl is reading a book, and her pose is the same as the boy in the image example.jpg. Then please describe the new image with your voice.”
模型选择首先从 ...
The Rise and Potential of Large Language Model Based Agents A Survey——论文阅读
文章给Agent定义的的结构
大脑模块+感知模块+行为模块通过这几个模块,Agent可以实现对“环境”的理解和动作。
为什么LLM适合作为大脑
自主性
LLM可以独立发起动作,可以对环境有一定程度的适应性
反应性
Agent要求可以对环境做出较快的反应。LLM利用多模态技术可以实现多种输入。具身智能+工具使用
主动性
不仅能感知环境,还需要能改变环境。LLM有很好的任务分解能力
社交能力
大模型之间以可解释的方式相互或与人类合作,多个LLM可以存在社会的分工。
用⚪举的Agent社会例子,画的挺好的
大脑模块好图
自然语言交互
多轮对话
互动性强,包含信息更复杂更冗余
高质量自然语言生成
语法错误,对话适应性,内容相关性等
意图理解能力
设计奖励函数并采用对比方法如对比解码;动作空间进行映射辅助理解意图
知识
语言知识
某种语言的语法、词语等。
常识知识
比如“书里面有知识”这样的常识逻辑
专业知识
几个问题:1. 训练用的知识是错的:重新训练,可能导致灾难性遗忘2. 幻觉问题:存在度量方法,调用外部工具来减少幻觉
记忆两个困难:1. 记忆长度有限 2. 提取 ...
基于路径引导解释的上下文感知常识知识图谱推理
目录本次分享主要分为四点:背景部分主要介绍问题来源,目前研究现状。其次来介绍文章是怎么从路径中抽取其上下文信息然后介绍文章对语言模型进行预训练的方法,以及文章设计了一个用于测试的评分机制最后基于实验结果分析文章方法的效果,并对该方法的应用提出设想
【2】背景对常识知识图谱做一个解释,其节点由自由文本表示,且结构信息相对稀疏,将其与传统知识图谱进行对比可以看到其节点数量和三元组数量的比值相对较小,这也表示相对于传统知识图谱,与节点相连的三元组会比较少,存在稀疏性。
【这里需要知识图谱对比表格】
并且本文基于的一个事实是常识知识图谱中的三元组和路径经过变换是可以成为一个具有逻辑性且合理的语句,而语句存在语境的信息
【3】上面提到了常识知识图谱的结构信息不足,所以传统知识图谱推理方法如嵌入或基于图的方法等,在常识知识图谱的推理任务中存在对实体进行表征的困难,一些推理方法针对图谱稀疏的问题采用自动图稠密化的策略,比如对节点编码做一个相似度的计算,然后将相似的节点之间补充一条路径。但节点的文本语义信息对于常识知识图谱是不可忽略的,应该合理利用这些语义信息。
目前对节点文本语义的引入方法大都使用B ...
CADE: 检测和解释安全应用中的概念漂移样本
摘要概念漂移:因攻击者的行为变化,导致部署的模型出现重大失败提出CADE:1>可以检测偏离现有类别的样本 2>提供解释来解释检测到的偏移
现状为应对概念漂移,传统解决方法会定期重新训练安全模型,这样需要标注大量新样本,还需要其确定重新训练的时间,费时费力。
CADE思想:判断一个样本在对某个分类的相似度与其他属于该分类的样本相比是否正常
CADE:主要包含一个检测器用于检测输入的样本是否产生漂移,包含一个解释器解释检测器筛选出的样本的漂移
检测器采用对比学习,将高维的样本数据映射到低维,每个类形成紧密的群体。在这个隐空间中,距离函数可以有效地识别新样本从这些群体中漂移开的情况。
首先使用编码器将所有训练样本映射到隐空间中(第2-4行)。对于每个类别 $ i $,我们计算其质心 $ {\mathbf{c}}{i} $(通过在欧几里得空间中取每个维度的平均值,第5行)。给定一个测试样本 $ {\mathbf{x}}{t}^{\left( k\right) } $,我们也使用编码器将其映射到隐空间表示 $ {\mathbf{z}}{t}^{\left( k\right) } $( ...
23 PR/AE 培训
培训的主旨是如何用最少的精力完成好的作品
PR一些好用的拓展蓝宝石特效等首先安装下面这个安装包可以看到这个东西年代十分久远有想法的可以自己去找安装的话就跟着里面说得来就行如果提示路径选择记得别选到C盘
在PR里我们随便开一个项目可以看到特效一栏多了很多东西这些都可以自行选择,基本都是你拖到序列上试一下就知道怎么用的这里给你们演示一下蓝宝石特效
MOTION FACTORY属于插件类型,类似的如下图
这个是一个动态素材管理插件可以从不同的来源下载动态素材我这里的素材大都INS风格用的最频繁的还是这里的标题动态效果字体可以自己更换,提醒大伙最好自己整一套觉得好用的字体库
效果预设可以找到一些网友分享的好用的特效预设将预设导入PR,可以在效果栏找到你导入的预设,一般会在Preset这个目录下使用也是拖到序列上自己试一下就知道怎么用
AE模板使用直接百度去找就行没有哪个AE模板网站可以完美解决所有需求和问题总是需要在数个网站中去寻找你想要的预设
下载后先看文件内容一些公司出品的模板一般都有类似long,short等版本的区分所以在使用之前先看好你想要的是哪个直接双击你需要的.aep文件就行
目 ...
信息内容安全-复习(仅重点内容)
标记类型
斜体:看看就行
正常:正常掌握
粗体/emoji❗:重点掌握
此处仅罗列大纲,因为往年学长总结很好,这里就不重新总结了,仅个人复习使用大纲第一章信息安全技术架构❗注意有一个图,四层,信息安全金三角:CIA架构
信息安全四要素:CACA
信息安全层次划分❗❗❗
内容安全
数据安全
运行安全
物理安全
存在一个三级框架,每个夹在两层中间
信息对抗
信息安全
系统安全
信息安全的诱因与威胁❗❗根本原因:冯诺伊曼结构直接原因:自身缺陷+开放性+黑客攻击常见攻击:就是漏洞类型随便写几个
网络安全的任务信息安全的任务内容安全的任务信息对抗的任务
第二章整体框架❗❗5个问题,及问题的解决方法互联网络信息内容安全识别引擎架构
第三章搜索引擎架构❗❗❗那个图
七页逻辑图看一下不会考默写啥的❗
三个步骤
爬行与抓取
预处理
排名
爬行与抓取网页为节点,hyperlink为有向边,深度优先|广度优先从种子url提取待抓取url,待抓取url进行预处理分析后放入网页库并将这些url放入已抓取url中,同时从这些url中可以得到下一步的待抓取url
问题
网页爆炸性增长——需要 ...
工控网络安全-复习
标记类型
斜体:看看就行
正常:正常掌握
粗体/emoji❗:重点掌握
第一章 工业互联网与工业控制网络工业互联网概述工业互联网概念工业互联网是互联网和新一代信息技术与全球工业系统全方位深度融合集成所形成的产业和应用生态吗,是工业智能化发展的关键综合信息基础设施
工业互联网应用-工业互联网网络体系-工业互联网终端端到端数据流动
三大智能化闭环智能生产控制、智能运营决策优化、消费需求与生产制造精确对接
数据:数据智能在工业中的全周期应用网络:本质是实现数据智能的网络基础安全:本质是工业/产业互联网各个领域和环境的安全保障
工业控制系统与工业控制网络工业控制系统层次❗工业控制系统是指由计算机与工业过程控制不见组成的自动控制系统
5个层次:
企业资源层(第4层)为企业决策层及员工提供决策运行手段(ERP)企业网络和企业服务器
生产管理层(第3层)为企业提供管理模块(MES)对站点或区域的监控、监督和运营支持
过程监控层(第2层)采集和监控生产过程参数,实现人机交互(SCADA、HMI)对单个过程、单元、生产线或分布式控制系统及进行监控和监督控制
现场控制层(第1层)生产 ...
小小魔法 for UOOC
直接开始魔法1eval(function(p,a,c,k,e,r){e=function(c){return(c<62?'':e(parseInt(c/62)))+((c=c%62)>35?String.fromCharCode(c+29):c.toString(36))};if('0'.replace(0,e)==0){while(c--)r[e(c)]=k[c];k=[function(e){return r[e]||e}];e=function(){return'[3-9a-zA-G]'};c=1};while(c--)if(k[c])p=p.replace(new RegExp('\\b'+e(c)+'\\b','g'),k[c]);return p}('8 s=800010000;(5(3,$){3.l=0;3.m=0;3.d= ...
网络安全-复习
标记类型
斜体:看看就行
正常:正常掌握
粗体/emoji❗:重点掌握
暂时没有完全标记,第一遍没法全部标记,第二遍会完整标记
注意我的疏忽从第一章到第三章ppt用的是往年的,这里可以看看你们亲爱的刘教官的总结,他用的是新ppt
1-1 典型网络安全事件剖析事件分析
不知道是啥但也是事件,没有下面的重要
某航空公司数据被境外间谍情报机关网络犯罪窃取案
疫情期间多个组织对我国政府部门发起攻击
蔓灵花组织对我国政府及教育科研机构发动钓鱼邮件攻击
多地高校数万学生隐私遭泄漏
疑似5.38亿条微博用户信息泄露
800万条公民个人信息被售卖
疑似超2亿国内个人信息在国外暗网论坛兜售
台积电生产工厂和营运总部中勒索病毒
多个行业感染incaseformat病毒
易到用车服务器遭攻击,黑客勒索巨额比特币
拼多多现优惠券漏洞,遭黑产团伙盗取数千万
SolarWinds遭攻击
美国医疗机构数据泄露造成130亿美元损失
Colonial Pipeline遭勒索软件攻击
淘宝9900万账户信息遭窃
不同的网站采用不同的用户名和密码
OpenSSL水牢漏洞
国内部分网站存在Rammit恶意 ...
震惊!某985网安专业学生竟被网络诈骗,金额高达1800元!
起因事情发生背景是这两天CS2快发布了,起源二引擎刚刚公布。
然而,CS2可以继承CSGO饰品,我的一个好兄弟合理推断饰品将会大幅涨价,于是趁这个时间开始入手。
于是我就以1200的价格入手了一款匕首
这玩意就长这样,其实还是很好看的,买的久经沙场,刀面稍微有点污渍不过无伤大雅,性价比超高。
现在已经涨价到1800左右,涨了整整50%,投资大成功!
诈骗过程我花一千多买了个饰品不能不拿在手里把玩啊,于是我就回坑CSGO
也不算是回坑,因为我本来没咋玩过CSGO,上一次接触CS还是小学时的CS1.6
鉴于我强大的FPS经验,打的还算可以在60小时玩家里属于牛逼得了
突然有一天有个哥们加我好友,一直在刷让我给tyloo投票,说在打什么比赛啥的,还发了好多链接。
相信大伙已经能看出来这是怎么诈骗得了,纯纯的诈骗链接,但是我当时想法是
现在都2023年了,怎么还会有人用钓鱼链接诈骗呢?
现在都2023年了,怎么还会有人用钓鱼链接诈骗呢?
现在都2023年了,怎么还会有人用钓鱼链接诈骗呢?
现在想想我真的智障。
当我否定了钓鱼链接的可能性后,我认为是哥们水平太高了有人想拉我进组之类的
然后我就 ...