淘宝网提醒器 智能坐姿矫正(提醒器 英文)

本篇文章给大家谈谈提醒器 智能坐姿矫正,以及提醒器 英文的知识点,希望对各位有所帮助,不要忘了收藏本站喔。

文章详情介绍:

提醒孩子注意坐姿全靠狮吼功?这张智能学习桌了解一下

葛优瘫、二郎腿、趴在桌上学习休息……这些是孩子在日常生活经常会出现的习惯性的坐姿习惯,看似舒服惬意,其实却在偷偷蚕食孩子健康,造成脊柱弯曲、弯腰驼背等疾病,影响孩子身体的正常发育。

无数家长也在为解决孩子的坐姿问题苦苦纠结,买矫正身形的产品吧,佩戴上时还有点效果,但一卸下来孩子就回复原形,而且产品使用体验感十分差,勒得孩子浑身难受,根本无心学习收效甚微;家长提醒吧,孩子根本不当回事,原来是什么样,现在还是什么样。

其实,想要真正解决孩子的坐姿问题,必须激发孩子的内在潜力,让孩子自发性主动注意自己的坐姿,光借助狮吼提醒或者矫正坐姿产品等外力来培养孩子的坐姿习惯终究只是徒劳。

Fitfithealth智能健康学习桌则真正从实际出发,运用智能技术帮助孩子养成良好的坐姿和生活习惯。

系统会通过神经系统来对孩子使用过程中的姿势和身体部位进行定位、分析,判断出孩子的坐姿是否正确,一旦出现不良坐姿,系统会自动提醒孩子注意纠正改善。

还有值得注意的是,系统还会利用大数据、云计算等技术,统计、计算孩子的不良坐姿数据,分析孩子常见的习惯性不良坐姿,帮助孩子有的放矢、循序渐进地改善坐姿习惯。

系统还会通过对孩子活动幅度及频率的分析,判断统计专注学习时长及习惯,帮助家长和孩子更好地调整学习方法和习惯。

漫谈Prompt(提示工程)与CoT(思维链)

引言

聊聊ChatGPT背后的核心技术:Prompt提示工程,ICL,CoT(思维链)技术,向时代弄潮儿致敬。

1 海啸之下

ChatGPT概念冲击之下,各大厂商纷纷使出浑身解数,希望跟上节奏,快速复刻,抢占先机:

(1)依葫芦画瓢:从大模型(1750亿级别)入手,fine-tune(精调),植入RLHF、CoT、ICL等技术,试图趋近ChatGPT效果。目标明确,路径相对清晰,风险较低。(少数先行者)

(2)观望徘徊:这次变革有那么大吗?不会又是炒作吧?先观望下,别人趟完坑再说,先按兵不动。(主流)

(3)弯道超车:理解ChatGPT背后原理及不足,做出更好的聊天机器人。理想很美好,现实很骨感,道阻且长,这条路注定不会一帆风顺。(个别勇者)

历史经验表明,人的认知总是偏离现实,如高德纳(Gartner)技术曲线所示

技术突破后,业务飞速增长,人们从犹豫转向过度乐观。

落地过程中遇阻,发现并非想象的那么美好,转而一哄而散,悲观起来

一批有毅力的人继续钻研,攻克难题后,再次爬升,人们又开始从犹豫到乐观

如此循环往复,先行者在蓝海里抢占先机,盆满钵满,跟随者也能勉强分一杯羹,而后知后觉者,只能捡捡残羹冷炙,把碗舔干净。

智能手机就是个典型案例,从厚实耐用的功能机(诺基亚),到不伦不类的早期智能机(黑莓),再到全屏幕智能手机,2004-2014年,才不过10年时间。

神经网络的三起两落也是如此

(1)控制论时代(1940-1960),Hebb学习法则加持下,感知器诞生,可以模拟大脑神经元了,可是解决不了异或问题(非线性),Marvin Minsky 的论证下,大家一哄而散,异或门成了神经网络的命门

(2)联结主义时代(1986年左右),敢于坐冷板凳的hinton(图领奖得主)重新发明了BP反向传播算法,解决了简单神经网络训练问题;接着,Cybenko 提出了著名的通用逼近定理(Universal Approximation Theorem),指出单隐层的全连接神经网络能以任意精度逼近任意函数。正当人们过度乐观时,1964年提出的支持向量机(SVM)算法厚积薄发,相比神经网络的局部最优解及难以训练,它能给出全局最优解,于是大家纷纷转换赛道,研究SVM了。

(3)深度学习时代(2006年以后),还是坐冷板凳的hinton等人,提出了自编码器和RBM,网络初始权重不再随机,有了更高的起点,再结合pre-training和fine-tune,解决了多层神经网络的训练问题,深度学习概念正式诞生,掀起了第三波浪潮,火到现在。

这次ChatGPT来了,吃瓜大众兴高采烈的体验各种玩法,不断发现“新大陆”,刷新认知,稍微懂得多的人(比如我)开始给别人科普。

随着讨论的进行,吃瓜群体也开始分化:

一部分瓜友在媒体渲染下开始失去独立判断,跟着起哄:ChatGPT具备8-9岁心智(有人还说大学生水平)和独立意识,理解力超强,马上替代搜索引擎,颠覆各行各业。

一部分瓜友,反过来将ChatGPT咨询等同于一般的八卦炒作,嗤之以鼻,置若罔闻。

剩下的人继续在迷雾中彷徨,人云亦人,不知所以。

由于场景、个性、认知、立场等差异,对同一件事情,不同人往往有不同看法,有的甚至截然相反。

单从认知过程来看,达克效应提醒我们,人对陌生事物的认知存在一定规律:愚昧山峰→绝望之谷→开悟之坡→平稳高原

具体来说

愚味山峰:不爱学习的人大多处于这个阶段,对人对事没有清醒的认识。

绝望之谷:在现实面前,自信心受到严重打击,意识到了自己知识技能的欠缺。越早醒悟,后期发展越平稳。

开悟之破:这个阶段的人最愿意接受新事物,对未知充满敬畏和好奇,不断累积经验和升华智慧。

平稳高原:终于成为某一领域的佼佼者,这时人会意识到事物的本质,甚至生命的价值,达到度己度人的境界。

然而,无论大家的观点有多么迥异,事实始终只有一个。很多事情并不是非黑即白,而是高分辨率的灰色。

那么,怎样看到庐山真面目?以包容的心态,吸纳有事实依据且逻辑合理的观点,加以消化理解,形成自己的观点。由于此时的观点依然是局部最优,我们还需要与时俱进,时刻反思、更新、迭代,这样才能无限趋近庐山的真实容貌。

所以,遇到不懂的话题,不轻易发表观点,搜集资料,自己分析、理解,时机成熟再说。

比如,几天前连续看到两家跟ChatGPT有关的新闻

复旦大学发布ChatGPT内测版(网站已崩,无法体验,邱锡鹏实验室承认效果不好)

红棉小冰发布“小冰链”内测新闻(依然找不到体验地址),

谷歌搜下,只发现几条新闻(大部分重复),“小冰链”的功能更为强大。

2 刻舟求剑:仿ChatGPT

回到依葫芦画瓢,很多大厂从大模型(1750亿级别)入手,fine-tune(精调),植入RLHF、CoT、ICL等技术,试图趋近ChatGPT效果。

这条路因为路线清晰,目标明确,风险较小(只要速度够快),选手众多(不罗列),我们称之为“刻舟求剑”派,正在如火如荼的推进中:

GPT-3和InstructGPT(3.5系列)没开源——没关系,找GPT类似结构模型,改进

OpenAI用了海量训练数据——用已有的大模型(1750亿级别)冷启动

OpenAI用了指令微调、强化学习——没事儿,改代码,植入进去,已有ChatGPT开源实现(Colossial AI)

OpenAI用了大量算力——结合自身业务,做领域微调,裁剪

比来比去,对于手头紧的人,稍微可行方案:开源大模型(BLOOM、OPT)+指令微调+RLHF

ChatGPT国内赛开卷后,企业、高效、个人纷纷介入。有人唱衰道:OpenAI做出ChatGPT,靠的是八年的积累,国内公司靠几个月冲刺,能做出来吗?

即便是微软,拥有OpenAI的资源,推出的新版Bing依然处于振荡期,还不能真正落地。谷歌更不用说了,火急火燎推出内测版,接着光速打脸。

而国内公司,向来擅长从1到10,商业应用优先,至于从0到1的基础创新鲜有触及,资本没那么耐性,创始人也未必有

不少人对国产ChatGPT的处于悲观状态。理由很多,也很充分。

回顾达克效应:人的认知总是偏离事实。

3 弯道超车:小冰链

正当大家怀疑“刻舟求剑”之路是否走得通时,国内对话系统领域老牌霸主红棉小冰在2月20日左右内测上线小冰链(X-CoTA),用逻辑思维驱动“下一代行动中枢”

X-CoTA是指:X-Chain of Thought & Action,涉及两个关键词:

Chain of Thought:鼎鼎大名的思维链。

Action:执行某个指令。当前的ChatGPT只能生成文本,不具备执行能力,Meta发过一篇论文,将检索、组装能力集成到ChatGPT中。

X-CoTA将两者结合起来,既能展示机器人背后的理解、思考过程,又能看到准确的结果。

示例:

输入:“《肖申克的救赎》这部电影怎么样?”

小冰链:“《肖申克的救赎》是一部经典的电影,讲述了安迪。。。”

中间过程:“我需要了解电影的评价”、“心想:我现在知道最终答案”,思考过程包含行动、行动指令和发现

而ChatGPT扔下答案就没了。

相比ChatGPT,小冰链(X-CoTA)不止是回答问题,还将思考过程和证据都展现出来。这样便于定位、修复中间过程的问题,解决复杂推理难题。

CEO李笛:小冰链所代表的方向,是利用大模型技术实现下一代的控制中枢。

通俗来讲,这使小冰不再只是“聊天”,而是在“逻辑思维”驱动下的“下一代行动中枢”,覆盖数字和物理世界。这一方向将成为下一个真正带来影响的大模型创新突破。

小冰链相较于ChatGPT有何优势?

小冰链是实时获取信息的,ChatGPT是从训练数据中总结;

小冰链的逻辑思维过程更透明可观测,而ChatGPT是个黑盒子。

最本质的区别是小冰链是有行动,例如去外部搜索;

ChatGPT是只说(对话生成),并没有行动。

小冰链解决的问题还有:

解决大模型训练数据更新不及时的问题

提高回复的准确性和可信度,使信息可溯源;

有效降低参数规模和成本,促进普及等。

跟随ChatGPT做军备竞赛是刻舟求剑。因为大模型技术本身正在快速发展,应当进一步去布局下一站的未来,而不是照抄当前的ChatGPT。换言之,应当去思考ChatGPT之后的是什么,而不是做中国的ChatGPT。

期待小冰链早日问世。

4 Prompt(提示范式)

ChatGPT技术上的成功因素

GPT-3模型参数高达1750亿个,打好了底子:世界知识、对话语料以及代码语料以及上下文学习(ICL),只需要给几个任务示例,模型就自动作答,对比两阶段范式,高级太多。

ChatGPT继续使用小型标注数据集(肯尼亚廉价外包劳工标注的7.7w条数据)进行监督指令微调,(SFT),这样模型能更好的理解人类指令及语言表达习惯。预计通过这几个月的全世界吃瓜群众的无私奉献后,效果会更好;是不是才发现自己比肯尼亚劳工更惨?本想吃个瓜,结果不但没有一毛钱吃瓜费,还要花钱花精力贡献语料。

InstrctGPT架构新增奖励模型(RM),RLHF,将强化学习引入大语言模型训练中,提升SFT结果,如此循环往复,使其具备持续迭代能力

最重要的就是ICL(上下文学习或情境学习)背后的大方向:提示学习(Prompt)。

NLP任务解决方案(又称NLP范式)进化路线:

(1)传统监督学习:常规机器学习方法(SVM/贝叶斯等)来实现监督任务(文本分类、文本摘要、词性标注等)

(2)神经网络-监督学习:升级为拟合能力更强的神经网络方法,针对不同NLP任务,单独准备数据、训练,任务之间互不相通。

(3)pre-train + fine-tune:目前流行的两阶段范式,共用pre-train部分的模型,根据下游任务自行fine-tune,适应不同的场景任务,更加“节能”省心。

(4)pre-train + prompt + predict:模板prompt范式,fine-tune消失了,直接在prompt工程里提前实现,下游只需要给出prompt指令。不同大模型之间建起了桥梁,不再隔离。使用方无需准备监督语料,无需单独训练,很省心。

 

 

 

模式paradigm 工程重心engineering 示例 任务关系task relation
①全监督(非神经网络) 特征 如单词,词性,句子长度等 分类、序列标注、语言模型(无监督)、生成
②全监督(神经网络) 结构 如卷积、循环、自注意力 同上
③pre-train与fine-tune 目标 掩码语言模型、NSP下一句预测 以语言模型为中心,含无监督训练
④pre-train、prompt与predict 提示 完形填空、前缀 语言模型为中心,含文本提示

 

 

 

范式工程重心转变:文本特征→网络结构→任务目标→任务提示,越来越自动化、全能化,下游任务使用代价逐步减少。

什么是Prompt?Prompt 就是 提示:

比如有人忘记某个事情,你只需给予特定提示,他就可以想起来

示例:

背诗:提示 白日依山尽, 大家自然而然地会想起来下一句诗:黄河入海流。

搜索引擎:可以根据输入,进行输出提示:

提示学习将这种模式植入到大语言模型训练中,像人一样激发了大语言模型的学习能力。

prompt 就是给 预训练语言模型 的一个线索/提示,更好的理解 人类的问题。

根据提示,BERT能回答,JDK 是 Oracle 研发的

根据 TL;DR: 的提示,BART知道人类想要问的是文章的摘要

根据提示,ERNIE 知道人类想要问鸟类的能力–飞行

prompt范式正在快速崛起,即将替挤掉两阶段范式的王位。

影响大吗?有多大?

以对话系统为例,当前主流方式是pipeline架构,详见:ChatGPT:从入门到入行(放弃)

NLU、DM、NLG等各个子功能分别实现,子模块又能继续细分为更小的NLP任务。

NLU(自然语言理解):意图识别、实体识别(含关键词抽取)、情感分析、句式识别、文本摘要等

DM(会话管理):DST会话状态跟踪、DP对话规划,还有各种API

NLG(自然语言生成):模板、知识融合、风格化等

还有语音环节的ASR和TTS,OpenAI 2022年10月开源的whisper已经实现了end2end。

ChatGPT方式是end2end架构(Prompt范式加持)的成功范例,NLU+DM+NLG融合成一个整体,一旦真正落地,不少NLP从业者的饭碗估计没了,几十个人的对话算法团队可能会缩减到几个人,这种效率提升不仅影响对话系统,还有搜索、问答、内容创作等业务,GPT模式推广到AIGC整个领域(图像、视频、语音),其威力可想而知。详见:AIGC(ChatGPT)怎么这么火?

NLP第四代范式(prompt范式)的强势崛起,让人猝不及防。困扰业务方多年的的数据问题(缺乏海量数据+监督语料)没了,下游只需使用Few shot或者Zero shot即可完成任务。Few-shot下GPT-3有很好的表现,大模型竞赛从“大力出奇迹”转向了小样本学习,量变引起质变。

5 ICL(上下文学习)

Prompt学习出来后,迅速进化出演示学习(DL),以及上下文学习(ICL)。

2021年初,Prompt learning 提示学习

2021年底,Demonstration learning 演示学习

2022年初,In-cotnext learning 情境学习/上下文学习

In Context Learning(ICL)的核心思想:从类比中学习。既然人可以从题目示例中学习解题方法,那大模型为啥不行?

看看语言模型如何使用ICL进行决策

首先,给ICL一些示例, 形成演示上下文。示例用自然语言模板编写的。

然后,ICL将查询问题(即input)和一个上下文演示(一些相关cases)连接在一起,形成带有提示的输入,并将其输入到语言模型中进行预测。

隶属于小样本学习的情境学习有三种分类:

few-shot learning 多个示例

输入:“这个任务要求将中文翻译为英文。你好->hello,再见->goodbye,购买->purchase,销售->”

要求模型预测下一个输出应该是什么,正确答案应为“sell”。

one-shot learning 一个示例

输入:“这个任务要求将中文翻译为英文。你好->hello,销售->”

要求模型预测下一个输出应该是什么,正确答案应为“sell”。

zero-shot learning 没有示例

输入:“这个任务要求将中文翻译为英文。销售->”

要求模型预测下一个输出应该是什么,正确答案应为“sell”。

6 CoT(思维链)

prompt范式进化史上一大功臣就是CoT(思维链)

2021年,提示学习(prompt learning)浪潮兴起,以离散式提示学习(提示词的组合)为起点,连续化提示学习(冻结大模型权重+微调较小参数达到等价性能)为复兴,几乎是在年末达到了研究的一个巅峰。

2022年开始,有人意识到: 连续化提示学习存在局限性,比如伪资源节约,不稳定等等。很多研究者虽认同提示学习将会带来下一代NLP界的革命,但是拒绝做他人大模型的附庸,开始探索大模型的训练技术,手头紧(没大量服务器+数据)的研究者再次将研究重心从连续化学习转移到离散式提示学习,聚焦于大模型GPT3上。

此时,距离175B的GPT3模型发布和上下文学习(ICL)不到2年,热度经历了高潮与低谷,深度学习流派关于连接学派和符号学派的辩论和是否具有意识和推理能力的讨论,一些基础玩法在被开发之后就被搁置了一段时间,直到提示学习的兴起。

大模型下的上下文学习(即不训练,将例子添加到样本输入前面,让模型一次输入这些文本并完成特定任务),相比于之前传统的上下文学习,即通过 x1,y1,x2,y2,….x_test 作为输入来让大模型补全输出 y_test,思维链多了中间的一些闲言碎语絮絮叨叨,宛如一个话痨。

思维链的絮絮叨叨,即不直接预测y,而是将y的“思维过程”r(学术上统称为relationale)也要预测出来。当然,这些“思维过程”只是用来提示,获得更好的答案,实际使用时不需要展示。

论文里的示例:不再是死板的提供问题和答案样例,而是给出中间推理环节,让模型学习到中间过程里的推理逻辑和思考方式。

附:CoT论文《Chain-of-thought prompting elicits reasoning in large language models》一作是华人帅哥,2020年本科毕业于达特茅斯,Jason Wei当时是谷歌大脑研究员,2月15日,他决定加入OpenAI,步AK-47(Andrej Kaparthy)后尘。

 

 

 

 

 

 

越多越多AI算法作者名单中出现中国人身影了。国内是该反思下为什么留不下这些人才。吸引这些精英们可能是丰厚待遇,也可能是宽松的研究氛围,更可能是个人价值,比如理想主义:不遗余力的推动AGI发展。

2022年5月,谷歌年度开发者大会(Google I/O)上,CEO对对CoT技术进行了宣传

小冰链把中间的思考过程展示出来了,这样机器具备了更强的理解能力,就像上学时学习体操,整体动作学不会,体育老师就一遍又一遍展示分解动作,连起来就是更完美的整体动作。

实验证明,这么做能够显著提升性能(左图),而且这种提升具有井喷性质(右图),后来称这种性质叫涌现性。

语言模型的缩放规律(scaling law):

随着模型大小呈指数增长,性能呈线性增长

这还怎么玩?数据+计算能力总不能继续指数增长,就为了获取语言模型的线性性能吧?大力出奇迹玩不下去了。

直到思维链的出现,打通了语言模型的任督二脉。

2022 年 1 月,Wei 等人 基于 540B PaLM 模型,仅使用了8个思维链提示示例便将准确率提高到56.6% (无需将训练集增加两个数量级)。

封印(缩放定律)解锁后,技术进步开始呈指数级增长。

两种曲线中:对数线性曲线和相变曲线

思维链提示展示了模型随着规模扩大而出现涌现能力(Emergent Abilities):

突现能力:尽管不需要 17500B,但模型大小确实要大于 100B ,才能使思维链的效果大于的仅有回答提示。这种能力只存在于大型模型中。

效果:思想链提示性能明显优于其之前的精调方法(目前还没有能公平对比提示词和微调的工作)。

标注效率:思维链提示只需要 8 个示例的注释,而微调需要完整的训练集。

思维链研究较少,因为太新了,不过效果好,预计会有一大批人涌进来,研究CoT,让大语言模型翅膀更大更结实,飞得更远。当然,也可能是遇到更大阻力,进入“寒冬”。毕竟“人的认知总是偏离现实”,跟随者在浪潮中间来回摇摆,而理想主义者在远大目标驱使下艰难前行,直至一鸣惊人,成为地地道道的“弄潮儿”。