Ⅰ GW是什么意思
网络游戏《激战》英文名称缩写。《激战》是Patrick Wyatt、Mike O'Brien、Jeff Strain,三名曾经的暴雪核心员工离开暴雪,独自成立了一个名为Triforge现改名为ArenaNet的游戏开发公司所设计的。国内前代理第九城市公司现亚洲全面停运无公司代理。激战最大的特征是支持多样化的对战方式,在激战的世界中,不论进行任务或是团体对战,系统会自动实时生成团队专属的独立地图,在可以让玩家尽兴的进行个人擂台赛、公开选拔赛。
《激战》是Patrick Wyatt、Mike O'Brien、Jeff Strain,三名曾经的暴雪核心员工离开暴雪,独自成立了一个名为Triforge现改名为ArenaNet的游戏开发公司所设计的。
ArenaNet是NCsoft旗下位于北美的子公司,是3D大型多人在线角色扮演游戏《激战》及其续作《激战2》的开发公司。该公司成立于2000年3月8日,由前暴雪公司精英人员组建。2002年12月,韩国着名网络游戏开发公司NCSOFT宣布收购ArenaNet公司,从此ArenaNet公司的事业重点逐渐定义为互交式游戏网络的开发与多种游戏方式的网络游戏企划及制作上。
Ⅱ 神经网络语言模型(NNLM)
首先看一个例子:
ztc/ 上下/ 齐/ 拼搏/ ,誓为/ 春战/ 做/ 贡献
这句话呢通顺,意思明白,那如果换一下词的位置:
上下/ 齐/ 拼搏/ ztc/ ,春站/ 做/ 贡献/ 誓为
意思含糊了,但是大概意思还是能猜到,那如果在变换一下:
拼搏/ 齐/ ztc/ 上下/ ,贡献/ 誓为/ 做/ 春战
现在这句话已经不知所云了,如何判断这个由词序组成的序列是否符合文法、含义是否正确?
统计语言模型:一个句子是否合理,就看他的可能性的大小,即他的概率大小。
假设一个句子S,由一连串特定顺序的词W1, W2,...WT 组成,T是句子中词的个数,则S出现的概率P(S) = P(w1, w2,...wT)
利用条件概率公式展开:
P(w1,w2,..wT) = P(w1) P(w2|w1) P(w3|w1,w2) ... P(wT|w1,w2,..wT-1)
即:
当语料中词典大小为100,000,句子平均长度为5时,需要学习的参数大概100000 * 5 -1 个,为了降低计算复杂度,并考虑到词序列中离的更近的词通常在语义上也更相关,所以在计算时可以通过只使用前面n-1个词来近似计算,即n-grams:
n-grams存在的问题:1.泛化时常常有训练语料中没有出现过的词序列;2.没有考虑词之间的相似性。
NNLM
1.对词库里的每个词指定一个分布的词向量
2.定义联合概率(通过序列中词对应的词向量
3.学习词向量和概率函数的参数
why it works?
如果我们已知 “走” 和 “跑” 是相似词,那很容易通过 ”猫在屋里跑“ 推出 “猫在屋里走“,因为相似的词会有相似的词向量,而且概率函数是特征的平滑函数,所以特征的微小变化,只会对概率值产生一个很小的影响。即:1.相似词在特征空间距离更接近;2.概率函数是一个相对平滑的函数,对特征值的变化不是非常敏感。
所以训练语料中句子的出现不光增加了自身的概率,也增加了他与周围句子的概率(句子向量空间)
目标:f(wt ,··· ,wt−n+1) = Pˆ(wt |w1,w2,..wt-1 )
约束:
1 , ∑ |V| i=1 f(i,wt−1,··· ,wt−n+1) = 1
2.f>0
通过得到的条件概率进行相乘,得到词序列的联合概率
模型被分成二部分:
1.特征映射:通过映射矩阵 C∈R ∣V∣×m
将输入的每个词映射为一个特征向量,C(i)∈Rm 表示词典中第 i 个词对应的特征向量,其中 m 表示特征向量的维度。
2.概率函数g。通过context中词的词向量来映射下一个词的条件概率。g的输出是一个向量,其中第i个元素表示了字典中第i个词的概率。完整的模型表达如下:
函数f由两个映射(g and c)组成,其中c由所有的上下文共享。
训练过程中的参数就由两个映射组成,设 g 对应参数为w,c映射的参数就是自身,则 θ=(c, w)
训练过程就是学习θ的最大似然:
其中R(θ) 是正则项。
模型中参数与字典大小V成线性关系,且与n(n-grams)成线性关系,不过可以通过共享结构降低参数数量,如延时神经网络或循环神经网络。
实验中,神经网络层只有一个隐层,有一个可选的词向量到输出的直连层,实际上就有两个隐层,一个共享的词向量C 层,该层没有激活函数,还有一个tanh激活函数的隐层;最后的输出层是一个softmax层,来保证所有结果的和为1:
注意:第一层是没有非线性激活函数的,因为非线性激活函数会带来其他信息(联想神经网络中非线性激活函数),而正是这种直接的线性变换,才能让第一层的参数来作为词向量
用yi表示每个输出词的对数概率,则
y = b+Wx+U tanh(d +Hx)
其中x是词向量的拼接,x = (c(wt-1),c(wt-2),c(wt-n+1))
并行
参数与输入的窗口大小和字典的大小成线性,但是计算量却比n-grams 要大很多,首先n-grams中不需要每次都计算所有词的概率,只需要相关词频的线性组合,另外神经网络中主要瓶颈是输出层的激活计算。
out-of-vocabulary word
首先根据窗口上下文可能出现的词,进行加权求和初始化新词的词向量,然后将新词 j 加入字典,然后利用这部分数据集重新训练,进行retune.
后续工作
1,分解网络到子网络,如使用词聚类,构建许多小的子网络可能更快更简单
2,用树结构来表达条件概率:神经网络作用在每一个节点上,每个节点代表根据上下问得到该词类的可能性,叶子节点代表词的可能性,这种结构可以将计算复杂度从|v| 降低到 log|v|
3,梯度传播时可以只在部分输出词上进行,如某些条件下最相似的(如三元模型)。如果用在语音识别,可以只计算听觉上相似的词。
4,引入先验知识,如语义信息和语法信息。通过在神经网络结构中共享更多的结构与参数,可以捕获长期的上下文信息,
5,如何解释神经网络得到的词向量
6,上述模型对每个单词分配一个在语义空间的点,所以无法解决一词多义问题。如何扩展当前模型,在语义空间中为词分配多个点来代表词的不同语义。
作者提出的后续工作中,目前是很多人的研究方向,一些已经被证明有效。
第一个,优化网络结构,提到了从数据方向,构建更多的子网络,还可以直接对网络结构本身进行优化,如word2vec,将神经网络层去掉;
第二个,由于计算瓶颈在计算output的概率(对每个词计算概率,需要softmax归一化),所以提出可以通过树结构,来避免直接对所有词进行计算,如 Hierarchical Softmax
第三个也是在计算输出时,只通过一部分词来进行梯度传播,如负采样
第四个是通过共享结构,来捕获更多上下文信息,如GPT,Bert
第五个是如何解释,也是目前很多人的研究方向
第六个是一次多义的解决方法,如ELMO
参考:
http://www.iro.umontreal.ca/~vincentp/Publications/lm_jmlr.pdf
Ⅲ 神经网络具体是什么
神经网络由大量的神经元相互连接而成。每个神经元接受线性组合的输入后,最开始只是简单的线性加权,后来给每个神经元加上了非线性的激活函数,从而进行非线性变换后输出。每两个神经元之间的连接代表加权值,称之为权重(weight)。不同的权重和激活函数,则会导致神经网络不同的输出。 举个手写识别的例子,给定一个未知数字,让神经网络识别是什么数字。此时的神经网络的输入由一组被输入图像的像素所激活的输入神经元所定义。在通过非线性激活函数进行非线性变换后,神经元被激活然后被传递到其他神经元。重复这一过程,直到最后一个输出神经元被激活。从而识别当前数字是什么字。 神经网络的每个神经元如下
基本wx + b的形式,其中 x1、x2表示输入向量 w1、w2为权重,几个输入则意味着有几个权重,即每个输入都被赋予一个权重 b为偏置bias g(z) 为激活函数 a 为输出 如果只是上面这样一说,估计以前没接触过的十有八九又必定迷糊了。事实上,上述简单模型可以追溯到20世纪50/60年代的感知器,可以把感知器理解为一个根据不同因素、以及各个因素的重要性程度而做决策的模型。 举个例子,这周末北京有一草莓音乐节,那去不去呢?决定你是否去有二个因素,这二个因素可以对应二个输入,分别用x1、x2表示。此外,这二个因素对做决策的影响程度不一样,各自的影响程度用权重w1、w2表示。一般来说,音乐节的演唱嘉宾会非常影响你去不去,唱得好的前提下 即便没人陪同都可忍受,但如果唱得不好还不如你上台唱呢。所以,我们可以如下表示: x1:是否有喜欢的演唱嘉宾。x1 = 1 你喜欢这些嘉宾,x1 = 0 你不喜欢这些嘉宾。嘉宾因素的权重w1 = 7 x2:是否有人陪你同去。x2 = 1 有人陪你同去,x2 = 0 没人陪你同去。是否有人陪同的权重w2 = 3。 这样,咱们的决策模型便建立起来了:g(z) = g(w1x1 + w2x2 + b ),g表示激活函数,这里的b可以理解成 为更好达到目标而做调整的偏置项。 一开始为了简单,人们把激活函数定义成一个线性函数,即对于结果做一个线性变化,比如一个简单的线性激活函数是g(z) = z,输出都是输入的线性变换。后来实际应用中发现,线性激活函数太过局限,于是引入了非线性激活函数。
Ⅳ 求一些常用的网络用语,加上解释哦
坛子-- 论坛 ! r3 r" u8 a6 S0 o% f6 F D: }
菜鸟,小虾,初哥=就是初级水平的新人
; j$ {# o5 i! y9 c/ a老鸟,大虾=高手,
% |* v+ A( W) N1 t5 r恐龙 :长得不太好看的女生(带歧视性质,请不要多用)
9 x7 O9 Q. Q* J! u, O4 ^! V2 ~% L青蛙:长得不太好看的男生
+ l' l+ }) o% P4 [! w小P孩=对年龄小,不懂装懂的人的蔑称
2 f3 s) @5 `; m' f: V: O( o& E蛋白质=bd+bc+sjb=笨蛋+白痴+神经质1 M; T8 z+ \. Q3 p# }9 c
打铁:写帖子,一般指有点儿重量的帖子。 2 _- d# a |4 l$ _2 A) p! w8 p% {
拍砖:批评,点评等。表示反对意见,对某人某帖发表与其他人不同看法和理解的帖子。 例句:侠友们拍砖请注意口气和态度,否则很容易转化为人身攻击。 / I' |6 M4 H7 z
刷屏:打开一个论坛,所有的主题帖都是同一个ID发的。
- X, J( @8 @( l) D3 o1 t+ P" q+ }扫楼:也叫刷墙,打开一个论坛,所有主题帖的最后一个回复都是同一个ID的。 0 ^3 P, U- @- i6 o
盖楼:回同一个主题帖,一般粉丝比较喜欢盖楼。
0 q- g9 S. ]4 d% v( E老大 :常被众人吹捧又常被众人暴打的人 这是网络通用解释,书剑的话是专指某人的8 z5 g( [( V, [3 a4 F, ^
楼上的 :前一个发帖子的人
6 `$ Y: o* u" V板斧 :版副
4 S0 K, z& G, c1 N斑竹,板猪=版主,BBS(论坛)的管理员
. B* O3 x J/ z' v/ `6 a楼主:论坛中发主题的人 ,发帖子的人
4 Z7 q* A2 R2 Q2 Q( BID:就是你在论坛所使用的用户名。
0 v5 ^* z; u. s& a0 ]马甲 :小号。已经注册的论坛成员以不同的ID注册的论坛成员.通常有多个. . e2 e+ \" d7 B1 c+ D6 b r A
工分-- 总发贴数 * W3 m( ?2 C8 D, C: u
灌水=灌水是指在论坛发表没有阅读价值的文章。发无关紧要的帖子,在坛子里聊天等,主要功能为交流感情,还有最重要的,可以长工分。原指发长贴。
7 y: Z) `& {6 D3 Z$ _3 d X e潜水=潜水顾名思义,论坛里沉默不发帖的人! d& m9 v7 l' R<br>水桶、水鬼、水仙、水王、水母=均指灌水狂人,# `7 m" n* |# V<br>顶-- =UP,因为坛子的程序按照最后回复时间的先后排列,回一个帖子就可以把帖子提到最顶上,所以为了让一个引起他人注意就发一个帖子,内容是:顶,或者UP,或者啊噗。衍生词汇:沉下去,浮上来。 论坛里,新帖没人回复,该帖子就会在主题列表里排列在最上面,同意叫"顶"要不它就"沉"了<br>" L% o$ b6 `' N, p. J抓狂=受不了刺激而行为失常<br> ?; L' R4 h6 v9 |粉丝=范丝=饭丝=fans,指某人的崇拜者。<br> p# Y5 h$ A3 F) K n4 A统一=刷墙=扫楼=整个版面都是你的回复,一种被谴责的行为<br>/ Z: E; _+ M' a! N& R沙发:SF,第一个回帖的人。后来,坐不到沙发的人,声称自己坐了“床”或楼主的“大腿”~ ! k9 {0 b# K% h. E<br>椅子:第二个回帖的人。 <br>; B Y. @$ w- F x- Z3 [% f板凳:第三个回帖的人。 <br>/ [# q% [6 e3 e/ n% F, Q) a Y; J/ K1 p) n地板:连板凳都没得坐的人。4 l# y: V# A3 _ J0 V" |- f<br>地下室:连地板都没有的人 <br>- P% s; c/ e2 l) I+ A' e0 A2 U' j( S; D' B火星帖:很久以前已经被无数人看过转过的旧帖,转火星帖的人被称为火星人。通常回帖会这样说:楼主还是快回火星吧,地球是很危险滴。(来自周星星《少林足球》)0 A3 A7 s' h; N<br>2、谐音<br>9 @4 t+ y+ y8 i& K1 l9 ^9 o偶=我<br>9 U9 i+ {5 W# E/ R5 p5 X稀饭=喜欢: \+ F7 ~/ A7 [% V: P<br>偶稀饭:我喜欢; <br># c/ z1 w$ \1 M6 N" y表 :不要 应该是因为将不要两字连读【bu yao】而成 比如:表太好=不要太好<br>% x# n: B) `6 M2 x( y酱紫=这样子,出处同上<br># L+ T3 A% V! r; I; X$ ?* @9 B0 v. ^8=不,比如:8要=不要。也解释做“拜”比如:886=拜拜喽<br>0 v" M# ^% p8 B+ W虾米=什么<br>( F% l( [; G# F4 |$ B果酱=过奖* Q. h% [8 H. ]<br>好康 :好看 D% H% o. k1 I- }' p' t. q
木油=没有
+ B+ a. `0 U1 Q4 r& {口耐=可爱" b% ?# R( Q/ Z% R# u$ P
3、动作
* ~- S0 Q5 o; z9 @7 `+ m' y' s倒塌=倒=晕倒,厥倒,狂晕% `2 a# X5 R" l( r
汗或寒:有两个意思,敬佩或从头到脚的冷;
4 K' {$ d( ^, G r9 `; M0 V闪:离开。
$ l* A0 Z1 v# m( r {5 {呼呼,猪猪=睡觉1 u8 p% F6 k, f! l- o* J9 m5 O<br>咔嚓=砍了<br>+ X# ~ w2 `# D无语=没有话说了( D t5 S' s, [<br>喷=笑,看到好笑的东西一下子笑喷了,如果正在吃东西或者喝水的话,屏幕就要倒霉了9 G% u. G8 i5 o<br>有时也指震惊过度的意思 f0 ?. V+ h" d1 _<br>泪奔=哭着跑了$ _, v0 J. K x- M3 I$ Z5 J<br>望天,远目==发呆,一般指看到了一些帖子之后,虽然不太赞同但是暂时没有话说,处于短暂的大脑空白状态,或者指极不赞同极度无语<br>/ _9 {. \3 {4 j$ Y粉=很,非常,由闽南方言演变 2 F) i2 A: P/ F$ }1 Y
超/强/哈/巨/狂/严重… 表示特别,起夸张、加强语气作用。例句:你这人超厉害!我对你的说法严重支持!: J& s) e; u6 ?* W {
走召弓虽=超强
9 l( Z1 e0 x% T6 p7 _$ }# ]! i6 a0 B' H咔哇依==可爱,日文发音* h4 u9 }7 g8 W" k! q3 ~
厚厚,吼吼,咔咔(kaka),嘻嘻(xixi)=语气助词
6 [: m: z- f# _4 ?; ^0 |6 ^7 [* y4、拼音缩写,英文缩写,数字
$ F/ A2 U. @% a6 JBT==变态的拼音缩写9 f( V8 N5 q& |! S" R
BH==彪悍的拼音缩写
$ X5 l9 U8 i' U; P! u+ ~. VBC==白痴的拼音缩写
" @. F6 e3 M0 e' J( dHLL==华丽丽的拼音缩写
. w2 O9 A9 I8 OCJ==纯洁的拼音缩写
0 a% o: J0 U2 p1 `5 y3 i* Tft=分特=faint的简称,晕倒的意思,,表示惊讶,不可理解,不可置信等意思。
8 y+ S9 H3 H$ U0 g7 e& D2 z. DPF :佩服 6 D# o$ j0 J; o- [" s* E
FB-- 腐败的拼音缩写,指聚会+吃饭+活动。
- _% C7 O" T+ k' ~LP-- 老婆的拼音缩写。有时也指个人的心爱之物。
; t) B) E* K! X* h* ~) _LG-- 老公的拼音缩写
' Q) i/ @- \! fGF-- 女朋友,源于洋文Girl Friend,对应词是BF。专指有可能会成为LP的GF。 + x: i) i6 d# s2 h
BF-- 男朋友, 源于洋文Boy Friend,对应词是GF。专指有可能会成为LG的BF。
5 _% B) A- e! q( ^TX-- 同学的拼音缩写,同在论坛里泡的,表示友好 4 R% v3 o% D4 f5 K# n3 ]
PS-- 附,另,源于洋文,就什么来着?(偶忘了)。另外也指着名的图象处理软件Photoshop + Q8 R U7 Z+ S$ W9 T8 t5 E
xixihoho-- 嘻嘻呵呵, 表示心里十分高兴。
7 C4 |1 c. M" d. fMM-- 妹妹、美眉,表示年轻女性,千万不要用在“妈妈”上面。
1 L3 P8 t" x& ~) f. W+ K FPP-- 多义词,可代表票票(钞票)、漂漂(漂亮)、片片(照片)、屁屁(屁股)、怕怕(害怕)、婆婆,需结合上下文理解,有点挑战智力哦
$ f7 A" w" g5 V! p# k0 N l8 p1 G m打PP-- 打屁股,打PG的温柔词,对某人做错事或说错话的小惩罚。
0 |1 Z/ P' q& D6 R1 O: Q# pPPMM-- 飘飘妹妹,漂亮的妹妹是也。也指婆婆妈妈。
! N+ L1 P: h& w7 SPLMM-- 漂亮美眉
# c+ K" ]7 }5 a* p2 C5 e2 J5 g5 }/ H4 Q7456-- 气死我了
/ Y' r' ]3 B% R8 }% s* a5 C9494-- 就是就是,表示同意。
6 J7 `8 l' X7 e& U: ~555-- 呜呜呜,表示彻底沮丧及伤心,可以重复使用。 , C0 Z9 f! q5 S L