Ⅰ GW是什麼意思
網路游戲《激戰》英文名稱縮寫。《激戰》是Patrick Wyatt、Mike O'Brien、Jeff Strain,三名曾經的暴雪核心員工離開暴雪,獨自成立了一個名為Triforge現改名為ArenaNet的游戲開發公司所設計的。國內前代理第九城市公司現亞洲全面停運無公司代理。激戰最大的特徵是支持多樣化的對戰方式,在激戰的世界中,不論進行任務或是團體對戰,系統會自動實時生成團隊專屬的獨立地圖,在可以讓玩家盡興的進行個人擂台賽、公開選拔賽。
《激戰》是Patrick Wyatt、Mike O'Brien、Jeff Strain,三名曾經的暴雪核心員工離開暴雪,獨自成立了一個名為Triforge現改名為ArenaNet的游戲開發公司所設計的。
ArenaNet是NCsoft旗下位於北美的子公司,是3D大型多人在線角色扮演游戲《激戰》及其續作《激戰2》的開發公司。該公司成立於2000年3月8日,由前暴雪公司精英人員組建。2002年12月,韓國著名網路游戲開發公司NCSOFT宣布收購ArenaNet公司,從此ArenaNet公司的事業重點逐漸定義為互交式游戲網路的開發與多種游戲方式的網路游戲企劃及製作上。
Ⅱ 神經網路語言模型(NNLM)
首先看一個例子:
ztc/ 上下/ 齊/ 拼搏/ ,誓為/ 春戰/ 做/ 貢獻
這句話呢通順,意思明白,那如果換一下詞的位置:
上下/ 齊/ 拼搏/ ztc/ ,春站/ 做/ 貢獻/ 誓為
意思含糊了,但是大概意思還是能猜到,那如果在變換一下:
拼搏/ 齊/ ztc/ 上下/ ,貢獻/ 誓為/ 做/ 春戰
現在這句話已經不知所雲了,如何判斷這個由詞序組成的序列是否符合文法、含義是否正確?
統計語言模型:一個句子是否合理,就看他的可能性的大小,即他的概率大小。
假設一個句子S,由一連串特定順序的詞W1, W2,...WT 組成,T是句子中詞的個數,則S出現的概率P(S) = P(w1, w2,...wT)
利用條件概率公式展開:
P(w1,w2,..wT) = P(w1) P(w2|w1) P(w3|w1,w2) ... P(wT|w1,w2,..wT-1)
即:
當語料中詞典大小為100,000,句子平均長度為5時,需要學習的參數大概100000 * 5 -1 個,為了降低計算復雜度,並考慮到詞序列中離的更近的詞通常在語義上也更相關,所以在計算時可以通過只使用前面n-1個詞來近似計算,即n-grams:
n-grams存在的問題:1.泛化時常常有訓練語料中沒有出現過的詞序列;2.沒有考慮詞之間的相似性。
NNLM
1.對詞庫里的每個詞指定一個分布的詞向量
2.定義聯合概率(通過序列中詞對應的詞向量
3.學習詞向量和概率函數的參數
why it works?
如果我們已知 「走」 和 「跑」 是相似詞,那很容易通過 」貓在屋裡跑「 推出 「貓在屋裡走「,因為相似的詞會有相似的詞向量,而且概率函數是特徵的平滑函數,所以特徵的微小變化,只會對概率值產生一個很小的影響。即:1.相似詞在特徵空間距離更接近;2.概率函數是一個相對平滑的函數,對特徵值的變化不是非常敏感。
所以訓練語料中句子的出現不光增加了自身的概率,也增加了他與周圍句子的概率(句子向量空間)
目標:f(wt ,··· ,wt−n+1) = Pˆ(wt |w1,w2,..wt-1 )
約束:
1 , ∑ |V| i=1 f(i,wt−1,··· ,wt−n+1) = 1
2.f>0
通過得到的條件概率進行相乘,得到詞序列的聯合概率
模型被分成二部分:
1.特徵映射:通過映射矩陣 C∈R ∣V∣×m
將輸入的每個詞映射為一個特徵向量,C(i)∈Rm 表示詞典中第 i 個詞對應的特徵向量,其中 m 表示特徵向量的維度。
2.概率函數g。通過context中詞的詞向量來映射下一個詞的條件概率。g的輸出是一個向量,其中第i個元素表示了字典中第i個詞的概率。完整的模型表達如下:
函數f由兩個映射(g and c)組成,其中c由所有的上下文共享。
訓練過程中的參數就由兩個映射組成,設 g 對應參數為w,c映射的參數就是自身,則 θ=(c, w)
訓練過程就是學習θ的最大似然:
其中R(θ) 是正則項。
模型中參數與字典大小V成線性關系,且與n(n-grams)成線性關系,不過可以通過共享結構降低參數數量,如延時神經網路或循環神經網路。
實驗中,神經網路層只有一個隱層,有一個可選的詞向量到輸出的直連層,實際上就有兩個隱層,一個共享的詞向量C 層,該層沒有激活函數,還有一個tanh激活函數的隱層;最後的輸出層是一個softmax層,來保證所有結果的和為1:
注意:第一層是沒有非線性激活函數的,因為非線性激活函數會帶來其他信息(聯想神經網路中非線性激活函數),而正是這種直接的線性變換,才能讓第一層的參數來作為詞向量
用yi表示每個輸出詞的對數概率,則
y = b+Wx+U tanh(d +Hx)
其中x是詞向量的拼接,x = (c(wt-1),c(wt-2),c(wt-n+1))
並行
參數與輸入的窗口大小和字典的大小成線性,但是計算量卻比n-grams 要大很多,首先n-grams中不需要每次都計算所有詞的概率,只需要相關詞頻的線性組合,另外神經網路中主要瓶頸是輸出層的激活計算。
out-of-vocabulary word
首先根據窗口上下文可能出現的詞,進行加權求和初始化新詞的詞向量,然後將新詞 j 加入字典,然後利用這部分數據集重新訓練,進行retune.
後續工作
1,分解網路到子網路,如使用詞聚類,構建許多小的子網路可能更快更簡單
2,用樹結構來表達條件概率:神經網路作用在每一個節點上,每個節點代表根據上下問得到該詞類的可能性,葉子節點代表詞的可能性,這種結構可以將計算復雜度從|v| 降低到 log|v|
3,梯度傳播時可以只在部分輸出詞上進行,如某些條件下最相似的(如三元模型)。如果用在語音識別,可以只計算聽覺上相似的詞。
4,引入先驗知識,如語義信息和語法信息。通過在神經網路結構中共享更多的結構與參數,可以捕獲長期的上下文信息,
5,如何解釋神經網路得到的詞向量
6,上述模型對每個單詞分配一個在語義空間的點,所以無法解決一詞多義問題。如何擴展當前模型,在語義空間中為詞分配多個點來代表詞的不同語義。
作者提出的後續工作中,目前是很多人的研究方向,一些已經被證明有效。
第一個,優化網路結構,提到了從數據方向,構建更多的子網路,還可以直接對網路結構本身進行優化,如word2vec,將神經網路層去掉;
第二個,由於計算瓶頸在計算output的概率(對每個詞計算概率,需要softmax歸一化),所以提出可以通過樹結構,來避免直接對所有詞進行計算,如 Hierarchical Softmax
第三個也是在計算輸出時,只通過一部分詞來進行梯度傳播,如負采樣
第四個是通過共享結構,來捕獲更多上下文信息,如GPT,Bert
第五個是如何解釋,也是目前很多人的研究方向
第六個是一次多義的解決方法,如ELMO
參考:
http://www.iro.umontreal.ca/~vincentp/Publications/lm_jmlr.pdf
Ⅲ 神經網路具體是什麼
神經網路由大量的神經元相互連接而成。每個神經元接受線性組合的輸入後,最開始只是簡單的線性加權,後來給每個神經元加上了非線性的激活函數,從而進行非線性變換後輸出。每兩個神經元之間的連接代表加權值,稱之為權重(weight)。不同的權重和激活函數,則會導致神經網路不同的輸出。 舉個手寫識別的例子,給定一個未知數字,讓神經網路識別是什麼數字。此時的神經網路的輸入由一組被輸入圖像的像素所激活的輸入神經元所定義。在通過非線性激活函數進行非線性變換後,神經元被激活然後被傳遞到其他神經元。重復這一過程,直到最後一個輸出神經元被激活。從而識別當前數字是什麼字。 神經網路的每個神經元如下
基本wx + b的形式,其中 x1、x2表示輸入向量 w1、w2為權重,幾個輸入則意味著有幾個權重,即每個輸入都被賦予一個權重 b為偏置bias g(z) 為激活函數 a 為輸出 如果只是上面這樣一說,估計以前沒接觸過的十有八九又必定迷糊了。事實上,上述簡單模型可以追溯到20世紀50/60年代的感知器,可以把感知器理解為一個根據不同因素、以及各個因素的重要性程度而做決策的模型。 舉個例子,這周末北京有一草莓音樂節,那去不去呢?決定你是否去有二個因素,這二個因素可以對應二個輸入,分別用x1、x2表示。此外,這二個因素對做決策的影響程度不一樣,各自的影響程度用權重w1、w2表示。一般來說,音樂節的演唱嘉賓會非常影響你去不去,唱得好的前提下 即便沒人陪同都可忍受,但如果唱得不好還不如你上台唱呢。所以,我們可以如下表示: x1:是否有喜歡的演唱嘉賓。x1 = 1 你喜歡這些嘉賓,x1 = 0 你不喜歡這些嘉賓。嘉賓因素的權重w1 = 7 x2:是否有人陪你同去。x2 = 1 有人陪你同去,x2 = 0 沒人陪你同去。是否有人陪同的權重w2 = 3。 這樣,咱們的決策模型便建立起來了:g(z) = g(w1x1 + w2x2 + b ),g表示激活函數,這里的b可以理解成 為更好達到目標而做調整的偏置項。 一開始為了簡單,人們把激活函數定義成一個線性函數,即對於結果做一個線性變化,比如一個簡單的線性激活函數是g(z) = z,輸出都是輸入的線性變換。後來實際應用中發現,線性激活函數太過局限,於是引入了非線性激活函數。
Ⅳ 求一些常用的網路用語,加上解釋哦
壇子-- 論壇 ! r3 r" u8 a6 S0 o% f6 F D: }
菜鳥,小蝦,初哥=就是初級水平的新人
; j$ {# o5 i! y9 c/ a老鳥,大蝦=高手,
% |* v+ A( W) N1 t5 r恐龍 :長得不太好看的女生(帶歧視性質,請不要多用)
9 x7 O9 Q. Q* J! u, O4 ^! V2 ~% L青蛙:長得不太好看的男生
+ l' l+ }) o% P4 [! w小P孩=對年齡小,不懂裝懂的人的蔑稱
2 f3 s) @5 `; m' f: V: O( o& E蛋白質=bd+bc+sjb=笨蛋+白痴+神經質1 M; T8 z+ \. Q3 p# }9 c
打鐵:寫帖子,一般指有點兒重量的帖子。 2 _- d# a |4 l$ _2 A) p! w8 p% {
拍磚:批評,點評等。表示反對意見,對某人某帖發表與其他人不同看法和理解的帖子。 例句:俠友們拍磚請注意口氣和態度,否則很容易轉化為人身攻擊。 / I' |6 M4 H7 z
刷屏:打開一個論壇,所有的主題帖都是同一個ID發的。
- X, J( @8 @( l) D3 o1 t+ P" q+ }掃樓:也叫刷牆,打開一個論壇,所有主題帖的最後一個回復都是同一個ID的。 0 ^3 P, U- @- i6 o
蓋樓:回同一個主題帖,一般粉絲比較喜歡蓋樓。
0 q- g9 S. ]4 d% v( E老大 :常被眾人吹捧又常被眾人暴打的人 這是網路通用解釋,書劍的話是專指某人的8 z5 g( [( V, [3 a4 F, ^
樓上的 :前一個發帖子的人
6 `$ Y: o* u" V板斧 :版副
4 S0 K, z& G, c1 N斑竹,板豬=版主,BBS(論壇)的管理員
. B* O3 x J/ z' v/ `6 a樓主:論壇中發主題的人 ,發帖子的人
4 Z7 q* A2 R2 Q2 Q( BID:就是你在論壇所使用的用戶名。
0 v5 ^* z; u. s& a0 ]馬甲 :小號。已經注冊的論壇成員以不同的ID注冊的論壇成員.通常有多個. . e2 e+ \" d7 B1 c+ D6 b r A
工分-- 總發貼數 * W3 m( ?2 C8 D, C: u
灌水=灌水是指在論壇發表沒有閱讀價值的文章。發無關緊要的帖子,在壇子里聊天等,主要功能為交流感情,還有最重要的,可以長工分。原指發長貼。
7 y: Z) `& {6 D3 Z$ _3 d X e潛水=潛水顧名思義,論壇里沉默不發帖的人! d& m9 v7 l' R<br>水桶、水鬼、水仙、水王、水母=均指灌水狂人,# `7 m" n* |# V<br>頂-- =UP,因為壇子的程序按照最後回復時間的先後排列,回一個帖子就可以把帖子提到最頂上,所以為了讓一個引起他人注意就發一個帖子,內容是:頂,或者UP,或者啊噗。衍生詞彙:沉下去,浮上來。 論壇里,新帖沒人回復,該帖子就會在主題列表裡排列在最上面,同意叫"頂"要不它就"沉"了<br>" L% o$ b6 `' N, p. J抓狂=受不了刺激而行為失常<br> ?; L' R4 h6 v9 |粉絲=范絲=飯絲=fans,指某人的崇拜者。<br> p# Y5 h$ A3 F) K n4 A統一=刷牆=掃樓=整個版面都是你的回復,一種被譴責的行為<br>/ Z: E; _+ M' a! N& R沙發:SF,第一個回帖的人。後來,坐不到沙發的人,聲稱自己坐了「床」或樓主的「大腿」~ ! k9 {0 b# K% h. E<br>椅子:第二個回帖的人。 <br>; B Y. @$ w- F x- Z3 [% f板凳:第三個回帖的人。 <br>/ [# q% [6 e3 e/ n% F, Q) a Y; J/ K1 p) n地板:連板凳都沒得坐的人。4 l# y: V# A3 _ J0 V" |- f<br>地下室:連地板都沒有的人 <br>- P% s; c/ e2 l) I+ A' e0 A2 U' j( S; D' B火星帖:很久以前已經被無數人看過轉過的舊帖,轉火星帖的人被稱為火星人。通常回帖會這樣說:樓主還是快回火星吧,地球是很危險滴。(來自周星星《少林足球》)0 A3 A7 s' h; N<br>2、諧音<br>9 @4 t+ y+ y8 i& K1 l9 ^9 o偶=我<br>9 U9 i+ {5 W# E/ R5 p5 X稀飯=喜歡: \+ F7 ~/ A7 [% V: P<br>偶稀飯:我喜歡; <br># c/ z1 w$ \1 M6 N" y表 :不要 應該是因為將不要兩字連讀【bu yao】而成 比如:表太好=不要太好<br>% x# n: B) `6 M2 x( y醬紫=這樣子,出處同上<br># L+ T3 A% V! r; I; X$ ?* @9 B0 v. ^8=不,比如:8要=不要。也解釋做「拜」比如:886=拜拜嘍<br>0 v" M# ^% p8 B+ W蝦米=什麼<br>( F% l( [; G# F4 |$ B果醬=過獎* Q. h% [8 H. ]<br>好康 :好看 D% H% o. k1 I- }' p' t. q
木油=沒有
+ B+ a. `0 U1 Q4 r& {口耐=可愛" b% ?# R( Q/ Z% R# u$ P
3、動作
* ~- S0 Q5 o; z9 @7 `+ m' y' s倒塌=倒=暈倒,厥倒,狂暈% `2 a# X5 R" l( r
汗或寒:有兩個意思,敬佩或從頭到腳的冷;
4 K' {$ d( ^, G r9 `; M0 V閃:離開。
$ l* A0 Z1 v# m( r {5 {呼呼,豬豬=睡覺1 u8 p% F6 k, f! l- o* J9 m5 O<br>咔嚓=砍了<br>+ X# ~ w2 `# D無語=沒有話說了( D t5 S' s, [<br>噴=笑,看到好笑的東西一下子笑噴了,如果正在吃東西或者喝水的話,屏幕就要倒霉了9 G% u. G8 i5 o<br>有時也指震驚過度的意思 f0 ?. V+ h" d1 _<br>淚奔=哭著跑了$ _, v0 J. K x- M3 I$ Z5 J<br>望天,遠目==發呆,一般指看到了一些帖子之後,雖然不太贊同但是暫時沒有話說,處於短暫的大腦空白狀態,或者指極不贊同極度無語<br>/ _9 {. \3 {4 j$ Y粉=很,非常,由閩南方言演變 2 F) i2 A: P/ F$ }1 Y
超/強/哈/巨/狂/嚴重… 表示特別,起誇張、加強語氣作用。例句:你這人超厲害!我對你的說法嚴重支持!: J& s) e; u6 ?* W {
走召弓雖=超強
9 l( Z1 e0 x% T6 p7 _$ }# ]! i6 a0 B' H咔哇依==可愛,日文發音* h4 u9 }7 g8 W" k! q3 ~
厚厚,吼吼,咔咔(kaka),嘻嘻(xixi)=語氣助詞
6 [: m: z- f# _4 ?; ^0 |6 ^7 [* y4、拼音縮寫,英文縮寫,數字
$ F/ A2 U. @% a6 JBT==變態的拼音縮寫9 f( V8 N5 q& |! S" R
BH==彪悍的拼音縮寫
$ X5 l9 U8 i' U; P! u+ ~. VBC==白痴的拼音縮寫
" @. F6 e3 M0 e' J( dHLL==華麗麗的拼音縮寫
. w2 O9 A9 I8 OCJ==純潔的拼音縮寫
0 a% o: J0 U2 p1 `5 y3 i* Tft=分特=faint的簡稱,暈倒的意思,,表示驚訝,不可理解,不可置信等意思。
8 y+ S9 H3 H$ U0 g7 e& D2 z. DPF :佩服 6 D# o$ j0 J; o- [" s* E
FB-- 腐敗的拼音縮寫,指聚會+吃飯+活動。
- _% C7 O" T+ k' ~LP-- 老婆的拼音縮寫。有時也指個人的心愛之物。
; t) B) E* K! X* h* ~) _LG-- 老公的拼音縮寫
' Q) i/ @- \! fGF-- 女朋友,源於洋文Girl Friend,對應詞是BF。專指有可能會成為LP的GF。 + x: i) i6 d# s2 h
BF-- 男朋友, 源於洋文Boy Friend,對應詞是GF。專指有可能會成為LG的BF。
5 _% B) A- e! q( ^TX-- 同學的拼音縮寫,同在論壇里泡的,表示友好 4 R% v3 o% D4 f5 K# n3 ]
PS-- 附,另,源於洋文,就什麼來著?(偶忘了)。另外也指著名的圖象處理軟體Photoshop + Q8 R U7 Z+ S$ W9 T8 t5 E
xixihoho-- 嘻嘻呵呵, 表示心裡十分高興。
7 C4 |1 c. M" d. fMM-- 妹妹、美眉,表示年輕女性,千萬不要用在「媽媽」上面。
1 L3 P8 t" x& ~) f. W+ K FPP-- 多義詞,可代表票票(鈔票)、漂漂(漂亮)、片片(照片)、屁屁(屁股)、怕怕(害怕)、婆婆,需結合上下文理解,有點挑戰智力哦
$ f7 A" w" g5 V! p# k0 N l8 p1 G m打PP-- 打屁股,打PG的溫柔詞,對某人做錯事或說錯話的小懲罰。
0 |1 Z/ P' q& D6 R1 O: Q# pPPMM-- 飄飄妹妹,漂亮的妹妹是也。也指婆婆媽媽。
! N+ L1 P: h& w7 SPLMM-- 漂亮美眉
# c+ K" ]7 }5 a* p2 C5 e2 J5 g5 }/ H4 Q7456-- 氣死我了
/ Y' r' ]3 B% R8 }% s* a5 C9494-- 就是就是,表示同意。
6 J7 `8 l' X7 e& U: ~555-- 嗚嗚嗚,表示徹底沮喪及傷心,可以重復使用。 , C0 Z9 f! q5 S L