glm-10b


Find this model in the GLM model summary

Model source: https://huggingface.co/THUDM/glm-10b

glm-10b Model Summary Plots

glm-10b Model Selected Details
  layer_type N M Q alpha D alpha-hat log_SN rank_loss
layer_id                  
2 DENSE 4096 1025 4.00 2.24 0.03 3.18 1.42 0
3 DENSE 4096 1025 4.00 1.91 0.04 3.62 1.90 0
5 DENSE 12288 4096 3.00 2.85 0.02 4.27 1.50 0
6 DENSE 4096 4096 1.00 4.62 0.06 5.71 1.24 9
8 DENSE 16384 4096 4.00 2.53 0.02 6.54 2.58 0
9 DENSE 16384 4096 4.00 4.11 0.03 9.11 2.22 0
11 DENSE 12288 4096 3.00 2.16 0.02 4.91 2.27 0
12 DENSE 4096 4096 1.00 3.11 0.03 5.52 1.77 7
14 DENSE 16384 4096 4.00 2.19 0.02 6.01 2.75 0
15 DENSE 16384 4096 4.00 4.25 0.02 10.32 2.43 0
17 DENSE 12288 4096 3.00 2.30 0.01 4.49 1.96 0
18 DENSE 4096 4096 1.00 2.65 0.01 5.36 2.02 8
20 DENSE 16384 4096 4.00 2.46 0.02 6.58 2.68 0
21 DENSE 16384 4096 4.00 3.70 0.03 9.29 2.51 0
23 DENSE 12288 4096 3.00 2.34 0.01 5.03 2.15 0
24 DENSE 4096 4096 1.00 3.05 0.03 5.32 1.74 7
26 DENSE 16384 4096 4.00 2.49 0.01 6.49 2.61 0
27 DENSE 16384 4096 4.00 4.00 0.03 9.52 2.38 0
29 DENSE 12288 4096 3.00 2.48 0.01 5.53 2.23 0
30 DENSE 4096 4096 1.00 3.38 0.04 5.68 1.68 6
32 DENSE 16384 4096 4.00 2.46 0.01 6.28 2.55 0
33 DENSE 16384 4096 4.00 3.43 0.04 7.03 2.05 0
35 DENSE 12288 4096 3.00 2.39 0.02 5.16 2.16 0
36 DENSE 4096 4096 1.00 3.63 0.04 5.52 1.52 4
38 DENSE 16384 4096 4.00 2.58 0.01 6.57 2.55 0
39 DENSE 16384 4096 4.00 4.75 0.03 9.42 1.98 0
41 DENSE 12288 4096 3.00 2.61 0.02 5.58 2.14 0
42 DENSE 4096 4096 1.00 4.30 0.05 6.45 1.50 4
44 DENSE 16384 4096 4.00 2.64 0.01 6.64 2.51 0
45 DENSE 16384 4096 4.00 3.04 0.02 5.56 1.83 0
47 DENSE 12288 4096 3.00 2.47 0.03 5.15 2.09 0
48 DENSE 4096 4096 1.00 5.28 0.03 7.58 1.44 5
50 DENSE 16384 4096 4.00 2.68 0.02 6.69 2.50 0
51 DENSE 16384 4096 4.00 2.95 0.02 5.35 1.81 0
53 DENSE 12288 4096 3.00 2.59 0.03 5.31 2.05 0
54 DENSE 4096 4096 1.00 5.36 0.04 7.72 1.44 4
56 DENSE 16384 4096 4.00 2.77 0.02 6.90 2.49 0
57 DENSE 16384 4096 4.00 2.84 0.03 5.29 1.86 0
59 DENSE 12288 4096 3.00 2.72 0.02 5.60 2.06 0
60 DENSE 4096 4096 1.00 5.53 0.04 7.96 1.44 5
62 DENSE 16384 4096 4.00 2.80 0.02 7.04 2.51 0
63 DENSE 16384 4096 4.00 2.95 0.03 5.47 1.86 0
65 DENSE 12288 4096 3.00 2.68 0.02 5.52 2.06 0
66 DENSE 4096 4096 1.00 4.29 0.05 6.06 1.41 4
68 DENSE 16384 4096 4.00 2.81 0.03 7.06 2.51 0
69 DENSE 16384 4096 4.00 2.95 0.03 5.43 1.84 0
71 DENSE 12288 4096 3.00 2.86 0.03 5.76 2.02 0
72 DENSE 4096 4096 1.00 5.53 0.04 7.84 1.42 5
74 DENSE 16384 4096 4.00 2.80 0.03 7.03 2.51 0
75 DENSE 16384 4096 4.00 2.87 0.04 5.30 1.85 0
77 DENSE 12288 4096 3.00 2.71 0.02 5.52 2.04 0
78 DENSE 4096 4096 1.00 5.73 0.04 8.63 1.51 5
80 DENSE 16384 4096 4.00 2.72 0.04 6.81 2.51 0
81 DENSE 16384 4096 4.00 2.97 0.04 5.56 1.87 0
83 DENSE 12288 4096 3.00 2.73 0.03 5.57 2.04 0
84 DENSE 4096 4096 1.00 3.73 0.04 5.69 1.52 4
86 DENSE 16384 4096 4.00 2.74 0.04 6.81 2.49 0
87 DENSE 16384 4096 4.00 2.77 0.04 5.13 1.85 0
89 DENSE 12288 4096 3.00 2.73 0.02 5.54 2.03 0
90 DENSE 4096 4096 1.00 3.48 0.05 4.65 1.34 4
92 DENSE 16384 4096 4.00 2.69 0.04 6.68 2.48 0
93 DENSE 16384 4096 4.00 2.65 0.04 5.00 1.89 0
95 DENSE 12288 4096 3.00 2.60 0.03 5.25 2.02 0
96 DENSE 4096 4096 1.00 3.50 0.06 4.98 1.42 5
98 DENSE 16384 4096 4.00 2.68 0.04 6.64 2.47 0
99 DENSE 16384 4096 4.00 2.68 0.04 5.10 1.90 0
101 DENSE 12288 4096 3.00 2.60 0.03 5.17 1.99 0
102 DENSE 4096 4096 1.00 3.06 0.06 4.19 1.37 5
104 DENSE 16384 4096 4.00 2.70 0.04 6.71 2.48 0
105 DENSE 16384 4096 4.00 2.74 0.04 5.21 1.90 0
107 DENSE 12288 4096 3.00 2.70 0.04 5.29 1.96 0
108 DENSE 4096 4096 1.00 3.14 0.06 4.32 1.37 5
110 DENSE 16384 4096 4.00 2.86 0.04 7.05 2.46 0
111 DENSE 16384 4096 4.00 2.77 0.04 5.26 1.90 0
113 DENSE 12288 4096 3.00 2.79 0.03 5.53 1.98 0
114 DENSE 4096 4096 1.00 3.33 0.05 4.33 1.30 4
116 DENSE 16384 4096 4.00 2.99 0.04 7.40 2.47 0
117 DENSE 16384 4096 4.00 2.89 0.03 5.45 1.88 0
119 DENSE 12288 4096 3.00 2.80 0.03 5.50 1.96 0
120 DENSE 4096 4096 1.00 3.46 0.05 4.50 1.30 4
122 DENSE 16384 4096 4.00 3.23 0.03 8.00 2.48 0
123 DENSE 16384 4096 4.00 3.00 0.03 5.63 1.87 0
125 DENSE 12288 4096 3.00 2.94 0.02 5.70 1.94 0
126 DENSE 4096 4096 1.00 3.48 0.05 4.34 1.25 4
128 DENSE 16384 4096 4.00 3.67 0.03 9.13 2.49 0
129 DENSE 16384 4096 4.00 3.18 0.03 5.85 1.84 0
131 DENSE 12288 4096 3.00 3.01 0.01 5.79 1.92 0
132 DENSE 4096 4096 1.00 4.80 0.05 6.23 1.30 2
134 DENSE 16384 4096 4.00 3.89 0.03 9.68 2.49 0
135 DENSE 16384 4096 4.00 3.26 0.04 5.95 1.83 0
137 DENSE 12288 4096 3.00 3.16 0.01 6.20 1.96 0
138 DENSE 4096 4096 1.00 4.72 0.04 7.04 1.49 3
140 DENSE 16384 4096 4.00 4.25 0.02 10.57 2.49 0
141 DENSE 16384 4096 4.00 3.29 0.03 5.97 1.81 0
143 DENSE 12288 4096 3.00 3.14 0.01 6.15 1.96 0
144 DENSE 4096 4096 1.00 9.34 0.06 11.48 1.23 4
146 DENSE 16384 4096 4.00 4.37 0.02 10.87 2.49 0
147 DENSE 16384 4096 4.00 3.26 0.02 5.89 1.81 0
149 DENSE 12288 4096 3.00 3.27 0.01 6.64 2.03 0
150 DENSE 4096 4096 1.00 9.02 0.05 10.73 1.19 3
152 DENSE 16384 4096 4.00 4.34 0.02 10.77 2.48 0
153 DENSE 16384 4096 4.00 3.40 0.03 6.19 1.82 0
155 DENSE 12288 4096 3.00 3.22 0.01 6.77 2.10 0
156 DENSE 4096 4096 1.00 4.93 0.04 5.99 1.21 4
158 DENSE 16384 4096 4.00 4.09 0.02 10.17 2.48 0
159 DENSE 16384 4096 4.00 3.49 0.03 6.36 1.82 0
161 DENSE 12288 4096 3.00 3.30 0.01 7.14 2.17 0
162 DENSE 4096 4096 1.00 7.49 0.05 9.41 1.26 3
164 DENSE 16384 4096 4.00 4.19 0.02 10.39 2.48 0
165 DENSE 16384 4096 4.00 4.80 0.03 8.67 1.81 0
167 DENSE 12288 4096 3.00 3.43 0.02 7.54 2.20 0
168 DENSE 4096 4096 1.00 7.34 0.04 8.99 1.22 4
170 DENSE 16384 4096 4.00 4.20 0.02 10.40 2.48 0
171 DENSE 16384 4096 4.00 4.55 0.03 8.21 1.80 0
173 DENSE 12288 4096 3.00 3.35 0.02 7.59 2.27 0
174 DENSE 4096 4096 1.00 7.93 0.03 9.71 1.22 4
176 DENSE 16384 4096 4.00 4.18 0.02 10.31 2.46 0
177 DENSE 16384 4096 4.00 4.89 0.03 8.80 1.80 0
179 DENSE 12288 4096 3.00 3.35 0.02 7.76 2.32 0
180 DENSE 4096 4096 1.00 6.80 0.03 8.85 1.30 3
182 DENSE 16384 4096 4.00 4.24 0.02 10.44 2.46 0
183 DENSE 16384 4096 4.00 4.67 0.02 8.39 1.80 0
185 DENSE 12288 4096 3.00 3.41 0.02 8.21 2.41 0
186 DENSE 4096 4096 1.00 7.13 0.03 9.23 1.29 2
188 DENSE 16384 4096 4.00 4.14 0.02 10.15 2.45 0
189 DENSE 16384 4096 4.00 4.35 0.02 7.89 1.81 0
191 DENSE 12288 4096 3.00 3.35 0.02 8.10 2.42 0
192 DENSE 4096 4096 1.00 6.90 0.02 9.17 1.33 4
194 DENSE 16384 4096 4.00 4.15 0.02 10.14 2.45 0
195 DENSE 16384 4096 4.00 4.61 0.01 8.45 1.83 0
197 DENSE 12288 4096 3.00 3.34 0.02 8.25 2.47 0
198 DENSE 4096 4096 1.00 6.67 0.05 8.92 1.34 3
200 DENSE 16384 4096 4.00 4.18 0.02 10.19 2.44 0
201 DENSE 16384 4096 4.00 4.63 0.01 8.63 1.86 0
203 DENSE 12288 4096 3.00 3.37 0.02 8.37 2.49 0
204 DENSE 4096 4096 1.00 6.59 0.04 8.83 1.34 3
206 DENSE 16384 4096 4.00 4.26 0.02 10.42 2.45 0
207 DENSE 16384 4096 4.00 4.78 0.01 9.07 1.90 0
209 DENSE 12288 4096 3.00 3.36 0.03 8.14 2.42 0
210 DENSE 4096 4096 1.00 6.89 0.04 9.36 1.36 3
212 DENSE 16384 4096 4.00 4.26 0.02 10.39 2.44 0
213 DENSE 16384 4096 4.00 4.85 0.01 9.38 1.93 0
215 DENSE 12288 4096 3.00 3.34 0.03 7.86 2.35 0
216 DENSE 4096 4096 1.00 7.59 0.07 10.95 1.44 2
218 DENSE 16384 4096 4.00 4.34 0.03 10.57 2.44 0
219 DENSE 16384 4096 4.00 4.89 0.01 9.40 1.92 0
221 DENSE 12288 4096 3.00 3.35 0.02 7.92 2.37 0
222 DENSE 4096 4096 1.00 7.55 0.06 11.71 1.55 3
224 DENSE 16384 4096 4.00 4.50 0.03 10.93 2.43 0
225 DENSE 16384 4096 4.00 4.80 0.01 9.29 1.94 0
227 DENSE 12288 4096 3.00 3.34 0.03 8.23 2.46 0
228 DENSE 4096 4096 1.00 7.35 0.06 11.81 1.61 3
230 DENSE 16384 4096 4.00 4.59 0.04 11.10 2.42 0
231 DENSE 16384 4096 4.00 4.74 0.01 9.18 1.93 0
233 DENSE 12288 4096 3.00 3.34 0.03 8.24 2.47 0
234 DENSE 4096 4096 1.00 7.25 0.07 11.72 1.62 3
236 DENSE 16384 4096 4.00 4.56 0.04 10.98 2.41 0
237 DENSE 16384 4096 4.00 4.80 0.01 9.25 1.93 0
239 DENSE 12288 4096 3.00 3.27 0.03 8.48 2.59 0
240 DENSE 4096 4096 1.00 6.46 0.06 11.20 1.73 3
242 DENSE 16384 4096 4.00 4.35 0.04 10.43 2.40 0
243 DENSE 16384 4096 4.00 4.74 0.01 8.97 1.89 0
245 DENSE 12288 4096 3.00 2.56 0.03 6.75 2.63 0
246 DENSE 4096 4096 1.00 6.89 0.07 11.57 1.68 3
248 DENSE 16384 4096 4.00 4.45 0.05 10.64 2.39 0
249 DENSE 16384 4096 4.00 4.70 0.01 8.71 1.85 0
251 DENSE 12288 4096 3.00 2.58 0.04 6.95 2.70 0
252 DENSE 4096 4096 1.00 6.47 0.06 10.94 1.69 3
254 DENSE 16384 4096 4.00 5.21 0.05 12.41 2.38 0
255 DENSE 16384 4096 4.00 4.59 0.02 8.42 1.83 0
257 DENSE 12288 4096 3.00 3.25 0.03 9.19 2.83 0
258 DENSE 4096 4096 1.00 6.06 0.08 9.70 1.60 2
260 DENSE 16384 4096 4.00 5.71 0.05 13.58 2.38 0
261 DENSE 16384 4096 4.00 4.54 0.02 8.36 1.84 0
263 DENSE 12288 4096 3.00 3.11 0.03 8.87 2.85 0
264 DENSE 4096 4096 1.00 6.15 0.08 10.41 1.69 3
266 DENSE 16384 4096 4.00 5.88 0.04 13.96 2.38 0
267 DENSE 16384 4096 4.00 4.44 0.02 8.28 1.86 0
269 DENSE 12288 4096 3.00 2.91 0.03 8.91 3.07 0
270 DENSE 4096 4096 1.00 5.36 0.08 9.11 1.70 3
272 DENSE 16384 4096 4.00 5.77 0.05 13.75 2.38 0
273 DENSE 16384 4096 4.00 4.25 0.02 8.23 1.94 0
275 DENSE 12288 4096 3.00 2.91 0.03 9.44 3.24 0
276 DENSE 4096 4096 1.00 5.28 0.09 8.92 1.69 4
278 DENSE 16384 4096 4.00 5.41 0.04 12.98 2.40 0
279 DENSE 16384 4096 4.00 4.26 0.02 8.67 2.04 0
281 DENSE 12288 4096 3.00 2.75 0.03 9.56 3.48 0
282 DENSE 4096 4096 1.00 4.71 0.08 8.46 1.80 3
284 DENSE 16384 4096 4.00 5.11 0.04 12.53 2.45 0
285 DENSE 16384 4096 4.00 3.96 0.02 8.16 2.06 0
287 DENSE 12288 4096 3.00 2.68 0.03 10.13 3.78 0
288 DENSE 4096 4096 1.00 4.08 0.07 7.56 1.85 5
290 DENSE 16384 4096 4.00 4.37 0.04 11.59 2.65 0
291 DENSE 16384 4096 4.00 3.68 0.02 8.44 2.29 0