glm-2b


Find this model in the GLM model summary

Model source: https://huggingface.co/THUDM/glm-2b

glm-2b Model Summary Plots

glm-2b Model Selected Details
  layer_type N M Q alpha D alpha-hat log_SN rank_loss
layer_id                  
2 DENSE 2048 1025 2.00 2.42 0.10 2.22 0.92 0
3 DENSE 2048 1025 2.00 2.09 0.10 2.80 1.34 0
5 DENSE 6144 2048 3.00 2.52 0.02 4.80 1.90 0
6 DENSE 2048 2048 1.00 4.43 0.03 0.87 0.20 9
8 DENSE 8192 2048 4.00 4.39 0.04 8.32 1.90 0
9 DENSE 8192 2048 4.00 5.82 0.03 6.30 1.08 0
11 DENSE 6144 2048 3.00 2.72 0.03 4.24 1.56 0
12 DENSE 2048 2048 1.00 2.28 0.02 2.55 1.12 4
14 DENSE 8192 2048 4.00 3.07 0.02 7.07 2.31 0
15 DENSE 8192 2048 4.00 4.11 0.03 6.98 1.70 0
17 DENSE 6144 2048 3.00 2.39 0.02 3.81 1.59 0
18 DENSE 2048 2048 1.00 2.57 0.05 3.02 1.18 4
20 DENSE 8192 2048 4.00 2.75 0.01 6.25 2.28 0
21 DENSE 8192 2048 4.00 3.86 0.03 8.13 2.10 0
23 DENSE 6144 2048 3.00 2.50 0.02 4.24 1.70 0
24 DENSE 2048 2048 1.00 2.90 0.05 3.97 1.37 4
26 DENSE 8192 2048 4.00 2.81 0.02 6.42 2.29 0
27 DENSE 8192 2048 4.00 3.68 0.04 7.77 2.11 0
29 DENSE 6144 2048 3.00 2.54 0.02 4.18 1.65 0
30 DENSE 2048 2048 1.00 3.74 0.05 3.93 1.05 4
32 DENSE 8192 2048 4.00 2.95 0.02 6.69 2.27 0
33 DENSE 8192 2048 4.00 3.68 0.03 7.72 2.10 0
35 DENSE 6144 2048 3.00 2.48 0.02 4.11 1.66 0
36 DENSE 2048 2048 1.00 6.29 0.06 4.62 0.73 3
38 DENSE 8192 2048 4.00 2.89 0.01 6.20 2.15 0
39 DENSE 8192 2048 4.00 3.88 0.03 6.31 1.63 0
41 DENSE 6144 2048 3.00 2.56 0.02 4.04 1.58 0
42 DENSE 2048 2048 1.00 3.69 0.05 2.83 0.77 4
44 DENSE 8192 2048 4.00 2.90 0.01 6.02 2.08 0
45 DENSE 8192 2048 4.00 3.22 0.04 4.22 1.31 0
47 DENSE 6144 2048 3.00 2.78 0.02 4.41 1.59 0
48 DENSE 2048 2048 1.00 4.99 0.05 3.67 0.73 3
50 DENSE 8192 2048 4.00 2.95 0.02 6.01 2.04 0
51 DENSE 8192 2048 4.00 3.20 0.03 4.08 1.27 0
53 DENSE 6144 2048 3.00 3.06 0.03 4.58 1.50 0
54 DENSE 2048 2048 1.00 3.62 0.04 2.51 0.69 3
56 DENSE 8192 2048 4.00 3.14 0.02 6.43 2.04 0
57 DENSE 8192 2048 4.00 4.79 0.04 6.57 1.37 0
59 DENSE 6144 2048 3.00 2.93 0.03 4.55 1.55 0
60 DENSE 2048 2048 1.00 3.90 0.05 2.63 0.67 3
62 DENSE 8192 2048 4.00 3.16 0.02 6.42 2.03 0
63 DENSE 8192 2048 4.00 3.32 0.05 4.19 1.26 0
65 DENSE 6144 2048 3.00 2.83 0.04 4.27 1.51 0
66 DENSE 2048 2048 1.00 4.80 0.06 3.26 0.68 3
68 DENSE 8192 2048 4.00 3.09 0.03 6.22 2.01 0
69 DENSE 8192 2048 4.00 3.55 0.04 4.52 1.27 0
71 DENSE 6144 2048 3.00 2.81 0.03 4.13 1.47 0
72 DENSE 2048 2048 1.00 3.57 0.06 2.62 0.73 4
74 DENSE 8192 2048 4.00 2.98 0.02 5.95 2.00 0
75 DENSE 8192 2048 4.00 3.33 0.05 4.08 1.22 0
77 DENSE 6144 2048 3.00 2.89 0.04 4.28 1.48 0
78 DENSE 2048 2048 1.00 7.06 0.06 5.14 0.73 3
80 DENSE 8192 2048 4.00 3.01 0.03 6.01 2.00 0
81 DENSE 8192 2048 4.00 3.15 0.05 3.78 1.20 0
83 DENSE 6144 2048 3.00 2.92 0.03 4.60 1.58 0
84 DENSE 2048 2048 1.00 4.41 0.06 2.99 0.68 3
86 DENSE 8192 2048 4.00 3.56 0.04 7.01 1.97 0
87 DENSE 8192 2048 4.00 3.36 0.05 4.05 1.21 0
89 DENSE 6144 2048 3.00 2.88 0.03 4.53 1.57 0
90 DENSE 2048 2048 1.00 3.94 0.06 2.92 0.74 4
92 DENSE 8192 2048 4.00 3.23 0.04 6.26 1.94 0
93 DENSE 8192 2048 4.00 3.11 0.05 3.85 1.24 0
95 DENSE 6144 2048 3.00 2.81 0.02 5.48 1.95 0
96 DENSE 2048 2048 1.00 3.23 0.05 2.45 0.76 4
98 DENSE 8192 2048 4.00 3.01 0.04 5.83 1.94 0
99 DENSE 8192 2048 4.00 3.19 0.04 3.92 1.23 0
101 DENSE 6144 2048 3.00 2.76 0.03 4.26 1.55 0
102 DENSE 2048 2048 1.00 3.13 0.07 2.29 0.73 3
104 DENSE 8192 2048 4.00 3.66 0.04 7.06 1.93 0
105 DENSE 8192 2048 4.00 3.40 0.05 4.22 1.24 0
107 DENSE 6144 2048 3.00 2.66 0.04 4.10 1.54 0
108 DENSE 2048 2048 1.00 2.80 0.06 2.30 0.82 3
110 DENSE 8192 2048 4.00 3.84 0.03 7.37 1.92 0
111 DENSE 8192 2048 4.00 3.55 0.04 4.46 1.26 0
113 DENSE 6144 2048 3.00 3.03 0.03 4.74 1.57 0
114 DENSE 2048 2048 1.00 3.43 0.06 2.55 0.74 4
116 DENSE 8192 2048 4.00 3.15 0.03 6.10 1.94 0
117 DENSE 8192 2048 4.00 4.12 0.04 5.06 1.23 0
119 DENSE 6144 2048 3.00 3.10 0.02 4.95 1.59 0
120 DENSE 2048 2048 1.00 3.57 0.05 2.45 0.69 3
122 DENSE 8192 2048 4.00 4.05 0.03 7.83 1.93 0
123 DENSE 8192 2048 4.00 3.98 0.05 4.56 1.15 0
125 DENSE 6144 2048 3.00 3.03 0.03 4.69 1.55 0
126 DENSE 2048 2048 1.00 3.60 0.09 2.50 0.69 4
128 DENSE 8192 2048 4.00 3.89 0.03 7.55 1.94 0
129 DENSE 8192 2048 4.00 3.54 0.04 4.13 1.17 0
131 DENSE 6144 2048 3.00 3.17 0.02 4.76 1.50 0
132 DENSE 2048 2048 1.00 10.66 0.07 6.63 0.62 3
134 DENSE 8192 2048 4.00 3.95 0.02 7.68 1.94 0
135 DENSE 8192 2048 4.00 3.76 0.04 4.46 1.19 0
137 DENSE 6144 2048 3.00 3.34 0.02 5.25 1.57 0
138 DENSE 2048 2048 1.00 8.98 0.05 6.51 0.72 3
140 DENSE 8192 2048 4.00 4.03 0.02 7.87 1.95 0
141 DENSE 8192 2048 4.00 3.94 0.04 4.88 1.24 0
143 DENSE 6144 2048 3.00 3.39 0.02 5.91 1.74 0
144 DENSE 2048 2048 1.00 8.73 0.05 6.66 0.76 2
146 DENSE 8192 2048 4.00 4.05 0.02 7.92 1.95 0
147 DENSE 8192 2048 4.00 4.62 0.04 5.96 1.29 0
149 DENSE 6144 2048 3.00 3.57 0.02 5.88 1.65 0
150 DENSE 2048 2048 1.00 7.15 0.02 5.41 0.76 3
152 DENSE 8192 2048 4.00 4.14 0.02 8.13 1.96 0
153 DENSE 8192 2048 4.00 4.51 0.03 5.58 1.24 0
155 DENSE 6144 2048 3.00 3.67 0.02 6.10 1.66 0
156 DENSE 2048 2048 1.00 7.48 0.07 6.84 0.92 3
158 DENSE 8192 2048 4.00 4.13 0.02 8.10 1.96 0
159 DENSE 8192 2048 4.00 5.22 0.01 6.50 1.25 0
161 DENSE 6144 2048 3.00 4.00 0.01 6.22 1.56 0
162 DENSE 2048 2048 1.00 7.30 0.06 7.03 0.96 3
164 DENSE 8192 2048 4.00 4.18 0.02 8.24 1.97 0
165 DENSE 8192 2048 4.00 5.03 0.01 6.46 1.28 0
167 DENSE 6144 2048 3.00 3.67 0.02 6.75 1.84 0
168 DENSE 2048 2048 1.00 7.69 0.06 7.64 0.99 2
170 DENSE 8192 2048 4.00 4.11 0.02 8.11 1.97 0
171 DENSE 8192 2048 4.00 4.99 0.01 6.58 1.32 0
173 DENSE 6144 2048 3.00 3.55 0.02 6.01 1.69 0
174 DENSE 2048 2048 1.00 7.70 0.08 7.44 0.97 2
176 DENSE 8192 2048 4.00 4.24 0.02 8.38 1.98 0
177 DENSE 8192 2048 4.00 5.04 0.01 6.63 1.32 0
179 DENSE 6144 2048 3.00 3.68 0.02 6.29 1.71 0
180 DENSE 2048 2048 1.00 6.99 0.06 7.02 1.00 2
182 DENSE 8192 2048 4.00 4.24 0.03 8.41 1.98 0
183 DENSE 8192 2048 4.00 4.98 0.02 6.51 1.31 0
185 DENSE 6144 2048 3.00 3.30 0.01 5.29 1.60 0
186 DENSE 2048 2048 1.00 7.04 0.07 6.87 0.98 2
188 DENSE 8192 2048 4.00 4.41 0.04 8.78 1.99 0
189 DENSE 8192 2048 4.00 5.18 0.02 6.58 1.27 0
191 DENSE 6144 2048 3.00 3.26 0.01 5.26 1.61 0
192 DENSE 2048 2048 1.00 7.29 0.08 7.09 0.97 2
194 DENSE 8192 2048 4.00 4.54 0.04 9.08 2.00 0
195 DENSE 8192 2048 4.00 5.33 0.02 6.97 1.31 0
197 DENSE 6144 2048 3.00 3.25 0.01 5.24 1.61 0
198 DENSE 2048 2048 1.00 6.27 0.08 6.81 1.09 2
200 DENSE 8192 2048 4.00 5.07 0.05 10.20 2.01 0
201 DENSE 8192 2048 4.00 5.10 0.02 6.81 1.33 0
203 DENSE 6144 2048 3.00 3.42 0.04 5.61 1.64 0
204 DENSE 2048 2048 1.00 5.42 0.08 7.06 1.30 2
206 DENSE 8192 2048 4.00 5.09 0.06 10.27 2.02 0
207 DENSE 8192 2048 4.00 5.00 0.02 7.47 1.49 0
209 DENSE 6144 2048 3.00 3.34 0.04 5.49 1.64 0
210 DENSE 2048 2048 1.00 5.21 0.08 6.98 1.34 1
212 DENSE 8192 2048 4.00 4.75 0.05 9.81 2.07 0
213 DENSE 8192 2048 4.00 4.49 0.01 7.68 1.71 0
215 DENSE 6144 2048 3.00 2.91 0.03 5.14 1.77 0
216 DENSE 2048 2048 1.00 4.86 0.07 6.65 1.37 3
218 DENSE 8192 2048 4.00 4.41 0.05 10.03 2.27 0
219 DENSE 8192 2048 4.00 4.76 0.02 7.43 1.56 0
221 DENSE 2048 2048 1.00 48.35 0.12 24.43 0.51 2