gpt4all-mpt


Find this model in the GPT4ALL model summary

Model source: https://huggingface.co/nomic-ai/gpt4all-mpt

gpt4all-mpt Model Summary Plots

gpt4all-mpt Model Selected Details
  layer_type N M Q alpha D alpha-hat log_SN rank_loss
layer_id                  
2 DENSE 4096 2048 2.00 13.89 0.12 10.58 0.76 0
4 DENSE 12288 4096 3.00 1.63 0.01 6.42 3.94 0
5 DENSE 4096 4096 1.00 7.94 0.07 9.88 1.24 8
7 DENSE 16384 4096 4.00 1.66 0.04 6.64 3.99 0
8 DENSE 16384 4096 4.00 2.35 0.06 9.11 3.88 0
10 DENSE 12288 4096 3.00 3.21 0.02 7.78 2.43 0
11 DENSE 4096 4096 1.00 4.99 0.03 4.36 0.87 7
13 DENSE 16384 4096 4.00 3.01 0.03 8.80 2.92 0
14 DENSE 16384 4096 4.00 3.76 0.02 6.44 1.72 0
16 DENSE 12288 4096 3.00 2.92 0.06 7.20 2.46 0
17 DENSE 4096 4096 1.00 5.12 0.04 4.66 0.91 7
19 DENSE 16384 4096 4.00 2.29 0.02 6.70 2.93 0
20 DENSE 16384 4096 4.00 3.97 0.03 7.45 1.88 0
22 DENSE 12288 4096 3.00 3.84 0.03 10.45 2.72 0
23 DENSE 4096 4096 1.00 4.64 0.05 4.03 0.87 5
25 DENSE 16384 4096 4.00 2.87 0.01 7.95 2.77 0
26 DENSE 16384 4096 4.00 3.76 0.01 6.39 1.70 0
28 DENSE 12288 4096 3.00 3.88 0.02 10.26 2.64 0
29 DENSE 4096 4096 1.00 3.86 0.05 4.17 1.08 6
31 DENSE 16384 4096 4.00 3.33 0.01 9.30 2.79 0
32 DENSE 16384 4096 4.00 3.71 0.02 6.30 1.70 0
34 DENSE 12288 4096 3.00 3.38 0.03 8.59 2.54 0
35 DENSE 4096 4096 1.00 3.64 0.06 3.05 0.84 5
37 DENSE 16384 4096 4.00 3.57 0.01 9.85 2.76 0
38 DENSE 16384 4096 4.00 3.50 0.02 5.46 1.56 0
40 DENSE 12288 4096 3.00 3.32 0.03 9.41 2.83 0
41 DENSE 4096 4096 1.00 3.90 0.06 3.57 0.92 6
43 DENSE 16384 4096 4.00 3.48 0.01 9.65 2.77 0
44 DENSE 16384 4096 4.00 3.64 0.02 5.58 1.53 0
46 DENSE 12288 4096 3.00 3.88 0.04 9.61 2.47 0
47 DENSE 4096 4096 1.00 4.17 0.05 3.97 0.95 6
49 DENSE 16384 4096 4.00 3.75 0.01 10.26 2.73 0
50 DENSE 16384 4096 4.00 4.32 0.03 7.62 1.76 0
52 DENSE 12288 4096 3.00 2.51 0.05 6.04 2.40 0
53 DENSE 4096 4096 1.00 4.06 0.06 3.48 0.86 5
55 DENSE 16384 4096 4.00 3.82 0.01 10.44 2.73 0
56 DENSE 16384 4096 4.00 3.55 0.04 5.26 1.48 0
58 DENSE 12288 4096 3.00 3.22 0.04 7.74 2.41 0
59 DENSE 4096 4096 1.00 4.55 0.05 3.66 0.81 4
61 DENSE 16384 4096 4.00 3.85 0.01 10.61 2.76 0
62 DENSE 16384 4096 4.00 3.17 0.02 8.62 2.72 0
64 DENSE 12288 4096 3.00 2.94 0.04 6.73 2.29 0
65 DENSE 4096 4096 1.00 3.80 0.07 3.45 0.91 4
67 DENSE 16384 4096 4.00 3.77 0.01 10.23 2.71 0
68 DENSE 16384 4096 4.00 3.84 0.04 5.65 1.47 0
70 DENSE 12288 4096 3.00 3.07 0.03 7.07 2.31 0
71 DENSE 4096 4096 1.00 4.28 0.07 3.36 0.79 5
73 DENSE 16384 4096 4.00 3.75 0.01 10.21 2.72 0
74 DENSE 16384 4096 4.00 3.59 0.04 5.25 1.46 0
76 DENSE 12288 4096 3.00 3.03 0.04 7.03 2.32 0
77 DENSE 4096 4096 1.00 3.60 0.05 3.11 0.86 5
79 DENSE 16384 4096 4.00 3.92 0.01 10.69 2.72 0
80 DENSE 16384 4096 4.00 3.44 0.04 4.91 1.43 0
82 DENSE 12288 4096 3.00 4.73 0.03 10.66 2.25 0
83 DENSE 4096 4096 1.00 5.86 0.07 5.34 0.91 5
85 DENSE 16384 4096 4.00 3.87 0.01 10.47 2.71 0
86 DENSE 16384 4096 4.00 3.65 0.03 5.36 1.47 0
88 DENSE 12288 4096 3.00 3.03 0.03 6.82 2.25 0
89 DENSE 4096 4096 1.00 3.32 0.05 2.95 0.89 5
91 DENSE 16384 4096 4.00 3.96 0.01 10.63 2.69 0
92 DENSE 16384 4096 4.00 3.83 0.02 5.54 1.45 0
94 DENSE 12288 4096 3.00 2.91 0.03 6.64 2.28 0
95 DENSE 4096 4096 1.00 3.11 0.07 3.62 1.16 5
97 DENSE 16384 4096 4.00 3.71 0.01 9.96 2.68 0
98 DENSE 16384 4096 4.00 4.09 0.03 5.65 1.38 0
100 DENSE 12288 4096 3.00 3.02 0.03 7.03 2.33 0
101 DENSE 4096 4096 1.00 4.40 0.07 3.75 0.85 4
103 DENSE 16384 4096 4.00 3.88 0.01 10.41 2.68 0
104 DENSE 16384 4096 4.00 4.39 0.03 5.98 1.36 0
106 DENSE 12288 4096 3.00 3.48 0.02 8.12 2.33 0
107 DENSE 4096 4096 1.00 3.96 0.06 3.09 0.78 5
109 DENSE 16384 4096 4.00 3.95 0.01 10.49 2.65 0
110 DENSE 16384 4096 4.00 4.60 0.02 6.34 1.38 0
112 DENSE 12288 4096 3.00 3.08 0.02 7.25 2.35 0
113 DENSE 4096 4096 1.00 3.89 0.05 3.50 0.90 5
115 DENSE 16384 4096 4.00 3.96 0.01 10.45 2.64 0
116 DENSE 16384 4096 4.00 4.80 0.02 6.56 1.37 0
118 DENSE 12288 4096 3.00 3.19 0.01 7.48 2.35 0
119 DENSE 4096 4096 1.00 11.91 0.05 8.95 0.75 6
121 DENSE 16384 4096 4.00 3.97 0.02 10.43 2.63 0
122 DENSE 16384 4096 4.00 5.19 0.01 7.10 1.37 0
124 DENSE 12288 4096 3.00 3.27 0.02 7.71 2.35 0
125 DENSE 4096 4096 1.00 4.14 0.04 3.10 0.75 5
127 DENSE 16384 4096 4.00 3.75 0.02 9.78 2.61 0
128 DENSE 16384 4096 4.00 5.48 0.01 7.64 1.39 0
130 DENSE 12288 4096 3.00 3.35 0.01 7.89 2.35 0
131 DENSE 4096 4096 1.00 8.57 0.03 6.78 0.79 4
133 DENSE 16384 4096 4.00 4.28 0.02 11.15 2.61 0
134 DENSE 16384 4096 4.00 5.76 0.01 7.79 1.35 0
136 DENSE 12288 4096 3.00 3.33 0.01 7.91 2.38 0
137 DENSE 4096 4096 1.00 8.89 0.03 5.91 0.66 4
139 DENSE 16384 4096 4.00 3.60 0.03 9.38 2.61 0
140 DENSE 16384 4096 4.00 6.17 0.02 8.77 1.42 0
142 DENSE 12288 4096 3.00 3.34 0.01 7.97 2.39 0
143 DENSE 4096 4096 1.00 7.96 0.05 7.32 0.92 4
145 DENSE 16384 4096 4.00 3.51 0.03 9.14 2.60 0
147 DENSE 16384 4096 4.00 7.29 0.02 9.72 1.33 0
149 DENSE 12288 4096 3.00 3.30 0.01 7.86 2.38 0
150 DENSE 4096 4096 1.00 8.49 0.05 6.66 0.78 4
152 DENSE 16384 4096 4.00 3.50 0.03 9.06 2.59 0
153 DENSE 16384 4096 4.00 7.06 0.01 9.44 1.34 0
155 DENSE 12288 4096 3.00 3.31 0.01 7.76 2.35 0
156 DENSE 4096 4096 1.00 7.82 0.06 7.04 0.90 5
158 DENSE 16384 4096 4.00 3.58 0.04 9.20 2.57 0
159 DENSE 16384 4096 4.00 6.15 0.02 8.70 1.41 0
161 DENSE 12288 4096 3.00 3.03 0.01 7.32 2.42 0
162 DENSE 4096 4096 1.00 7.24 0.04 6.31 0.87 4
164 DENSE 16384 4096 4.00 3.58 0.04 9.18 2.56 0
165 DENSE 16384 4096 4.00 5.36 0.02 7.31 1.36 0
167 DENSE 12288 4096 3.00 3.07 0.01 7.35 2.40 0
168 DENSE 4096 4096 1.00 7.33 0.07 6.52 0.89 4
170 DENSE 16384 4096 4.00 3.86 0.04 9.85 2.55 0
171 DENSE 16384 4096 4.00 5.16 0.02 6.79 1.32 0
173 DENSE 12288 4096 3.00 3.02 0.01 7.27 2.41 0
174 DENSE 4096 4096 1.00 8.03 0.06 7.63 0.95 3
176 DENSE 16384 4096 4.00 4.79 0.04 12.22 2.55 0
177 DENSE 16384 4096 4.00 5.15 0.02 7.27 1.41 0
179 DENSE 12288 4096 3.00 3.36 0.01 8.00 2.38 0
180 DENSE 4096 4096 1.00 6.87 0.02 7.07 1.03 5
182 DENSE 16384 4096 4.00 4.14 0.01 10.56 2.55 0
183 DENSE 16384 4096 4.00 5.44 0.01 9.41 1.73 0
185 DENSE 12288 4096 3.00 3.15 0.02 7.44 2.36 0
186 DENSE 4096 4096 1.00 3.78 0.02 7.06 1.87 6
188 DENSE 16384 4096 4.00 3.55 0.02 9.45 2.66 0
189 DENSE 16384 4096 4.00 4.95 0.03 12.20 2.47 0
191 DENSE 12288 4096 3.00 1.61 0.03 5.78 3.59 0
192 DENSE 4096 4096 1.00 2.59 0.02 5.14 1.99 9
194 DENSE 16384 4096 4.00 2.42 0.03 9.39 3.88 0
195 DENSE 16384 4096 4.00 2.07 0.04 5.57 2.70 0