{
  "transformer": {
    "h": {
      "0": {
        "attn": {
          "attention": {
            "k_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "out_proj": {
              "bias": [
                768
              ],
              "kernel": [
                768,
                768
              ]
            },
            "q_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "v_proj": {
              "kernel": [
                768,
                768
              ]
            }
          }
        },
        "ln_1": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "ln_2": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "mlp": {
          "c_fc": {
            "bias": [
              3072
            ],
            "kernel": [
              768,
              3072
            ]
          },
          "c_proj": {
            "bias": [
              768
            ],
            "kernel": [
              3072,
              768
            ]
          }
        }
      },
      "1": {
        "attn": {
          "attention": {
            "k_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "out_proj": {
              "bias": [
                768
              ],
              "kernel": [
                768,
                768
              ]
            },
            "q_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "v_proj": {
              "kernel": [
                768,
                768
              ]
            }
          }
        },
        "ln_1": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "ln_2": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "mlp": {
          "c_fc": {
            "bias": [
              3072
            ],
            "kernel": [
              768,
              3072
            ]
          },
          "c_proj": {
            "bias": [
              768
            ],
            "kernel": [
              3072,
              768
            ]
          }
        }
      },
      "10": {
        "attn": {
          "attention": {
            "k_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "out_proj": {
              "bias": [
                768
              ],
              "kernel": [
                768,
                768
              ]
            },
            "q_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "v_proj": {
              "kernel": [
                768,
                768
              ]
            }
          }
        },
        "ln_1": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "ln_2": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "mlp": {
          "c_fc": {
            "bias": [
              3072
            ],
            "kernel": [
              768,
              3072
            ]
          },
          "c_proj": {
            "bias": [
              768
            ],
            "kernel": [
              3072,
              768
            ]
          }
        }
      },
      "11": {
        "attn": {
          "attention": {
            "k_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "out_proj": {
              "bias": [
                768
              ],
              "kernel": [
                768,
                768
              ]
            },
            "q_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "v_proj": {
              "kernel": [
                768,
                768
              ]
            }
          }
        },
        "ln_1": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "ln_2": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "mlp": {
          "c_fc": {
            "bias": [
              3072
            ],
            "kernel": [
              768,
              3072
            ]
          },
          "c_proj": {
            "bias": [
              768
            ],
            "kernel": [
              3072,
              768
            ]
          }
        }
      },
      "2": {
        "attn": {
          "attention": {
            "k_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "out_proj": {
              "bias": [
                768
              ],
              "kernel": [
                768,
                768
              ]
            },
            "q_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "v_proj": {
              "kernel": [
                768,
                768
              ]
            }
          }
        },
        "ln_1": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "ln_2": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "mlp": {
          "c_fc": {
            "bias": [
              3072
            ],
            "kernel": [
              768,
              3072
            ]
          },
          "c_proj": {
            "bias": [
              768
            ],
            "kernel": [
              3072,
              768
            ]
          }
        }
      },
      "3": {
        "attn": {
          "attention": {
            "k_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "out_proj": {
              "bias": [
                768
              ],
              "kernel": [
                768,
                768
              ]
            },
            "q_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "v_proj": {
              "kernel": [
                768,
                768
              ]
            }
          }
        },
        "ln_1": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "ln_2": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "mlp": {
          "c_fc": {
            "bias": [
              3072
            ],
            "kernel": [
              768,
              3072
            ]
          },
          "c_proj": {
            "bias": [
              768
            ],
            "kernel": [
              3072,
              768
            ]
          }
        }
      },
      "4": {
        "attn": {
          "attention": {
            "k_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "out_proj": {
              "bias": [
                768
              ],
              "kernel": [
                768,
                768
              ]
            },
            "q_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "v_proj": {
              "kernel": [
                768,
                768
              ]
            }
          }
        },
        "ln_1": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "ln_2": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "mlp": {
          "c_fc": {
            "bias": [
              3072
            ],
            "kernel": [
              768,
              3072
            ]
          },
          "c_proj": {
            "bias": [
              768
            ],
            "kernel": [
              3072,
              768
            ]
          }
        }
      },
      "5": {
        "attn": {
          "attention": {
            "k_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "out_proj": {
              "bias": [
                768
              ],
              "kernel": [
                768,
                768
              ]
            },
            "q_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "v_proj": {
              "kernel": [
                768,
                768
              ]
            }
          }
        },
        "ln_1": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "ln_2": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "mlp": {
          "c_fc": {
            "bias": [
              3072
            ],
            "kernel": [
              768,
              3072
            ]
          },
          "c_proj": {
            "bias": [
              768
            ],
            "kernel": [
              3072,
              768
            ]
          }
        }
      },
      "6": {
        "attn": {
          "attention": {
            "k_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "out_proj": {
              "bias": [
                768
              ],
              "kernel": [
                768,
                768
              ]
            },
            "q_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "v_proj": {
              "kernel": [
                768,
                768
              ]
            }
          }
        },
        "ln_1": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "ln_2": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "mlp": {
          "c_fc": {
            "bias": [
              3072
            ],
            "kernel": [
              768,
              3072
            ]
          },
          "c_proj": {
            "bias": [
              768
            ],
            "kernel": [
              3072,
              768
            ]
          }
        }
      },
      "7": {
        "attn": {
          "attention": {
            "k_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "out_proj": {
              "bias": [
                768
              ],
              "kernel": [
                768,
                768
              ]
            },
            "q_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "v_proj": {
              "kernel": [
                768,
                768
              ]
            }
          }
        },
        "ln_1": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "ln_2": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "mlp": {
          "c_fc": {
            "bias": [
              3072
            ],
            "kernel": [
              768,
              3072
            ]
          },
          "c_proj": {
            "bias": [
              768
            ],
            "kernel": [
              3072,
              768
            ]
          }
        }
      },
      "8": {
        "attn": {
          "attention": {
            "k_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "out_proj": {
              "bias": [
                768
              ],
              "kernel": [
                768,
                768
              ]
            },
            "q_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "v_proj": {
              "kernel": [
                768,
                768
              ]
            }
          }
        },
        "ln_1": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "ln_2": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "mlp": {
          "c_fc": {
            "bias": [
              3072
            ],
            "kernel": [
              768,
              3072
            ]
          },
          "c_proj": {
            "bias": [
              768
            ],
            "kernel": [
              3072,
              768
            ]
          }
        }
      },
      "9": {
        "attn": {
          "attention": {
            "k_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "out_proj": {
              "bias": [
                768
              ],
              "kernel": [
                768,
                768
              ]
            },
            "q_proj": {
              "kernel": [
                768,
                768
              ]
            },
            "v_proj": {
              "kernel": [
                768,
                768
              ]
            }
          }
        },
        "ln_1": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "ln_2": {
          "bias": [
            768
          ],
          "scale": [
            768
          ]
        },
        "mlp": {
          "c_fc": {
            "bias": [
              3072
            ],
            "kernel": [
              768,
              3072
            ]
          },
          "c_proj": {
            "bias": [
              768
            ],
            "kernel": [
              3072,
              768
            ]
          }
        }
      }
    },
    "ln_f": {
      "bias": [
        768
      ],
      "scale": [
        768
      ]
    },
    "wpe": {
      "embedding": [
        2048,
        768
      ]
    },
    "wte": {
      "embedding": [
        50257,
        768
      ]
    }
  }
}