GolangでMySQLデータベースのバックアップを実装する方法

GolangでMySQLデータベースのバックアップを実装する方法

背景

Navicat は、最高の MySQL 視覚化ツールです。ただし、ビューのインポートとエクスポートに関しては、ビュー名のアルファベット順に処理されます。ビューに依存関係がある場合は、インポート プロセス中にエラーが報告されます。以前 Python で書いたことがありますが、それを使用すると xfffd エンコーディングが発生し、Python の pymysql が直接クラッシュしてしまいました。 golang にはこの問題がないことがわかったので、golang に慣れるために go で書き直しました。

いくつかの重要なポイント

  1. map & jsonでは、主キーと外部キーの情報を処理する際に、中間結果を格納するためにjsonデータ構造を使用する必要があります。柔軟に対応する必要があるため、golangではmap[string]interface{}でしか扱うことができません。
  2. interface{} は Java のオブジェクトに相当し、任意のデータ型を受け入れることができます。これは便利ですが、使用時には注意が必要です。そうしないと、データ型が一致しない場合にプログラムがクラッシュします。
  3. xfffd は utf8 のプレースホルダーです。範囲外の utf8mb4 がデータベースに保存されると、xfffd として保存されます。データをエクスポートするときには、これを除外する必要があります。
  4. goroutine は、golang の並行処理サポートがユニークです。当社のツールは、複数のライブラリの同時バックアップをサポートしており、goroutine を使用して簡単に並列処理を実現できます。

コード分​​析

機能モジュールごとにコアコードを説明する

main.go、並行性、コマンドライン引数

コマンドラインパラメータを使用して、バックアップコンテンツを指定するパラメータを受け入れます。

パッケージ共通

OpFlag構造体型{
  Tables bool //テーブル構造 Datum bool //テーブル構造とデータ Views bool //ビュー Funcs bool //関数とストアドプロシージャ}

main.go、プログラムエントリ、コマンドラインパラメータの処理

 len(os.Args) > 1 の場合 {
    フラグ = common.OpFlag{
      表: 偽、
      データ: 偽、
      閲覧数: false、
      関数: false、
    }
    switch os.Args[1] { //パラメータを受け入れる case "table":
      flag.Tables = true //パラメータケース「data」に応じて識別子を設定します。
      flag.Tables = true
      flag.Datum = true
    ケース「ビュー」:
      flag.Views = true
    ケース "関数":
      flag.Funcs = true
    デフォルト: // パラメータが正しくありません。エラーを報告してログを終了します。致命的("引数はテーブル、データ、ビュー、または関数内になければなりません。")
    }
  }else{ //パラメータなし、すべてのフラグはデフォルトでエクスポートされます = common.OpFlag{
      表: 真、
      データ: true、
      閲覧数: true、
      関数: true、
    }
  }
  err := backUp.Export(flag) パラメータに従ってデータベースをバックアップします

エクスポート.go

メインプロセスをバックアップし、configs.json に従って goroutine を生成してデータベースをバックアップし、完了を待ちます。

var configs インターフェース{}
  fr, err := os.Open("./configs.json")
  err != nil の場合 {
    エラーを返す
  }
  デコーダー:= json.NewDecoder(fr) // 設定ファイルを解析します err = デコーダー.Decode(&configs)
  confs := configs.(map[文字列]インターフェース{})
  workDir := confs["workDir"].(文字列)
  ch := make(chan string) //キーのチャネル変数、値 := range confs {
    strings.HasPrefix(キー、"db_") の場合 {
      dbConf := 値.(map[文字列]インターフェース{})
      dbConn := common.DbConnFields{ //データベース構成 DbHost: dbConf["db_host"].(文字列),
        DbPort: int(dbConf["db_port"].(float64))、
        DbUser: dbConf["db_user"].(文字列)、
        DbPass: dbConf["db_pass"].(文字列)、
        DbName: dbConf["db_name"].(文字列)、
        DbCharset: dbConf["db_charset"].(文字列)、
      }
      if dbConf["file_alias"] != nil { //SQLバックアップファイルの名前を生成します dbConn.FileAlias ​​= dbConf["file_alias"].(string)
      }
      go ExportOne(dbConn, workDir, ch, flag) //コルーチンを作成する}
  }
  for key := range confs { //メインプロセスをブロックし、すべてのコルーチンが作業を完了するまで待機します if strings.HasPrefix(key, "db_") {
      fmt.Print(<-ch) 関数は、
    }
  }
  nilを返す

バックアップするデータベースを記述するには、次の構成ファイルを作成する必要があります。

{
  "db_name1": {
    "db_host": "192.168.1.8",
    「db_port」: 3306,
    "db_user": "ルート",
    "db_pass": "123456",
    "db_name": "name1",
    "db_charset": "utf8mb4",
    "file_alias": "ファイル名1"
  },
  "db_name2": {
    "db_host": "ローカルホスト",
    「db_port」: 3306,
    "db_user": "ルート",
    "db_pass": "123456",
    "db_name": "name2",
    "db_charset": "utf8mb4"
  },
  "データベース方言": "mysql",
  "作業ディレクトリ": "/home/zhoutk/gocodes/goTools/"
}

エクスポートワン

データベースのバックアップ

ファイル名:= フィールド.FileAlias
  setSqlHeader(fields, fileName) //エクスポートファイルの説明を設定します if flag.Tables { //テーブルがtrueに設定されている場合、テーブル構造をエクスポートします err := exportTables(fileName, fields, flag) //特定のアルゴリズムについては、ソースコードを参照してください if err != nil {
      ch <- fmt.Sprintln("エラー: ", fields.DbName, "\t エクスポート テーブルがスローされました, \t", err)
      戻る
    }
  }
  if flag.Views { //ビューがtrueに設定されている場合、ビューをエクスポートします err := exportViews(fileName, fields) //具体的なアルゴリズムについては、ソースコードまたはPythonアルゴリズムを参照してください if err != nil {
      ch <- fmt.Sprintln("エラー: ", fields.DbName, "\t エクスポート ビューがスローされました, \t", err)
      戻る
    }
  }
  if flag.Funcs { //関数がtrueに設定されている場合、関数とストアドプロシージャをエクスポートします err := exportFuncs(fileName, fields) //具体的なアルゴリズムについては、ソースコードを参照してください if err != nil {
      ch <- fmt.Sprintln("エラー: ", fields.DbName, "\t export funcs throw, \t", err)
      戻る
    }
  }
  //エクスポートが完了しました。チャネルに情報を入力します。 ch <- fmt.Sprintln("エクスポート ", fields.DbName, "\t 成功 \t", time.Now().Format("2006-01-02 15:04:05"))

翻訳元

データベース クエリの一般的なカプセル化。このツールは ExecuteWithDbConn のみを使用します。 map と interface{} を柔軟に使用して、結果をキー値オブジェクトに変換して返します。

func ExecuteWithDbConn(sql 文字列、値 [] インターフェース {}、フィールド common.DbConnFields) (map [文字列] インターフェース {}、エラー) {
  rs := make(map[文字列]インターフェース{})
  dao、err := mysql.Open("mysql", fields.DbUser + ":"+fields.DbPass+"@tcp("+fields.DbHost+":"+
    strconv.Itoa(fields.DbPort)+")/"+fields.DbName+"?charset="+fields.DbCharset)
  dao.Close() を延期する
  err != nil の場合 {
    rs["コード"] = 204
    rsを返す、エラー
  }
  stmt、err := dao.Prepare(sql)
  err != nil の場合 {
    rs["コード"] = 204
    rsを返す、エラー
  }
  行、エラー:= stmt.Query(値...)
  err != nil の場合 {
    rs["コード"] = 204
    rsを返す、エラー
  }
  columns, err := rows.Columns() //フィールド名を取得します vs := make([]mysql.RawBytes, len(columns))
  スキャン:= make([]interface{}, len(列))
  for i := range vs { // プリセット値アドレス scans[i] = &vs[i]
  }
  var result []map[文字列]インターフェース{}
  行のNext() {
    _ = rows.Scan(scans...) //値の列を入力します each := make(map[string]interface{})
    i, col := 範囲 vs {
      列がnilの場合{
        each[columns[i]] = FilterHolder(string(col)) //Filter/xfffd
      }それ以外{
        各[列[i]] = nil
      }
    }
    結果 = append(結果、それぞれ)
  }
  rs["コード"] = 200
  //データ、_ := json.Marshal(結果)
  rs["行"] = 結果
  rsを返す、エラー
}

プロジェクトギャラリー

https://github.com/zhoutk/goTools

使い方

git クローン https://github.com/zhoutk/goTools
cd goツール
取りに行く
main.go を実行します
ビルド main.go
./main #データベースのすべてをエクスポート
./main テーブル #テーブルをエクスポート
./main data #テーブルとデータをエクスポート
./メインビュー #エクスポートビュー
./main funcs #export 関数とストアド プロシージャ

要約する

上記は、編集者が紹介したgolangを使用してmysqlデータベースをバックアップする操作方法です。皆様のお役に立てれば幸いです。ご質問がある場合は、メッセージを残してください。編集者がすぐに返信します。また、123WORDPRESS.COM ウェブサイトをサポートしてくださっている皆様にも感謝申し上げます。

以下もご興味があるかもしれません:
  • GolangはSSHプロキシ経由でMySQLに接続する
  • Golang で MySQL データベースに接続する
  • GolangでMySqlデータベースを操作するための完全な手順
  • GolangでMySQLを操作する方法
  • GolangでMySQLデータベースを操作するための実装コード
  • Golang 操作はデータベースに接続して、mysql トランザクションの例を実装します。

<<:  Vue Element フロントエンドアプリケーション開発のための従来の JS 処理機能

>>:  Linux は、Deepin がルートユーザーとして Google Chrome ブラウザを起動できない問題を解決します

推薦する

MySQL で主キーと ROWID を使用する際の落とし穴の概要

序文MySQL の rowid の概念については聞いたことがあるかもしれませんが、テストや実践が難し...

Ubuntu で VIM を C++ 開発エディタとして設定する

1. 設定ファイルをユーザー環境にコピーし、新しい.vimフォルダを作成し、バンドルサブフォルダを作...

MySql5.7.21 インストールポイント記録メモ

ダウンロードしたバージョンは、Zip 解凍版、Windows システムです。長い間 Windows ...

Dockerを使用してシンプルなJava開発およびコンパイル環境を構築する方法の詳細な説明

Java 言語には多くのバージョンがあります。一般的に使用されている Java 8 に加えて、一部の...

Vue プロジェクトで Baidu Map API を使用する方法

目次1. Baidu Map Open Platformにアカウントを登録してログインする2. 必要...

プレーヤー機能を実現するためのvue + element uiのサンプルコード

効果画像のない表示は単なる空虚な言葉です。 1. オーディオをベースにし、elementUI と組み...

Kali に docker と portainer をインストールする方法

dockerの登場により、多くのサービスが徐々にハードウェアアーキテクチャへの依存から脱却しました。...

Dockerコンテナのログ分析

コンテナログを表示するまず、 docker run -it --rm -d -p 80:80 ngi...

Vueは右上隅の時間表示のリアルタイム更新を実装します

この記事の例では、右上隅の時間表示のリアルタイム更新を実現するためのVueの具体的なコードを紹介しま...

HTMLページでよく使われるいくつかの小さなメソッド

<Head>タグに追加する<meta http-equiv="pragm...

MySQL の垂直テーブルを水平テーブルに変換する方法と最適化のチュートリアル

1. 縦型テーブルと横型テーブル垂直テーブル: テーブル内のフィールドとフィールド値はキーと値の形式...

HBuilderX で Tomcat 外部サーバーを設定して、JSP インターフェイスを表示および編集する方法の詳細な説明

1. 最初の方法は、ローカルのTomcatを起動してJSPを表示することです。 tomcatのweb...

MySQL における SQL ページングクエリのいくつかの実装方法と利点と欠点

【SQL】SQLページングクエリの概要開発プロセスではページングが必要になることがよくあります。今日...

実用的なウェブオンラインツール12選

1.ファビコン.cc ico アイコンの Web サイトをオンラインで作成するには、画像をアップロー...

Linux CentOS 6.5 のアンインストール、tar、および MySQL のインストールチュートリアル

システム提供のMySQLをアンインストールする1. MySQLがシステムにインストールされているかど...