ITエンジニアとして経験・学習したこと

ITエンジニアとして経験したり学習したことを忘れないよう、書いていきたいと思います。少しでも皆様のお役に立てれば幸いです。

GCP(Google Cloud Platform)のLinux仮想マシン上でJavaプログラムを動かした

GCP(Google Cloud Platform)のLinux仮想マシン上で、GCS(Google Cloud Storage)とBigQueryで連動するJava 1.8のプログラムを動かせるようにしたので、その手順を共有する。

 

前提条件

GCP(Google Cloud Platform)のアカウントが有り、下記記事の手順に従って、GCP上でDebian GNU/Linux搭載済の仮想マシンを作成済であること
www.purin-it.work

 

また、以下の記事での環境構築を実施済であること

www.purin-it.work

 

やってみたこと

  1. JDK 1.8のインストール
  2. Mavenのインストール
  3. Mavenプロジェクトの作成
  4. pom.xmlとJavaプログラムの配置
  5. Mavenプロジェクトのコンパイル
  6. jarファイルの作成
  7. javaコマンドによるjarファイルの実行

 

JDK 1.8のインストール

GCP(Google Cloud Platform)上で仮想マシンを作成した段階では、Javaがインストールされていないため、Java 1.8のインストールを行う。

 

1) Debian GNU/Linux搭載済の仮想マシンにssh接続し、「apt list | grep jdk」により、インストール可能なJDKパッケージを探す

f:id:purin_it:jdk_install_1

 

2) 「sudo apt-get install openjdk-8-jdk」により、JDK 1.8のインストールを行う

「sudo」をコマンドの先頭に付与することで、管理者権限でコマンド実行ができる

また、途中でインストールを継続して良いか聞かれるので「Y」を入力する

f:id:purin_it:jdk_install_2

 

3) インストールが完了すると、下記画面のようになる

f:id:purin_it:jdk_install_3

 

4) 「java -version」と入力し、JDK 1.8がインストールされたことを確認する

f:id:purin_it:jdk_install_4

 

Mavenのインストール

今回はMavenプロジェクトを作成したいため、Mavenのインストールを行う。

 

1) 「apt list | grep maven」により、インストール可能なMavenパッケージを探す

f:id:purin_it:mvn_install_1

 

2) 「sudo apt-get install maven」により、Mavenのインストールを行う

f:id:purin_it:mvn_install_2

 

3) インストールが完了すると、下記画面のようになる

f:id:purin_it:mvn_install_3

 

4) 「mvn --version」と入力し、Mavenがインストールされたことを確認する

f:id:purin_it:mvn_install_4

 

Mavenプロジェクトの作成

「maven-archetype-quickstart」というシンプルなJavaプロジェクトタイプのアーキタイプ(雛型)があるので、今回はそれを用いて作成する。

 

1) 「mvn archetype:generate -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false -DgroupId=(グループID) -DartifactId=(アーティファクトID)」と入力し、Mavenプロジェクトを作成する

f:id:purin_it:mvn_make_project_1

 

2) 作成が完了すると、下記画面のようになる

f:id:purin_it:mvn_make_project_2

 

3) Mavenプロジェクトを作成すると、下記画面のようにフォルダ・ファイルが作成される

f:id:purin_it:mvn_make_project_3

 

なお、フォルダ構成をtree形式で表示できるように、下記画面のように「sudo apt-get install tree」コマンドにて、treeパッケージをインストールしている。

f:id:purin_it:mvn_make_project_4

 

pom.xmlとJavaプログラムの配置

pom.xmlとJavaプログラムを、Mavenプロジェクト上に配置する。

なお、下記手順のプログラムの作成とgcloudコマンドによるコピーは、Windows10のローカルPC上で実施している。

 

1) pom.xmlを以下のように修正する

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>test.bigquery.select</groupId>
  <artifactId>select-from-sales</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <name>select-from-sales</name>
  <url>http://maven.apache.org</url>

  <!-- 文字コードとJavaのバージョンの設定 -->
  <properties>
      <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
      <java.version>1.8</java.version>
  </properties>

  <!-- プラグインの設定 -->
  <build>
      <plugins>
          <!-- Javaファイルのコンパイラの設定 -->
          <plugin>
              <groupId>org.apache.maven.plugins</groupId>
              <artifactId>maven-compiler-plugin</artifactId>
              <version>3.6.1</version>
              <configuration>
                  <source>${java.version}</source>
                  <target>${java.version}</target>
              </configuration>
          </plugin>
          <!-- mavenプロジェクトのテスト時のエラー解消のための設定 -->
          <plugin>
              <groupId>org.apache.maven.plugins</groupId>
              <artifactId>maven-surefire-plugin</artifactId>
              <version>3.0.0-M3</version>
              <configuration>
                  <useSystemClassLoader>false</useSystemClassLoader>
              </configuration>
          </plugin>
          <!-- プロジェクトと依存するライブラリを1つにまとめる設定 -->
          <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>2.6</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <archive>
                        <manifest>
                            <!-- メインプログラムとして実行するクラスの指定 -->
                            <mainClass>test.TestBigQuery</mainClass>
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
          </plugin>
      </plugins>
  </build>

  <!-- ライブラリ依存関係の設定 -->
  <dependencies>
      <dependency>
          <!-- Junitの設定 -->
          <groupId>junit</groupId>
          <artifactId>junit</artifactId>
          <version>3.8.1</version>
          <scope>test</scope>
      </dependency>
      <dependency>
          <!-- BigQuery用ライブラリを追加する設定 -->
          <groupId>com.google.cloud</groupId>
          <artifactId>google-cloud-bigquery</artifactId>
          <version>1.49.0</version>
      </dependency>
      <dependency>
          <!-- JSON用ライブラリを追加する設定 -->
          <groupId>org.json</groupId>
          <artifactId>json</artifactId>
          <version>20180813</version>
      </dependency>
  </dependencies>

</project>

 

2) Javaプログラム(TestBigQuery.java、InsertIntoSales.java、SelectFromSales.java)は、SelectFromSales.javaのJSON出力先を「String jsonFilePath = "/home/ユーザーID/json/";」と変更する以外は、下記記事と同じ内容とする。

www.purin-it.work

 

また、実行時にJSONファイルが出力できるよう、Debian GNU/Linux搭載済の仮想マシンに、このjsonディレクトリをあらかじめ作成しておく。

f:id:purin_it:make_pg_2

 

3) コマンドプロンプト上で、「gcloud compute --project "プロジェクトID" scp --zone "ゾーン名" ./コピーファイル名 仮想VMインスタンス名:/home/ユーザー名 --recurse」を入力し、ローカルPCのファイルをDebian GNU/Linux搭載済の仮想マシンにコピーする

f:id:purin_it:make_pg_3_1

 

なお、「プロジェクトID」は、GCPの下記画面にて確認できる

f:id:purin_it:make_pg_3_2

 

4) 下図のように、Debian GNU/Linux搭載済の仮想マシン上のMavenプロジェクト内の所定の場所に、pom.xmlとJavaプログラムをコピーする

f:id:purin_it:make_pg_4

 

Mavenプロジェクトのコンパイル

「mvn compile」コマンドにより、Mavenプロジェクトのコンパイルを行う。

 

1) pom.xmlが置かれている場所に移動し、「mvn compile」を実行する

f:id:purin_it:mvn_compile_1

 

2) コンパイル後のフォルダ構成は下図の通り

f:id:purin_it:mvn_compile_2

 

jarファイルの作成

 「mvn package」コマンドにより、jarファイルの作成を行う。

 

1) pom.xmlが置かれている場所に移動し、「mvn package」を実行する

f:id:purin_it:mvn_package_1

 

2) jarファイル作成後のフォルダ構成は以下の通りで、依存するライブラリを全て含んだ実行可能な「select-from-sales-0.0.1-SNAPSHOT-jar-with-dependencies.jar」というjarファイルも、targetフォルダ下に作成されている

f:id:purin_it:mvn_package_2

 

javaコマンドによるjarファイルの実行

javaコマンドにより、作成されたjarファイルの実行を行う。

 

1) jarファイルが生成されたtargetフォルダに移動し、「java -jar select-from-sales-0.0.1-SNAPSHOT-jar-with-dependencies.jar」を実行する

f:id:purin_it:java_execute_1

 

2) 実行後、出力されたjsonファイルを確認した結果は以下の通り

f:id:purin_it:java_execute_2