データハブGradleタスク

データハブGradleタスク

データハブのGradleプラグイン（ml-data-hub）で使用可能なGradleタスク。

データハブにおけるGradleの使用

データハブのGradleプラグインをデータハブのフロー内で使用するには「データハブGradleプラグイン」を参照してください。

パラメータをGradleタスクに渡すには、-Pオプションを使用します。

Unixシステム

./gradlew taskname ...-PparameterName=parameterValue ... -i

Windows

gradlew.bat taskname ...-PparameterName=parameterValue ... -i

Gradleの-iオプションを使ってinfoレベルのロギングができます。

このページでは、データハブのGradleプラグイン（ml-data-hub）で使用可能なGradleタスクのすべてを紹介します。

• mlで始まる名前のタスクは、ml-gradle実装用のものをデータハブ用にカスタマイズしたものです。
• hubで始まる名前のタスクは、データハブ用に作成されたものです。

• MarkLogicデータハブのセットアップタスク
• MarkLogicデータハブのスキャフォールディングタスク
• MarkLogicデータハブのフロー管理タスク
• MarkLogicデータハブのレコード管理タスク
• MarkLogicデータハブのアンインストールタスク
• 以前の（DHF 4.x）タスク

MarkLogicデータハブのセットアップタスク

これらのタスクは、MarkLogicデータハブの設定と管理に使用します。

mlDeploy

hubPreinstallCheckを使用してData Hubプロジェクトをデプロイします。

Unixシステム

./gradlew mlDeploy -i

Windows

gradlew.bat mlDeploy -i

mlWatch

データハブ固有のフォルダ（pluginsおよびentity-config）内のモジュールを監視することで、ml-gradleのWatchTaskを拡張します。

Unixシステム

./gradlew mlWatch -i

Windows

gradlew.bat mlWatch -i

mlUpdateIndexes

フォレストを作成または更新せずに、すべてのデータベースのプロパティを更新します。データベースのプロパティの多くは、インデックス付けに関連するものです。

Unixシステム

./gradlew mlUpdateIndexes -i

Windows

gradlew.bat mlUpdateIndexes -i

hubUpdate

データハブインスタンスを新しいバージョンに更新します。

Unixシステム

./gradlew hubUpdate -i

Windows

gradlew.bat hubUpdate -i

hubUpdateタスクを実行する前に、build.gradleファイルを編集します。pluginsにある'com.marklogic.ml-data-hub’バージョンの値を新しいデータハブのバージョンに変更します。

例えば、データハブ 5.1.0に更新する場合は、次のようにします。

 plugins {
  id 'com.marklogic.ml-data-hub' version '5.1.0'
}

新しいバージョンのデータハブ にアップグレードする詳細な手順については、「データハブのアップグレード」を参照してください。

-iオプション（infoモード）を使用して**hubUpdate**タスクを実行すると、タスクの詳細（変更された設定など）が表示されます。

hubInfo

Data Hub設定に関する基本情報を出力します。

Unixシステム

./gradlew hubInfo -i

Windows

gradlew.bat hubInfo -i

hubDeployUserArtifacts

エンティティやマッピングなどのユーザーアーティファクトがMarkLogicサーバーにインストールされます。（Data Hub 4.2以降）

Unixシステム

./gradlew hubDeployUserArtifacts -i

Windows

gradlew.bat hubDeployUserArtifacts -i

MarkLogicデータハブのスキャフォールディングタスク

これらのタスクにより、プロジェクト、エンティティ、フロー、およびステップのスキャフォールディングを実行できます。

hubInit

現在のディレクトリをデータハブプロジェクトとして初期化します。

Unixシステム

./gradlew hubInit -i

Windows

gradlew.bat hubInit -i

hubCreateEntity

ボイラープレートのエンティティを作成します。

Unixシステム

./gradlew hubCreateEntity -PentityName=YourEntityName -i

Windows

gradlew.bat hubCreateEntity -PentityName=YourEntityName -i

Parameters

entityName

   （必須）作成するエンティティの名前。

hubCreateFlow

ボイラープレートのフロー定義ファイルを作成します。

Unixシステム

./gradlew hubCreateFlow -PflowName=YourFlowName -i

Windows

gradlew.bat hubCreateFlow -PflowName=YourFlowName -i

Parameters

flowName

   （必須）作成するフローの名前。

hubCreateStepDefinition

ステップとしてフローに追加できるカスタムのステップ定義を作成します。

Unixシステム

./gradlew hubCreateStepDefinition -PstepDefName=yourstepname -PstepDefType=yoursteptype -Pformat=[sjs|xqy] -i

Windows

gradlew.bat hubCreateStepDefinition -PstepDefName=yourstepname -PstepDefType=yoursteptype -Pformat=[sjs|xqy] -i

Parameters

stepDefName

   （必須）作成するカスタムステップ定義の名前。

stepDefType

   作成するステップ定義のタイプ。ingestioningestion、mapping、mastering、customを指定します。デフォルトは、customです。

format

   新規ステップ定義に関連付けられたモジュールの形式です。 xqy （XQuery）あるいはsjs（JavaScript）です。デフォルトは、sjsです。

JavaScriptモジュール（main.sjs）が生成され、このステップで必要な処理を実行するためのステップ定義に関連付けられます。

• -Pformat=sjsの場合、あるいはオプションが指定されていない場合、main.sjsファイルだけが作成されます。この中にステップで必要な処理が含まれています。
• -Pformat=xqyの場合、ファイルが2つ作成されます。
  • lib.xqyは、カスタマイズの対象となるXQueryモジュールです。このステップに必要な処理が含まれています。例えば、エンベロープを作成するカスタムコードなどです。
  • main.sjsは、lib.xqyをラップするものです。

これらのモジュールは、your-project-root/src/main/ml-modules内にあります。

hubGeneratePii

*個人情報（PII）*として指定されたエンティティプロパティを保護するためのセキュリティ設定ファイルを生成します。詳細は、「個人情報の管理」を参照してください。

Unixシステム

./gradlew hubGeneratePii -i

Windows

gradlew.bat hubGeneratePii -i

MarkLogicデータハブのフロー管理タスク

こうしたタスクでは、フローを実行してクリーンアップできます。

hubRunFlow

フローを実行します。

Unixシステム

./gradlew hubRunFlow -PflowName=YourFlowName -PentityName=YourEntityName -PbatchSize=100 -PthreadCount=4 -PshowOptions=[true|false] -PfailHard=[true|false] -Psteps="1,2" -PjobId="abc123" [ -Poptions="{ customkey: customvalue, ...}" | -PoptionsFile=/path/to.json ] -i

Windows

gradlew.bat hubRunFlow -PflowName=YourFlowName -PentityName=YourEntityName -PbatchSize=100 -PthreadCount=4 -PshowOptions=[true|false] -PfailHard=[true|false] -Psteps="1,2" -PjobId="abc123" [ -Poptions="{ customkey: customvalue, ...}" | -PoptionsFile=/path/to.json ] -i

Parameters

flowName

   （必須）実行するハーモナイズフローの名前。

entityName

   （フローにマッピングステップが含まれている場合に必須）マッピングステップで使用するエンティティの名前。

batchSize

   バッチに含める項目の数。デフォルトは100です。

threadCount

   実行するスレッドの数。デフォルトは4です。

showOptions

trueの場合、コマンドに渡されたオプションが出力されます。デフォルトは、falseです。

failHard

trueの場合、ステップが失敗するとすぐにフローの実行が終了します。デフォルトは、falseです。

steps

   実行するステップ番号（カンマ区切りで指定）。指定していない場合は、フロー全体が実行されます。

jobId

このフローの実行に対応付けられた一意のジョブID。このオプションは、フローの実行がより大きなプロセスの一部である場合に使用できます（例えば、NiFiが独自のジョブ/プロセスIDによりオーケストレーションしたプロセスなど）。既存のデータハブのジョブIDと同じにすることはできません。指定していない場合は、一意のデータハブジョブIDが割り当てられます。

options

   キー/バリューペアを含むJSON構造が、カスタムパラメータとしてステップモジュールに渡されます。

optionsFile

   キー/バリューペアを含むJSONファイルへのパスが、カスタムパラメータとしてステップモジュールに渡されます。

ステップモジュールに渡されたカスタムキー/バリューパラメータは、ステップモジュール内の$options（xqy）あるいはoptions（sjs）変数を通じて使用できます。

hubExportJobs

ジョブレコードをエクスポートします。このタスクは、ステージングデータベースまたはファイナルデータベースのコンテンツには影響しません。

Unixシステム

./gradlew hubExportJobs -PjobIds=ID1,ID2,IDn -Pfilename=export.zip -i

Windows

gradlew.bat hubExportJobs -PjobIds=ID1,ID2,IDn -Pfilename=export.zip -i

Parameters

jobIds

   エクスポートするジョブIDのカンマ区切りリスト。

filename

   生成するzipファイルの名前（ファイル拡張子を含む）。デフォルトは、jobexport.zipです。

hubDeleteJobs

ジョブレコードを削除します。このタスクは、ステージングデータベースまたはファイナルデータベースのコンテンツには影響しません。

Unixシステム

./gradlew hubDeleteJobs -PjobIds=ID1,ID2,IDn -i

Windows

gradlew.bat hubDeleteJobs -PjobIds=ID1,ID2,IDn -i

Parameters

jobIds

   （必須）削除するジョブIDのカンマ区切りリスト。

MarkLogicデータハブのレコード管理タスク

これらのタスクでは、特定のレコードに対してフロー外でアクションを実施できます。

hubMergeEntities

指定されたマスタリングステップの設定に基づき、指定されたレコードをマージします。

Unixシステム

./gradlew hubMergeEntities -PmergeURIs=URI1,URI2,URIn -PflowName=YourFlowName -Pstep=1 -Ppreview=[true|false] -Poptions={YourStepOptionOverrides} -i

Windows

gradlew.bat hubMergeEntities -PmergeURIs=URI1,URI2,URIn -PflowName=YourFlowName -Pstep=1 -Ppreview=[true|false] -Poptions={YourStepOptionOverrides} -i

Parameters

mergeURIs

   （必須）マージするレコードのURIのカンマ区切りのリスト。

flowName

   （必須）マスタリングステップを含むフローの名前。

step

指定されたフロー内のマスタリングステップのステップ番号。このタスクでは、マスタリングステップ内の設定を使用します。デフォルトは1です。つまりフロー内の最初のステップがマスタリングステップです。

preview

trueの場合、データベースには何も変更が加えられず、マージ済みレコードがシミュレーションとして返されます。それ以外の場合は、マージ済みレコードがデータベースに保存されます。デフォルトは、falseです。

options

指定されたマスタリングステップ内の設定を上書きするマスタリングステップを含むJSON形式の文字列です。デフォルトは、{}です。

hubUnmergeEntities

指定されたマージ済みレコードを作成した一連のマージをリバースします。

Unixシステム

./gradlew hubUnmergeEntities -PmergeURI=URIofMergedRecord -PretainAuditTrail=[true|false] -PblockFutureMerges=[true|false] -i

Windows

gradlew.bat hubUnmergeEntities -PmergeURI=URIofMergedRecord -PretainAuditTrail=[true|false] -PblockFutureMerges=[true|false] -i

Parameters

mergeURI

   （必須）アンマージするレコードのURI。

retainAuditTrail

trueの場合、マージ済みレコードはアーカイブコレクションに移動されます。それ以外の場合は、削除されます。デフォルトは、trueです。

blockFutureMerges

trueの場合、コンポーネント（マージ元）のレコードは再度マージされることがなくなります。デフォルトは、trueです。

MarkLogicデータハブのアンインストールタスク

mlUndeploy

データハブのすべてのコンポーネント（データベース、アプリケーションサーバー、フォレスト、ユーザーなど）をMarkLogicサーバーから削除します。

Unixシステム

./gradlew mlUndeploy -Pconfirm=true -i

Windows

gradlew.bat mlUndeploy -Pconfirm=true -i

以前の（DHF 4.x）タスク

hubCreateInputFlow

以前（DHF 4.x）の入力フローを作成します。結果として得られるDHF 4.xFlowは、hubRunLegacyFlowを使用して実行する必要があります。

Unixシステム

./gradlew hubCreateInputFlow -PentityName=YourEntityName -PflowName=YourFlowName -PdataFormat=[xml|json] -PpluginFormat=[xqy|sjs] -i

Windows

gradlew.bat hubCreateInputFlow -PentityName=YourEntityName -PflowName=YourFlowName -PdataFormat=[xml|json] -PpluginFormat=[xqy|sjs] -i

Parameters

entityName

   （必須）フローを所有するエンティティの名前。

flowName

   （必須）作成する入力フローの名前。

dataFormat

xml xqyまたはjson。デフォルトは、jsonです。

pluginFormat

xqy xqyまたはsjs。プラグインプログラミング言語。

hubCreateHarmonizeFlow

以前（DHF 4.x）のハーモナイズフローを作成します。結果として得られるDHF 4.xFlowは、hubRunLegacyFlowを使用して実行する必要があります。

Unixシステム

./gradlew hubCreateHarmonizeFlow -PentityName=YourEntityName -PflowName=YourFlowName -PdataFormat=[xml|json] -PpluginFormat=[xqy|sjs] -PmappingName=yourmappingname -i

Windows

gradlew.bat hubCreateHarmonizeFlow -PentityName=YourEntityName -PflowName=YourFlowName -PdataFormat=[xml|json] -PpluginFormat=[xqy|sjs] -PmappingName=yourmappingname -i

Parameters

entityName

   （必須）フローを所有するエンティティの名前。

flowName

   （必須）作成するハーモナイズフローの名前。

dataFormat

xml xqyまたはjson。デフォルトは、jsonです。

pluginFormat

xqy xqyまたはsjs。プラグインプログラミング言語。

mappingName

   コード生成の際に使用されるモデル対モデルのマッピングの名前です。

hubRunLegacyFlow

レガシーのDHF 4.xのハーモナイズフローを実行します。

Unixシステム

./gradlew hubRunLegacyFlow -PentityName=YourEntityName -PflowName=YourFlowName -PbatchSize=100 -PthreadCount=4 -PsourceDB=data-hub-STAGING -PdestDB=data-hub-FINAL -PshowOptions=[true|false] -Pdhf.YourKey=YourValue -i

Windows

gradlew.bat hubRunLegacyFlow -PentityName=YourEntityName -PflowName=YourFlowName -PbatchSize=100 -PthreadCount=4 -PsourceDB=data-hub-STAGING -PdestDB=data-hub-FINAL -PshowOptions=[true|false] -Pdhf.YourKey=YourValue -i

Parameters

entityName

   （必須）ハーモナイズフローを含むエンティティの名前。

flowName

   （必須）実行するハーモナイズフローの名前。

batchSize

   バッチに含める項目の数。デフォルトは100です。

threadCount

   実行するスレッドの数。デフォルトは4です。

sourceDB

   実行の対象となるデータベースの名前。デフォルトは使用するステージングデータベースの名前です。

destDB

   ハーモナイズされた結果を入れるデータベースの名前。デフォルトは使用するファイナルデータベースの名前です。

showOptions

   このコマンドに渡されたオプションを出力するかどうかを指定します。デフォルトは、falseです。

dhf.YourKey

   キーに関連付けられた値です。これらのキー/バリューのペアは、カスタムパラメータとしてフローに渡されます。追加のキー/バリューペアを別のオプションとして渡すこともできます。

hubrunlegacyflow ... -Pdhf.YourKeyA=YourValueA -Pdhf.YourKeyB=YourValueB ...

ステップモジュールに渡されたカスタムキー/バリューパラメータは、ステップモジュール内の$options（xqy）あるいはoptions（sjs）変数を通じて使用できます。

See Also

関連するコンセプト

• データハブGradleプラグイン
• Gradleプロパティ

関連するタスク

• 各種環境向けのGradleの設定

関連する情報

• ml-gradleの一般的なタスク
• ml-gradleタスクのリファレンス