データハブGradleタスク

データハブGradleタスク

データハブGradleプラグイン（ml-data-hub）で使用可能なすべてのGradleタスクの詳細なリスト。

データハブでのGradleの使用

データハブFlowでデータハブGradleプラグインを使用するには、「データハブGradleプラグイン」を参照してください。

パラメータをGradleタスクに渡すには、-Pオプションを使用します。

Unixシステム

./gradlew taskname ... -PparameterName=parameterValue ...

Windows

gradlew.bat taskname ... -PparameterName=parameterValue ...

このページには、データハブGradleプラグイン（ml-data-hub）で使用可能なGradleタスクのリストが表示されます。

• mlで始まる名前のタスクは、ml-gradle実装からデータハブ用にカスタマイズされています。
• hubで始まる名前のタスクは、データハブ専用に作成されたものです。

• MarkLogicデータハブのセットアップタスク
• MarkLogicデータハブのスキャフォールディングタスク
• MarkLogicデータハブのFlow管理タスク
• MarkLogicデータハブのアンインストールタスク
• レガシー（DHF 4.x）タスク

MarkLogicデータハブのセットアップタスク

これらのタスクは、MarkLogicデータハブの設定とデータハブの管理に使用します。

mlDeploy

hubPreinstallCheckを使用して、データハブプロジェクトをデプロイします。

Unixシステム

./gradlew mlDeploy

Windows

gradlew.bat mlDeploy

mlWatch

データハブ固有のフォルダ（pluginsおよびentity-config）内のモジュールを監視することで、ml-gradleのWatchTaskを拡張します。

Unixシステム

./gradlew mlWatch

Windows

gradlew.bat mlWatch

mlUpdateIndexes

フォレストを作成または更新せずに、すべてのデータベースのプロパティを更新します。データベースの多くのプロパティは、インデックス付けに関連するものです。

Unixシステム

./gradlew mlUpdateIndexes

Windows

gradlew.bat mlUpdateIndexes

hubUpdate

データハブインスタンスを新しいバージョンに更新します。

Unixシステム

./gradlew hubUpdate -i

Windows

gradlew.bat hubUpdate -i

hubUpdateタスクを実行する前に、build.gradleファイルを編集します。pluginsで、「com.marklogic.ml-data-hub」バージョンの値を新しいデータハブバージョンに変更します。

例えば、データハブ5.0.0に更新する場合は、次のようにします。

plugins { id 'com.marklogic.ml-data-hub' version '5.0.0' }

新しいバージョンのデータハブにアップグレードする詳細な手順については、データハブのアップグレードに関する箇所を参照してください。

-iオプション（情報モード）を使用して**hubUpdate**タスクを実行すると、変更された設定など、タスクの詳細が表示されます。

hubInfo

データハブ設定に関する基本情報を出力します。

Unixシステム

./gradlew hubInfo

Windows

gradlew.bat hubInfo

hubDeployUserArtifacts

エンティティやマッピングなどのユーザーアーティファクトをMarkLogicサーバーにインストールします。（Data Hub 4.2以降）

Unixシステム

./gradlew hubDeployUserArtifacts

Windows

gradlew.bat hubDeployUserArtifacts

MarkLogicデータハブのスキャフォールディングタスク

これらのタスクにより、プロジェクト、エンティティ、Flow、およびステップのスキャフォールディングを実行できます。

hubInit

現在のディレクトリをデータハブプロジェクトとして初期化します。

Unixシステム

./gradlew hubInit

Windows

gradlew.bat hubInit

hubCreateEntity

ボイラープレートエンティティを作成します。

Unixシステム

./gradlew hubCreateEntity -PentityName=YourEntityName

Windows

gradlew.bat hubCreateEntity -PentityName=YourEntityName

Parameters

entityName

   （必須）作成するエンティティの名前。

hubCreateStepDefinition

カスタマイズして、ステップとしてFlowに追加できるステップ定義を作成します。

Unixシステム

./gradlew hubCreateStepDefinition -PstepDefName=yourstepname -PstepDefType=yoursteptype

Windows

gradlew.bat hubCreateStepDefinition -PstepDefName=yourstepname -PstepDefType=yoursteptype

Parameters

stepDefName

   （必須）作成するステップ定義の名前。

stepDefType

   作成するステップ定義のタイプ。ingestion、mapping,、mastering、またはcustomを指定します。デフォルトは、customです。

hubGeneratePii

*個人を特定できる情報（PII）*として指定されたエンティティプロパティを保護するためのセキュリティ設定ファイルを生成します。詳細については、「個人を特定できる情報の管理」を参照してください。

Unixシステム

./gradlew hubGeneratePii

Windows

gradlew.bat hubGeneratePii

MarkLogicデータハブのFlow管理タスク

こうしたタスクでは、Flowを実行してクリーンアップできます。

hubRunFlow

Flowを実行します。

Unixシステム

./gradlew hubRunFlow -PflowName=YourFlowName -PentityName=YourEntityName -PbatchSize=100 -PthreadCount=4 -PshowOptions=[true|false] -PfailHard=[true|false] -Psteps="1,2" -PjobId="abc123" [ -Poptions="{ customkey: customvalue, ... }" | -PoptionsFile=/path/to.json ]

Windows

gradlew.bat hubRunFlow -PflowName=YourFlowName -PentityName=YourEntityName -PbatchSize=100 -PthreadCount=4 -PshowOptions=[true|false] -PfailHard=[true|false] -Psteps="1,2" -PjobId="abc123" [ -Poptions="{ customkey: customvalue, ... }" | -PoptionsFile=/path/to.json ]

Parameters

flowName

   （必須）実行するハーモナイズFlowの名前。

entityName

   （Flowにマッピングステップが含まれている場合に必須）マッピングステップで使用するエンティティの名前。

batchSize

   バッチに含める項目の数。デフォルトは100です。

threadCount

   実行するスレッドの数。デフォルトは4です。

showOptions

trueの場合、コマンドに渡されたオプションが出力されます。デフォルトは、falseです。

failHard

trueの場合、ステップが失敗するとすぐにFlowの実行が終了します。デフォルトは、falseです。

ステップ

   カンマで区切った、実行するステップの番号。指定していない場合は、Flow全体が実行されます。

jobId

Flowの実行に関連付けられた一意のジョブID。このオプションは、大規模なプロセスの一環としてFlowが実行される場合に使用できます（例えば、NiFiが独自のジョブ/プロセスIDによりオーケストレーションされたプロセスなど）。既存のデータハブのジョブIDと同じにすることはできません。指定していない場合は、固有のデータハブジョブIDが割り当てられます。

options

   （オプション）キー/バリューペアを含むJSON構造は、カスタムパラメータとしてステップモジュールに渡されます。

optionsFile

   （オプション）キー/バリューペアを含むJSON構造へのパスは、カスタムパラメータとしてステップモジュールに渡されます。

ステップモジュールに渡されたカスタムキー/バリューパラメータは、ステップモジュール内の$options（xqy）またはoptions（sjs）変数を通じて使用できます。

hubExportJobs

ジョブレコードをエクスポートします。このタスクは、ステージングデータベースまたはファイナルデータベースのコンテンツには作用しません。

Unixシステム

./gradlew hubExportJobs -PjobIds=list-of-ids -Pfilename=export.zip

Windows

gradlew.bat hubExportJobs -PjobIds=list-of-ids -Pfilename=export.zip

Parameters

jobIds

   エクスポートするジョブIDのカンマ区切りリスト。

filename

   生成するzipファイルの名前（ファイル拡張子を含む）。デフォルトは、jobexport.zipです。

hubDeleteJobs

ジョブレコードを削除します。このタスクは、ステージングデータベースまたはファイナルデータベースのコンテンツには作用しません。

Unixシステム

./gradlew hubDeleteJobs -PjobIds=list-of-ids

Windows

gradlew.bat hubDeleteJobs -PjobIds=list-of-ids

Parameters

jobIds

   （必須）削除するジョブIDのカンマ区切りリスト。

MarkLogicデータハブのアンインストールタスク

mlUndeploy

データハブのすべてのコンポーネント（データベース、アプリケーションサーバー、フォレスト、ユーザーなど）をMarkLogicサーバーから削除します。

Unixシステム

./gradlew mlUndeploy -Pconfirm=true

Windows

gradlew.bat mlUndeploy -Pconfirm=true

レガシー（DHF 4.x）タスク

hubCreateInputFlow

レガシー（DHF 4.x）入力Flowを作成します。結果として得られるDHF 4.xFlowは、hubRunLegacyFlowを使用して実行する必要があります。

Unixシステム

./gradlew hubCreateInputFlow -PentityName=YourEntityName -PflowName=YourFlowName -PdataFormat=[xml|json] -PpluginFormat=[xqy|sjs]

Windows

gradlew.bat hubCreateInputFlow -PentityName=YourEntityName -PflowName=YourFlowName -PdataFormat=[xml|json] -PpluginFormat=[xqy|sjs]

Parameters

entityName

   （必須）Flowを所有するエンティティの名前。

flowName

   （必須）作成する入力Flowの名前。

dataFormat

xml またはjson。デフォルトは、jsonです。

hubCreateHarmonizeFlow

レガシー（DHF 4.x）ハーモナイズFlowを作成します。結果として得られるDHF 4.xFlowは、hubRunLegacyFlowを使用して実行する必要があります。

Unixシステム

./gradlew hubCreateHarmonizeFlow -PentityName=YourEntityName -PflowName=YourFlowName -PdataFormat=[xml|json] -PpluginFormat=[xqy|sjs] -PmappingName=yourmappingname

Windows

gradlew.bat hubCreateHarmonizeFlow -PentityName=YourEntityName -PflowName=YourFlowName -PdataFormat=[xml|json] -PpluginFormat=[xqy|sjs] -PmappingName=yourmappingname

Parameters

entityName

   （必須）Flowを所有するエンティティの名前。

flowName

   （必須）作成するハーモナイズFlowの名前。

dataFormat

xml またはjson。デフォルトは、jsonです。

pluginFormat

xqy またはsjs。プラグインプログラミング言語。

mappingName

   コード生成時に使用するモデル間マッピングの名前。

hubRunLegacyFlow

（レガシー）DHF 4.xハーモナイズFlowを実行します。

Unixシステム

./gradlew hubRunLegacyFlow -PentityName=YourEntityName -PflowName=YourFlowName -PbatchSize=100 -PthreadCount=4 -PsourceDB=data-hub-STAGING -PdestDB=data-hub-FINAL -PshowOptions=[true|false] -Pdhf.YourKey=YourValue

Windows

gradlew.bat hubRunLegacyFlow -PentityName=YourEntityName -PflowName=YourFlowName -PbatchSize=100 -PthreadCount=4 -PsourceDB=data-hub-STAGING -PdestDB=data-hub-FINAL -PshowOptions=[true|false] -Pdhf.YourKey=YourValue

Parameters

entityName

   （必須）ハーモナイズFlowを含むエンティティの名前。

flowName

   （必須）実行するハーモナイズFlowの名前。

batchSize

   バッチに含める項目の数。デフォルトは100です。

threadCount

   実行するスレッドの数。デフォルトは4です。

sourceDB

   実行対象となるデータベースの名前。デフォルトは、ステージングデータベースの名前です。

destDB

   ハーモナイズされた結果を格納するデータベースの名前。デフォルトは、ファイナルデータベースの名前です。

showOptions

   コマンドに渡されたオプションを出力するかどうか。デフォルトは、falseです。

dhf.YourKey

   （オプション）キーに関連付けられた値。こうしたキー/バリューペアは、カスタムパラメーターとしてFlowに渡されます。追加キー/バリューペアを個別のオプションとして指定できます。

hubrunlegacyflow ... -Pdhf.YourKeyA=YourValueA -Pdhf.YourKeyB=YourValueB ...

ステップモジュールに渡されたカスタムキー/バリューパラメータは、ステップモジュール内の$options（xqy）またはoptions（sjs）変数を通じて使用できます。

See Also

関連する概念

• データハブGradleプラグイン
• Gradleプロパティ

関連タスク

• 各種環境向けのGradleの設定

関連情報

• ml-gradleのCommon Tasks（一般的なタスク）
• ml-gradleのTask Reference（タスクリファレンス）