krak/jenkins-lib
1
0
Fork 0
forked from jenkins/jenkins-lib
Code Activity

Добавил загрузку расширений в конфу.

Browse Source
This commit is contained in:
ivanovEV
2024-01-19 14:50:38 +03:00
parent ad528ca590
commit 1aae48b3c1
13 changed files with 632 additions and 281 deletions
Download Patch File Download Diff File Expand all files Collapse all files

5
resources/globalConfiguration.json
View File

@@ -24,11 +24,13 @@
"timeout": {
"smoke": 240,
"bdd": 120,
"getBinaries": 60,
"createInfoBase": 60,
"designerToEdtFormatTransformation": 60,
"edtToDesignerFormatTransformation": 60,
"edtValidate": 240,
"initInfoBase": 60,
"loadExtensions": 60,
"resultTransformation": 10,
"sonarqube": 90,
"syntaxCheck": 240,
@@ -37,7 +39,8 @@
"initInfobase": {
"initMethod": "fromStorage",
"runMigration": true,
"additionalInitializationSteps": []
"additionalInitializationSteps": [],
"extensions": []
},
"bdd": {
"vrunnerSteps": [

39
resources/schema.json
View File

@@ -94,6 +94,10 @@
"type": "integer",
"description": "Таймаут шага трансформации исходников из формата EDT в формат Конфигуратора, в минутах.\n По умолчанию содержит значение 60.\n "
},
"getBinaries": {
"type": "integer",
"description": "Таймаут шага получения бинарников, в минутах.\n По умолчанию содержит значение 60.\n "
},
"createInfoBase": {
"type": "integer",
"description": "Таймаут шага создания информационной базы, в минутах.\n По умолчанию содержит значение 60.\n "
@@ -102,6 +106,10 @@
"type": "integer",
"description": "Таймаут шага инициализации информационной базы, в минутах.\n По умолчанию содержит значение 60.\n "
},
"loadExtensions": {
"type": "integer",
"description": "Таймаут шага загрузки расширений в базу, в минутах.\n По умолчанию содержит значение 60.\n "
},
"zipInfoBase": {
"type": "integer",
"description": "Таймаут шага архивирования информационной базы, в минутах.\n По умолчанию содержит значение 60.\n "
@@ -156,6 +164,30 @@
"items": {
"type": "string"
}
},
"extensions": {
"type": "array",
"description": "Массив расширений для загрузки в конфигурацию.",
"items": {
"type": "object",
"id": "urn:jsonschema:ru:pulsar:jenkins:library:configuration:InitInfoBaseOptions:extensions:exception",
"description": "Информация о расширении для загрузки",
"properties": {
"name": {
"type": "string",
"description": "Имя расширения с которым оно грузится в конфигурацию"
},
"initMethod": {
"type": "string",
"description": "\n Способ инициализации расширения.\n Поддерживается два варианта:\n * fromSource - инициализация расширения из исходников;\n * fromInternet - скачивание скомпилированного cfe по ссылке.",
"enum": ["fromSource", "fromInternet"]
},
"path": {
"type": "string",
"description": "Хранит в себе путь к расширению.\n * В случае если выбран initMethod <fromSource> - указывается путь к исходникам расширения.\n * В случае если выбран initMethod <fromInternet> - указывается ссылка на cfe-файл"
}
}
}
}
}
},
@@ -316,7 +348,12 @@
"type": "array",
"items": {
"type": "string",
"enum" : [ "developers", "requestor", "brokenBuildSuspects", "brokenTestsSuspects" ]
"enum": [
"developers",
"requestor",
"brokenBuildSuspects",
"brokenTestsSuspects"
]
}
}
}

21
src/ru/pulsar/jenkins/library/configuration/ConfigurationReader.groovy
View File

@@ -61,6 +61,7 @@ class ConfigurationReader implements Serializable {
"stageFlags",
"timeoutOptions",
"initInfoBaseOptions",
"extensions",
"bddOptions",
"sonarQubeOptions",
"smokeTestOptions",
@@ -113,12 +114,30 @@ class ConfigurationReader implements Serializable {
@NonCPS
private static void mergeInitInfoBaseOptions(InitInfoBaseOptions baseObject, InitInfoBaseOptions objectToMerge) {
if (objectToMerge == null || objectToMerge.additionalInitializationSteps == null) {
if (objectToMerge == null) {
return
}
mergeInitInfoBaseAdditionalInitializationSteps(baseObject, objectToMerge)
mergeInitInfoBaseExtintions(baseObject, objectToMerge)
}
@NonCPS
private static void mergeInitInfoBaseAdditionalInitializationSteps(InitInfoBaseOptions baseObject, InitInfoBaseOptions objectToMerge) {
if (objectToMerge.additionalInitializationSteps == null) {
return
}
baseObject.additionalInitializationSteps = objectToMerge.additionalInitializationSteps.clone()
}
@NonCPS
private static void mergeInitInfoBaseExtintions(InitInfoBaseOptions baseObject, InitInfoBaseOptions objectToMerge) {
if (objectToMerge.extensions == null) {
return
}
baseObject.extensions = objectToMerge.extensions.clone()
}
@NonCPS
private static void mergeBddOptions(BddOptions baseObject, BddOptions objectToMerge) {
if (objectToMerge == null || objectToMerge.vrunnerSteps == null) {

25
src/ru/pulsar/jenkins/library/configuration/InitInfoBaseOptions.groovy
View File

@@ -25,6 +25,30 @@ class InitInfoBaseOptions implements Serializable {
""")
String[] additionalInitializationSteps
@JsonPropertyDescription("Массив расширений для загрузки в конфигурацию.")
Extension[] extensions;
@JsonIgnoreProperties(ignoreUnknown = true)
static class Extension implements Serializable {
@JsonPropertyDescription("Имя расширения с которым оно грузится в конфигурацию")
String name;
@JsonPropertyDescription("""
Способ инициализации расширения.
Поддерживается два варианта:
* fromSource - инициализация расширения из исходников;
* fromInternet - скачивание скомпилированного cfe по ссылке.
""")
InitMethod initMethod;
@JsonPropertyDescription("""
Хранит в себе путь к расширению.
* В случае если выбран initMethod <fromSource> - указывается путь к исходникам расширения.
* В случае если выбран initMethod <fromInternet> - указывается ссылка на cfe-файл
""")
String path;
}
@Override
@NonCPS
String toString() {
@@ -32,6 +56,7 @@ class InitInfoBaseOptions implements Serializable {
"initMethod=" + initMethod +
", runMigration=" + runMigration +
", additionalInitializationSteps=" + additionalInitializationSteps +
", extensions=" + extensions +
'}';
}
}

12
src/ru/pulsar/jenkins/library/configuration/InitMethod.groovy Normal file
View File

@@ -0,0 +1,12 @@
package ru.pulsar.jenkins.library.configuration
import com.fasterxml.jackson.annotation.JsonProperty
enum InitMethod {
@JsonProperty("fromSource")
SOURCE,
@JsonProperty("fromInternet")
INTERNET
}

9
src/ru/pulsar/jenkins/library/configuration/JobConfiguration.groovy
View File

@@ -100,6 +100,15 @@ class JobConfiguration implements Serializable {
(initMethod == InitInfoBaseMethod.DEFAULT_BRANCH_FROM_STORAGE && branchName != defaultBranch)
}
boolean needLoadExtensions() {
IStepExecutor steps = ContextRegistry.getContext().getStepExecutor()
def env = steps.env();
String branchName = env.BRANCH_NAME;
def extensions = initInfoBaseOptions.extensions
return extensions.length != 0
}
String v8AgentLabel() {
return v8version
}

10
src/ru/pulsar/jenkins/library/configuration/TimeoutOptions.groovy
View File

@@ -11,6 +11,11 @@ class TimeoutOptions implements Serializable {
''')
Integer edtToDesignerFormatTransformation
@JsonPropertyDescription('''Таймаут шага получения бинарников, в минутах.
По умолчанию содержит значение 60.
''')
Integer getBinaries
@JsonPropertyDescription('''Таймаут шага создания информационной базы, в минутах.
По умолчанию содержит значение 60.
''')
@@ -21,6 +26,11 @@ class TimeoutOptions implements Serializable {
''')
Integer initInfoBase
@JsonPropertyDescription('''Таймаут шага загрузки расширений в базу, в минутах.
По умолчанию содержит значение 60.
''')
Integer loadExtensions
@JsonPropertyDescription('''Таймаут шага архивирования информационной базы, в минутах.
По умолчанию содержит значение 60.
''')

55
src/ru/pulsar/jenkins/library/steps/EdtToDesignerFormatTransformation.groovy
View File

@@ -4,6 +4,7 @@ package ru.pulsar.jenkins.library.steps
import ru.pulsar.jenkins.library.IStepExecutor
import ru.pulsar.jenkins.library.configuration.JobConfiguration
import ru.pulsar.jenkins.library.configuration.SourceFormat
import ru.pulsar.jenkins.library.configuration.InitMethod
import ru.pulsar.jenkins.library.ioc.ContextRegistry
import ru.pulsar.jenkins.library.utils.EDT
import ru.pulsar.jenkins.library.utils.FileUtils
@@ -15,6 +16,9 @@ class EdtToDesignerFormatTransformation implements Serializable {
public static final String CONFIGURATION_DIR = 'build/cfg'
public static final String CONFIGURATION_ZIP = 'build/cfg.zip'
public static final String CONFIGURATION_ZIP_STASH = 'cfg-zip'
public static final String EXTENSION_DIR = 'build/cfe_src'
public static final String EXTENSION_ZIP = 'build/cfe_src.zip'
public static final String EXTENSION_ZIP_STASH = 'cfe_src-zip'
private final JobConfiguration config;
@@ -34,18 +38,29 @@ class EdtToDesignerFormatTransformation implements Serializable {
def env = steps.env();
def srcDir = config.srcDir
def projectDir = FileUtils.getFilePath("$env.WORKSPACE/$srcDir")
def workspaceDir = FileUtils.getFilePath("$env.WORKSPACE/$WORKSPACE")
def configurationRoot = FileUtils.getFilePath("$env.WORKSPACE/$CONFIGURATION_DIR")
String srcDir = config.srcDir
String workspaceDir = FileUtils.getFilePath("$env.WORKSPACE/$WORKSPACE")
String projectWorkspaceDir = FileUtils.getFilePath("$workspaceDir/cf")
String projectDir = FileUtils.getFilePath("$env.WORKSPACE/$srcDir")
String configurationRoot = FileUtils.getFilePath("$env.WORKSPACE/$CONFIGURATION_DIR")
String extensionRoot = FileUtils.getFilePath("$env.WORKSPACE/$EXTENSION_DIR")
def edtVersionForRing = EDT.ringModule(config)
steps.deleteDir(workspaceDir)
transformConfiguration(steps, projectDir, projectWorkspaceDir, configurationRoot, edtVersionForRing)
transformExtensions(steps, workspaceDir, extensionRoot, edtVersionForRing)
}
private void transformConfiguration(IStepExecutor steps, String projectDir, String projectWorkspaceDir, String configurationRoot, String edtVersionForRing) {
Logger.println("Конвертация исходников конфигурации из формата EDT в формат Конфигуратора")
steps.deleteDir(configurationRoot)
Logger.println("Конвертация исходников из формата EDT в формат Конфигуратора")
def ringCommand = "ring $edtVersionForRing workspace export --workspace-location \"$workspaceDir\" --project \"$projectDir\" --configuration-files \"$configurationRoot\""
def ringCommand = "ring $edtVersionForRing workspace export --workspace-location \"$projectWorkspaceDir\" --project \"$projectDir\" --configuration-files \"$configurationRoot\""
steps.ringCommand(ringCommand)
@@ -53,4 +68,30 @@ class EdtToDesignerFormatTransformation implements Serializable {
steps.stash(CONFIGURATION_ZIP_STASH, CONFIGURATION_ZIP)
}
private void transformExtensions(IStepExecutor steps, String workspaceDir, String extensionRoot, String edtVersionForRing) {
steps.deleteDir(extensionRoot)
config.initInfoBaseOptions.extensions.each {
if (it.initMethod != InitMethod.SOURCE) {
return
}
Logger.println("Конвертация исходников расширения ${it.name} из формата EDT в формат Конфигуратора")
def env = steps.env();
def projectDir = FileUtils.getFilePath("$env.WORKSPACE/${it.path}")
def currentExtensionWorkspaceDir = FileUtils.getFilePath("$workspaceDir/cfe/${it.name}")
def ringCommand = "ring $edtVersionForRing workspace export --workspace-location \"$currentExtensionWorkspaceDir\" --project \"$projectDir\" --configuration-files \"$extensionRoot/${it.name}\""
def ringOpts = [Constants.DEFAULT_RING_OPTS]
steps.withEnv(ringOpts) {
steps.cmd(ringCommand)
}
}
steps.zip(EXTENSION_DIR, EXTENSION_ZIP)
steps.stash(EXTENSION_ZIP_STASH, EXTENSION_ZIP)
}
}

96
src/ru/pulsar/jenkins/library/steps/GetExtensions.groovy Normal file
View File

@@ -0,0 +1,96 @@
package ru.pulsar.jenkins.library.steps
import ru.pulsar.jenkins.library.IStepExecutor
import ru.pulsar.jenkins.library.configuration.JobConfiguration
import ru.pulsar.jenkins.library.configuration.SourceFormat
import ru.pulsar.jenkins.library.configuration.InitMethod
import ru.pulsar.jenkins.library.configuration.InitInfoBaseOptions.Extension
import ru.pulsar.jenkins.library.ioc.ContextRegistry
import ru.pulsar.jenkins.library.utils.Logger
import ru.pulsar.jenkins.library.utils.VRunner
import hudson.FilePath
import ru.pulsar.jenkins.library.utils.FileUtils
class GetExtensions implements Serializable {
public static final String EXTENSIONS_OUT_DIR = 'build/out/cfe'
private final JobConfiguration config;
GetExtensions(JobConfiguration config) {
this.config = config
}
def run() {
IStepExecutor steps = ContextRegistry.getContext().getStepExecutor()
Logger.printLocation()
def env = steps.env()
steps.installLocalDependencies();
String vrunnerPath = initVRunnerPath();
Logger.println("Сборка расширений")
String sourceDirName = ""
if (config.sourceFormat == SourceFormat.EDT) {
sourceDirName = "$env.WORKSPACE/$EdtToDesignerFormatTransformation.EXTENSION_DIR"
}
extractConvertedExtensions(sourceDirName, steps)
config.initInfoBaseOptions.extensions.each {
if (it.initMethod == InitMethod.SOURCE) {
Logger.println("Сборка расширения ${it.name} из исходников")
String srcDir = getSrcDir(it, sourceDirName)
buildExtension(it, srcDir, vrunnerPath, steps)
} else {
Logger.println("Загрузка расширения ${it.name} из интернета по ссылке ${it.path}")
loadExtension(it, env)
}
}
}
private void buildExtension(Extension extension, String srcDir, String vrunnerPath, IStepExecutor steps) {
// ТУТ ГРЯЗНЫЙ ХАК
VRunner.exec("mkdir -p $EXTENSIONS_OUT_DIR")
// ТУТ КОНЕЦ ГРЯЗНОГО ХАКА
def compileExtCommand = "$vrunnerPath compileexttocfe --src ${srcDir} --out $EXTENSIONS_OUT_DIR/${extension.name}.cfe"
List<String> logosConfig = ["LOGOS_CONFIG=$config.logosConfig"]
steps.withEnv(logosConfig) {
VRunner.exec(compileExtCommand)
}
}
private void loadExtension(Extension extension, def env) {
String pathToExtension = "$env.WORKSPACE/${EXTENSIONS_OUT_DIR}/${extension.name}.cfe"
FilePath localPathToExtension = FileUtils.getFilePath(pathToExtension)
localPathToExtension.copyFrom(new URL(extension.path))
}
private String initVRunnerPath() {
return VRunner.getVRunnerPath()
}
private String getSrcDir(Extension extension, String sourceDirName) {
if (config.sourceFormat == SourceFormat.EDT) {
return "${sourceDirName}/${extension.name}"
} else {
return "${sourceDirName}/${extension.path}"
}
}
private void extractConvertedExtensions(String sourceDirName, IStepExecutor steps) {
if (config.sourceFormat == SourceFormat.EDT) {
// распакуем расширения
steps.unstash(EdtToDesignerFormatTransformation.EXTENSION_ZIP_STASH)
steps.unzip(sourceDirName, EdtToDesignerFormatTransformation.EXTENSION_ZIP)
}
}
}

55
src/ru/pulsar/jenkins/library/steps/LoadExtensions.groovy Normal file
View File

@@ -0,0 +1,55 @@
package ru.pulsar.jenkins.library.steps
import ru.pulsar.jenkins.library.IStepExecutor
import ru.pulsar.jenkins.library.configuration.JobConfiguration
import ru.pulsar.jenkins.library.configuration.InitInfoBaseOptions.Extension
import ru.pulsar.jenkins.library.ioc.ContextRegistry
import ru.pulsar.jenkins.library.utils.Logger
import ru.pulsar.jenkins.library.utils.VRunner
import hudson.FilePath
import ru.pulsar.jenkins.library.utils.FileUtils
class LoadExtensions implements Serializable {
private final JobConfiguration config;
LoadExtensions(JobConfiguration config) {
this.config = config
}
def run() {
IStepExecutor steps = ContextRegistry.getContext().getStepExecutor()
Logger.printLocation()
def env = steps.env();
String cfeDir = "$env.WORKSPACE/$GetExtensions.EXTENSIONS_OUT_DIR"
String vrunnerPath = VRunner.getVRunnerPath();
config.initInfoBaseOptions.extensions.each {
Logger.println("Установим расширение ${it.name}")
loadExtension(it, vrunnerPath, steps, cfeDir)
}
}
private void loadExtension (Extension extension, String vrunnerPath, IStepExecutor steps, String cfeDir) {
String pathToExt = "$cfeDir/${extension.name}.cfe"
FilePath localPathToExt = FileUtils.getFilePath(pathToExt)
// Команда загрузки расширения
String loadCommand = vrunnerPath + ' run --command "Путь=' + localPathToExt + ';ЗавершитьРаботуСистемы;" --execute '
String executeParameter = '$runnerRoot/epf/ЗагрузитьРасширениеВРежимеПредприятия.epf'
if (steps.isUnix()) {
executeParameter = '\\' + executeParameter
}
loadCommand += executeParameter
loadCommand += ' --ibconnection "/F./build/ib"'
List<String> logosConfig = ["LOGOS_CONFIG=$config.logosConfig"]
steps.withEnv(logosConfig) {
VRunner.exec(loadCommand)
}
}
}

10
vars/getExtensions.groovy Normal file
View File

@@ -0,0 +1,10 @@
import ru.pulsar.jenkins.library.configuration.JobConfiguration
import ru.pulsar.jenkins.library.ioc.ContextRegistry
import ru.pulsar.jenkins.library.steps.GetExtensions
def call(JobConfiguration config) {
ContextRegistry.registerDefaultContext(this)
def getExtensions = new GetExtensions(config)
getExtensions.run()
}

10
vars/loadExtensions.groovy Normal file
View File

@@ -0,0 +1,10 @@
import ru.pulsar.jenkins.library.configuration.JobConfiguration
import ru.pulsar.jenkins.library.ioc.ContextRegistry
import ru.pulsar.jenkins.library.steps.LoadExtensions
def call(JobConfiguration config) {
ContextRegistry.registerDefaultContext(this)
def loadExtensions = new LoadExtensions(config)
loadExtensions.run()
}

26
vars/pipeline1C.groovy
View File

@@ -76,10 +76,22 @@ void call() {
}
stages {
stage('Сборка из исходников'){
when {
expression { config.needLoadExtensions() }
}
steps {
timeout(time: config.timeoutOptions.getBinaries, unit: TimeUnit.MINUTES) {
createDir('build/out/cfe')
// Соберем или загрузим cfe из исходников и положим их в папку build/out/cfe
getExtensions config
}
}
}
stage('Создание ИБ') {
steps {
timeout(time: config.timeoutOptions.createInfoBase, unit: TimeUnit.MINUTES) {
createDir('build/out')
createDir('build/out/')
script {
if (config.infoBaseFromFiles()) {
@@ -107,6 +119,18 @@ void call() {
}
}
stage('Загрузка расширений в конфигурацию'){
when {
beforeAgent true
expression { config.needLoadExtensions() }
}
steps {
timeout(time: config.timeoutOptions.loadExtensions, unit: TimeUnit.MINUTES) {
loadExtensions config
}
}
}
stage('Архивация ИБ') {
steps {
timeout(time: config.timeoutOptions.zipInfoBase, unit: TimeUnit.MINUTES) {