Archive pour la catégorie : Analyse de Données

BOM signifie Byte Order Mark
👉 en français : marque d’ordre des octets

C’est une séquence d’octets placée au tout début d’un fichier texte pour indiquer :

l’encodage du fichier

parfois l’ordre des octets (endianness)

📌 À quoi sert un BOM ?
1️⃣ Identifier l’encodage

Quand un logiciel ouvre un fichier, le BOM lui dit :

« Ce fichier est en UTF-8 / UTF-16 / UTF-32 »

Sans BOM, certains outils devinent l’encodage… et se trompent.

2️⃣ Indiquer l’ordre des octets (UTF-16 / UTF-32)

Pour les encodages multi-octets :

Little Endian

Big Endian

Le BOM permet de savoir dans quel ordre lire les octets.

Sur L’IBMi on l’utilisera pour échanger un fichier UTF8 avec un autre système que le réclame, ou à l’inverse il faudra l’enlever sur un fichier recu !

Voici 2 procédures pour vous aider et une requête

Une requête pour afficher le BOM sur un fichier IFS

WITH FICHIER AS (
    SELECT DATA
    FROM TABLE (
        QSYS2.IFS_READ_BINARY('/tmp/test.txt')
    )
)
SELECT
    HEX(SUBSTR(DATA, 1, 4))      AS BOM_HEXA,
    CASE
        WHEN SUBSTR(DATA, 1, 3) = X'EFBBBF'
            THEN 'UTF-8 avec BOM'
        WHEN SUBSTR(DATA, 1, 2) = X'FFFE'
            THEN 'UTF-16 Little Endian'
        WHEN SUBSTR(DATA, 1, 2) = X'FEFF'
            THEN 'UTF-16 Big Endian'
        WHEN SUBSTR(DATA, 1, 4) = X'FFFE0000'
            THEN 'UTF-32 Little Endian'
        WHEN SUBSTR(DATA, 1, 4) = X'0000FEFF'
            THEN 'UTF-32 Big Endian'
        ELSE
            'Aucun BOM détecté (UTF-8 sans BOM probable)'
    END AS ENCODAGE_DETECTE
FROM FICHIER;

Une procédure pour ajouter un BOM sur un fichier à envoyer

CREATE OR REPLACE PROCEDURE AJOUTER_BOM (
IN p_path VARCHAR(1024) CCSID 1208,
IN p_bom VARCHAR(10)
)
LANGUAGE SQL
BEGIN
DECLARE v_data BLOB(10M);
DECLARE v_new_data BLOB(10M);
DECLARE v_bom BLOB(4);-- Déterminer le BOM à ajouter
SET v_bom =
    CASE UPPER(p_bom)
        WHEN 'UTF8'     THEN X'EFBBBF'
        WHEN 'UTF16LE'  THEN X'FFFE'
        WHEN 'UTF16BE'  THEN X'FEFF'
        ELSE NULL
    END;

IF v_bom IS NULL THEN
    SIGNAL SQLSTATE '38001'
        SET MESSAGE_TEXT = 'BOM non reconnu (UTF8, UTF16LE, UTF16BE)';
END IF;

-- Lire le fichier
SELECT DATA
  INTO v_data
  FROM TABLE (
    QSYS2.IFS_READ_BINARY(p_path)
  );

-- Vérifier si le BOM est déjà présent
IF SUBSTR(v_data, 1, LENGTH(v_bom)) <> v_bom THEN
    SET v_new_data = v_bom || v_data;

    -- Réécriture du fichier avec BOM
    CALL QSYS2.IFS_WRITE_BINARY(
        PATH_NAME => p_path,
        DATA      => v_new_data,
        REPLACE   => 1
    );
END IF;
END;

Une procédure pour enlever le BOM

CREATE OR REPLACE PROCEDURE SUPPRIMER_BOM (
IN p_path VARCHAR(1024) CCSID 1208,
IN p_bom VARCHAR(10)
)
LANGUAGE SQL
BEGIN
DECLARE v_data BLOB(10M);
DECLARE v_bom BLOB(4);
DECLARE v_len INTEGER;-- Déterminer le BOM à supprimer
SET v_bom =
    CASE UPPER(p_bom)
        WHEN 'UTF8'     THEN X'EFBBBF'
        WHEN 'UTF16LE'  THEN X'FFFE'
        WHEN 'UTF16BE'  THEN X'FEFF'
        WHEN 'UTF32LE'  THEN X'FFFE0000'
        WHEN 'UTF32BE'  THEN X'0000FEFF'
        ELSE NULL
    END;

IF v_bom IS NULL THEN
    SIGNAL SQLSTATE '38001'
        SET MESSAGE_TEXT =
          'BOM non reconnu (UTF8, UTF16LE, UTF16BE, UTF32LE, UTF32BE)';
END IF;

SET v_len = LENGTH(v_bom);

-- Lire le fichier
SELECT DATA
  INTO v_data
  FROM TABLE (
    QSYS2.IFS_READ_BINARY(p_path)
  );

-- Vérifier et supprimer le BOM demandé
IF SUBSTR(v_data, 1, v_len) = v_bom THEN
    SET v_data = SUBSTR(v_data, v_len + 1);

    -- Réécrire le fichier sans BOM
    CALL QSYS2.IFS_WRITE_BINARY(
        PATH_NAME => p_path,
        DATA      => v_data,
        REPLACE   => 1
    );
END IF;
END;

Conclusion

Sur IBMi ca ne sert à rien le CCSID donne cette information

Pour en savoir plus Indicateur d’ordre des octets — Wikipédia

Vous avez une instruction SQL , MERGE qui est assez PUISSANTE pour fusionner des fichiers
Voici un exemple complet :

Il intègre les éléments suivants
-La création
-La mise à jour
-La suppression

On a 2 tables Products et Mouvements

Les règles choisies sont les suivantes :

-Si le produit existe on ajoute la quantité
-S’ il est nouveau, on le créé
-Si nom du produit est SUPPRESSION, on supprime

J’ai utilisé la convention de nommage *SYS

et dans tous les cas on met à jour la date de modification

-- voici les scripts pour tester 
-- Création de la table des produits
-- Option *SYS et *NONE 
CREATE TABLE GDATA/PRODUCTS (
    PRODUCT_NUMBER  DECIMAL(10, 0)      NOT NULL ,
    PRODUCT_NAME    VARCHAR(100)        NOT NULL,
    QUANTITY        DECIMAL(10, 0)      NOT NULL DEFAULT 0,
    LAST_UPDATE_TS  TIMESTAMP           NOT NULL DEFAULT CURRENT_TIMESTAMP,
    PRIMARY KEY (PRODUCT_NUMBER)
    );
-- alimentation du fichier
INSERT INTO GDATA/PRODUCTS VALUES(1, 'CLOU', 50, current timestamp) ;
INSERT INTO GDATA/PRODUCTS VALUES(2, 'VIS', 20, current timestamp) ;
INSERT INTO GDATA/PRODUCTS VALUES(3, 'ECROU', 25, current timestamp) ;
INSERT INTO GDATA/PRODUCTS VALUES(4, 'RONDELLE', 120, current timestamp) ;
-- Création de la table des mouvements
CREATE TABLE GDATA/MOUVEMENTS (
    PRODUCT_NUMBER  DECIMAL(10, 0)      NOT NULL ,
    PRODUCT_NAME    VARCHAR(100)        NOT NULL,
    QUANTITY        DECIMAL(10, 0)      NOT NULL DEFAULT 0,
    LAST_UPDATE_TS  TIMESTAMP           NOT NULL DEFAULT CURRENT_TIMESTAMP,
    PRIMARY KEY (PRODUCT_NUMBER)
    );
-- alimentation de la tables des mouvements
INSERT INTO GDATA/MOUVEMENTS VALUES(1, 'CLOU', 30, current timestamp) ; -- changement de quantité
INSERT INTO GDATA/MOUVEMENTS VALUES(3, 'SUPPRESSION', 0, current timestamp) ; -- suppression
INSERT INTO GDATA/MOUVEMENTS VALUES(5, 'RESSORT', 100, current timestamp); -- Nouveau
-- Fusion des 2 tables 
MERGE INTO GDATA/PRODUCTS AS T  -- T est l'alias de la table CIBLE (PRODUCTS)
USING GDATA/MOUVEMENTS AS S      -- S est l'alias de la table SOURCE (MOUVEMENT)
ON (T.PRODUCT_NAME = S.PRODUCT_NAME) -- La jointure se fait sur le nom du produit
-- 1. Gérer la suppression si le produit correspond ET que la source indique 'SUPPRESSION'
WHEN MATCHED AND S.PRODUCT_NAME = 'SUPPRESSION' THEN
    DELETE
-- 2. Gérer la mise à jour si le produit correspond ET que la source N'indique PAS 'SUPPRESSION'
WHEN MATCHED AND S.PRODUCT_NAME <> 'SUPPRESSION' THEN
    UPDATE SET T.QUANTITY = T.QUANTITY + S.QUANTITY,
               T.LAST_UPDATE_TS = CURRENT_TIMESTAMP
-- 3. Gérer l'insertion si le produit NE correspond PAS ET que la source N'indique PAS 'SUPPRESSION'
WHEN NOT MATCHED AND S.PRODUCT_NAME <> 'SUPPRESSION' THEN
    INSERT (PRODUCT_NUMBER, PRODUCT_NAME, QUANTITY, LAST_UPDATE_TS)
    VALUES (S.PRODUCT_NUMBER, S.PRODUCT_NAME, S.QUANTITY, CURRENT_TIMESTAMP);

Remarque :

Vous pouvez également utiliser la commande CPYF avec le paramètre MBROPT(*UPDADD) mais plus compliqué de gérer les suppressions.

Bien sur , bien tester tous les cas