TIÊU CHUẨN QUỐC GIA

TCVN 10249-150:2013

ISO/TS 8000-150:2011

CHẤT LƯỢNG DỮ LIỆU - PHẦN 150: DỮ LIỆU CÁI: KHUNG QUẢN LÝ CHẤT LƯỢNG

Data quality - Part 150: Master data: Quality management framework

Lời nói đầu

TCVN 10249-150:2013 hoàn toàn tương đương với ISO/TS 8000-150:2011.

TCVN 10249-150:2013 do Ban Kỹ thuật tiêu chuẩn quốc gia TCVN/JTC1 Công nghệ Thông tin biên soạn, Tổng cục Tiêu chuẩn Đo lường Chất lượng đề nghị, Bộ Khoa học và Công nghệ công bố.

Bộ tiêu chuẩn TCVN 10249 (ISO 8000) Chất lượng dữ liệu gồm các tiêu chuẩn sau:

...

...

...

- TCVN 10249-2:2013 (ISO 8000-2:2012), Phần 2: Từ vựng.

- TCVN 10249-100:2013 (ISO/TS 8000-100:2009), Phần 100: Dữ liệu cái - Trao đổi dữ liệu đặc trưng - Tổng quan.

- TCVN 10249-110:2013 (ISO 8000-110:2009), Phần 110: Dữ liệu cái - Trao dồi dữ liệu đặc trưng - Cú pháp, mã hóa ngữ nghĩa và sự phù hợp với đặc tả dữ liệu.

- TCVN 10249-120:2013 (ISO/TS 8000-120:2009), Phần 120: Dữ liệu cái - Trao đổi dữ liệu đặc trưng - Xuất xứ.

- TCVN 10249-130:2013 (ISO/TS 8000-130:2009), Phần 130: Dữ liệu cái - Trao đổi dữ liệu đặc trưng - Độ chính xác.

- TCVN 10249-140:2013 (ISO/TS 8000-140:2009), Phần 140: Dữ liệu cái - Trao đổi dữ liệu đặc trưng - Tính đầy đủ.

- TCVN 10249-150:2013 (ISO/TS 8000-150:2011), Phần 150: Dữ liệu cái- Khung quản lý chất lượng.

- TCVN 10249-311:2013 (ISO/TS 8000-311:2012), Phần 311: Hướng dẫn ứng dụng chất lượng dữ liệu sản phẩm về hình dáng (PDQ-S).

...

...

...

Data quality - Part 150: Master data: Quality management framework

1. Phạm vi áp dụng

Tiêu chuẩn này cung cấp những nguyên tắc cơ bản để tiếp cận trung tâm quá trình để quản lý chất lượng dữ liệu cái và các yêu cầu có thể được sử dụng bởi tổ chức nhằm thực thi việc quản lý chất lượng dữ liệu cái. Tiêu chuẩn này có thể được sử dụng kết hợp hoặc độc lập với các tiêu chuẩn hệ thống quản lý chất lượng khác, ví dụ như TCVN ISO 9001.

Tiêu chuẩn này bao gồm:

- Những nguyên tắc cơ bản về quản lý chất lượng dữ liệu cái;

- Các yêu cầu

- yêu cầu thực thi;

- yêu cầu trao đổi dữ liệu;

- yêu cầu về xuất xứ;

...

...

...

- các quá trình mức độ cao và mức độ thấp hơn;

- các điều lệ.

Tiêu chuẩn này không bao gồm:

- Các phương pháp đánh giá và chứng nhận chất lượng dữ liệu;

- Phân loại dữ liệu;

- Mô hình tính chín chắn của chất lượng dữ liệu.

Tiêu chuẩn này hướng tới tổ chức có nhiều hệ thống phức tạp có chia sẻ dữ liệu cái và/hoặc có chia sẻ và trao đổi dữ liệu với các tổ chức khác và do đó cần thiết quản lý chất lượng dữ liệu cái của họ.

2. Tài liệu viện dẫn

Các tài liệu viện dẫn sau rất cần thiết cho việc áp dụng tiêu chuẩn này. Đối với các tài liệu viện dẫn ghi năm công bố thì áp dụng phiên bản được nêu. Đối với các tài liệu viện dẫn không ghi năm công bố thì áp dụng phiên bản mới nhất, bao gồm cả các sửa đổi, bổ sung (nếu có).

...

...

...

TCVN 10249-110 (ISO 8000-110), Chất lượng dữ liệu - Phần 110: Dữ liệu cái: Trao đổi dữ liệu đặc trưng: Cú pháp, mã hóa ngữ nghĩa và sự phù hợp với đặc tả dữ liệu.

TCVN 10249-120 (ISO/TS 8000-120), Chất lượng dữ liệu - Phần 120: Dữ liệu cái: Trao đổi dữ liệu đặc trưng: Xuất xứ.

3. Thuật ngữ, định nghĩa và thuật ngữ viết tắt

3.1. Thuật ngữ và định nghĩa

Tiêu chuẩn này sử dụng các thuật ngữ và định nghĩa nêu trong TCVN 10249-2 (ISO 8000-2).

3.2. Thuật ngữ viết tắt

Đối với mục đích của tiêu chuẩn này, các thuật ngữ viết tắt sau được áp dụng.

UNSPSC           Mã sản phẩm, dịch vụ chuẩn liên hợp quốc.

GTIN     Mã số thương phẩm toàn cầu

...

...

...

4. Nguyên tắc cơ bản của quản lý chất lượng dữ liệu cái

Để quản lý chất lượng dữ liệu cái thành công, các tổ chức phải thực hiện các nguyên tắc cơ bản sau.

- Liên quan đến con người: con người ở tất cả các mức độ đều có điều lệ để quản lý chất lượng dữ liệu và đều có liên quan đến việc cải tiến chất lượng dữ liệu của tổ chức. Mặc dù xử lý dữ liệu tại người dùng cuối có điều lệ mức độ thấp hơn lại có độ ảnh hưởng trực tiếp nhiều nhất đến chất lượng dữ liệu, sự can thiệp hoặc kiểm soát của quản trị viên dữ liệu tại điều lệ mức độ trung là cần thiết để thực thi và thiết lập các xử lý giảm thiểu đối với việc thực thi chất lượng dữ liệu trong tổ chức. Ngoài ra, liên quan đến người quản lý khi thay đổi chất lượng dữ liệu toàn tổ chức ở điều lệ mức độ cao là không thể tránh khỏi việc thay đổi và tối ưu các điều lệ, quyền chứng thực và các quá trình trong tổ chức.

- Tiếp cận quá trình: đo lường và hiệu chỉnh trung tâm dữ liệu là không đủ để cải tiến chất lượng dữ liệu của toàn tổ chức. Chất lượng dữ liệu mong muốn được chịu ảnh hưởng khi các hành động và nguồn tài nguyên có liên quan đến chất lượng dữ liệu được quản lý bằng các quá trình.

- Cải tiến liên tục: chất lượng dữ liệu được cải tiến liên tục thông qua các quá trình xử lý dữ liệu, đo lường chất lượng dữ liệu và hiệu chỉnh lỗi dữ liệu. Tuy nhiên chỉ với các quá trình thì các lỗi dữ liệu định danh xuất hiện lặp đi lặp lại có thể không thể tránh. Việc tái diễn các lỗi dữ liệu có thể được ngăn chặn khi quá trình được phân tích, trao đổi và cải tiến các nguyên nhân gốc lõi đã gây trở ngại cho chất lượng dữ liệu trong quá trình. Như thế, các quá trình quản lý tập trung vào kiến trúc/lược đồ dữ liệu, cương vị quản lý dữ liệu và luồng dữ liệu dĩ nhiên phải được hỗ trợ. Ngoài ra, tổ chức phải cải tiến không chỉ các quá trình cho quản lý dữ liệu mà kể cả các quá trình kinh doanh có thực thi trực tiếp trên dữ liệu.

- Trao đổi dữ liệu cái: tất cả các quá trình để quản lý chất lượng dữ liệu cái phù hợp với các yêu cầu về dữ liệu cái mà có thể được kiểm tra bằng máy tính để trao đổi giữa tổ chức và hệ thống, thì đều bao gồm cả dữ liệu đặc trưng.

Khung quản lý chất lượng dữ liệu cái, mô hình cơ bản của khung làm việc này và sơ đồ kinh doanh cùng các mẫu ví dụ được cung cấp tham khảo tương ứng tại Phụ lục C, D và E.

5. Yêu cầu

5.1. Yêu cầu thực thi

...

...

...

- quá trình thực hiện để quản lý chất lượng dữ liệu bao gồm ít nhất việc xử lý dữ liệu, đo lường và hiệu chỉnh chất lượng dữ liệu, thiết kế lược đồ dữ liệu, thiết lập chỉ tiêu đo, phân tích nguyên nhân lỗi, hoạch định chất lượng dữ liệu và quản lý kiến trúc/cương vị quản lý/ luồng dữ liệu.

- gán điều lệ để quản lý chất lượng dữ liệu bên trong tổ chức của họ.

CHÚ THÍCH 1 Mỗi điều lệ có thể được gán cho nhiều người hoặc nhiều điều lệ được quy cho một người hoặc một vị trí. Các điều lệ đã gán có thể là một trong nhiều điều lệ được gán cho người hoặc vị trí khác.

- các quá trình đính kèm để quản lý chất lượng dữ liệu bên trong quá trình kinh doanh của tổ chức.

CHÚ THÍCH 2 Các quá trình đã xác định có thể được đính kèm tại nhiều nơi bên trong các quá trình kinh doanh của tổ chức, dữ liệu cái tại bất cứ nơi nào cụ thể đều được tạo và sử dụng.

5.2. Yêu cầu trao đổi dữ liệu

Tổ chức phải:

- có khả năng gửi và nhận các thông điệp dữ liệu cái phù hợp với TCVN 10249-110 (ISO 8000-110);

- quy định từ điển dữ liệu để sử dụng mã hóa ngữ nghĩa cho thông điệp dữ liệu cái được gửi đi và đến từ bên ngoài tổ chức. Từ điển dữ liệu phải đạt được các yêu cầu của TCVN 10249-110 (ISO 8000-110) để sử dụng khi mã hóa ngữ nghĩa;

...

...

...

Tất cả thông điệp dữ liệu cái mà tổ chức gửi đến bên ngoài tổ chức phải phù hợp với TCVN 10249-110 (ISO 8000-110).

Tổ chức phải yêu cầu rằng tất cả thông điệp dữ liệu cái được gửi đến phải phù hợp với TCVN 10249- 110 (ISO 8000-110).

Bên cung ứng dữ liệu tuyên bố phù hợp với tiêu chuẩn này phải duy trì các phương thức điện tử phù hợp để nhận được các truy vấn về dữ liệu cái.

VÍ DỤ Địa chỉ thư điện tử được công bố trên trang web của công ty hoặc trong bản đăng ký được duy trì tại bên thứ ba.

5.3. Yêu cầu xuất xứ

Điều này bao gồm các yêu cầu tùy chọn để trao đổi dữ liệu bổ sung cho 5.2.

Bất kỳ thông điệp dữ liệu cái nào mà tổ chức gửi ra bên ngoài tổ chức phải phù hợp với TCVN 10249- 120 (ISO/TS 8000-120).

6. Sự phù hợp

Tổ chức phù hợp với tiêu chuẩn này khi có thể có tài liệu chứng minh về:

...

...

...

VÍ DỤ 1 Công việc được mô tả bằng những tài liệu chứng minh theo quy định điều lệ.

- Quá trình cho quản lý chất lượng dữ liệu được hợp nhất bên trong các quá trình kinh doanh của tổ chức.

VÍ DỤ 2 Mô hình quá trình kinh doanh bao gồm các quá trình tại các địa điểm phù hợp với chứng minh hợp nhất.

- Các quá trình cho quản lý chất lượng dữ liệu đang được thực hiện.

VÍ DỤ 3 Thông số kỹ thuật về yêu cầu chất lượng dữ liệu cái (kết quả đo lường chất lượng dữ liệu cái) là bản ghi lại các khiếm khuyết và không phù hợp. và bản ghi lại việc phân tích các nguyên nhân gốc lõi và các hành động hiệu chỉnh để chứng minh các quá trình nghiệp vụ đang thực hiện.

Tiêu chuẩn này cũng cung cấp một số tùy chọn có thể được hỗ trợ khi thực thi. Các tùy chọn này được gộp nhóm vào thành các lớp phù hợp sau:

- Giải mã miễn phí;

- Giải mã có tính phí;

- Giải mã miễn phí kèm xuất xứ;

...

...

...

Sự phù hợp với lớp phù hợp giải mã miễn phí cần có:

- Từ điển dữ liệu, đặc tả dữ liệu và bất kỳ thông điệp dữ liệu cái vào hay ra phù hợp với lớp phù hợp mã hóa miễn phí của TCVN 10249-110 (ISO 8000-110);

- Đạt tất cả các yêu cầu tại 5.2.

Ngoài những điều bên trên, sự phù hợp với lớp phù hợp giải mã miễn phí kèm xuất xứ thì yêu cầu đạt được tất cả các yêu cầu tại 5.3.

Sự phù hợp với lớp phù hợp giải mã có tính phí cần có:

- Từ điển dữ liệu, đặc tả dữ liệu và bất kỳ thông điệp dữ liệu cái vào hay ra phù hợp với lớp phù hợp giải mã có tính phí của TCVN 10249-110 (ISO 8000-110);

- Đạt tất cả các yêu cầu tại 5.2.

Ngoài những điều bên trên, sự phù hợp với lớp phù hợp giải mã có tính phí kèm xuất xứ thì yêu cầu đạt được tất cả các yêu cầu tại 5.3.

Mọi tuyên bố sự phù hợp với tiêu chuẩn này mà không có trạng thái rõ ràng thì lớp phù hợp phải được công bố phù hợp với một trong các lớp phù hợp giải mã miễn phí.

...

...

...

PHỤ LỤC A

(quy định)

NHẬN DIỆN TÀI LIỆU

Để cung cấp cho việc nhận diện minh bạch một đối tượng thông tin trong hệ thống mở, định danh đối tượng

{tiêu chuẩn TCVN 10249 phần (150) phiên bản (1)}

được gán cho tiêu chuẩn này. Như thế giá trị được định nghĩa trong ISO/IEC 8824-1, và được mô tả trong ISO 10303-1.

PHỤ LỤC B

(tham khảo)

...

...

...

B.1. Tổng quan về khung quản lý chất lượng dữ liệu cái

Cấu trúc của khung có thể biểu diễn hình học ở dạng ma trận 3x3 như Hình B.1. Khung bao gồm ba quá trình mức cao là: vận hành dữ liệu, giám sát chất lượng dữ liệu và cải tiến chất lượng dữ liệu. Mỗi quá trình mức cao được phân mảnh vào trong ba quá trình theo điều lệ do người thực hiện quá trình. Các quá trình có liên quan đến nhau theo thứ tự của quá trình và đầu vào/đầu ra của dữ liệu.

Quá trình được gộp nhóm theo điều lệ của người quản lý dữ liệu hỗ trợ theo những điều lệ của quản trị viên dữ liệu. Tài liệu hướng dẫn cho quá trình của quản lý kiến trúc dữ liệu là cần thiết để thiết kế cấu trúc dữ liệu. Quá trình về cương vị quản lý dữ liệu và quản lý luồng dữ liệu cung cấp các thông tin cần thiết để phân tích nguyên nhân gây lỗi và quá trình về dự án chất lượng dữ liệu nhằm hướng tới hoặc hướng dẫn cho chất lượng dữ liệu trợ giúp thiết lập chỉ tiêu.

Quá trình được gộp nhóm theo điều lệ của quản trị viên dữ liệu bao gồm: thiết kế dữ liệu, thiết lập chỉ tiêu chất lượng dữ liệu và phân tích nguyên nhân lỗi dữ liệu. Có ba kiểm soát quá trình và sắp xếp quá trình dữ liệu để hỗ trợ quá trình theo điều lệ của kỹ thuật viên dữ liệu. Thiết kế dữ liệu quá trình giúp đảm bảo chất lượng vận hành dữ liệu bằng cách cải tiến lược đồ dữ liệu. Quá trình, thiết lập chỉ tiêu chất lượng dữ liệu cung cấp với chỉ tiêu và phương thức đánh giá chất lượng dữ liệu. Quá trình phân tích nguyên nhân lỗi dữ liệu ngăn chặn sự xuất hiện trở lại của các lỗi dữ liệu tương tự bằng cách phân tích nguyên nhân gốc lõi của các lỗi dữ liệu.

Quá trình gộp nhóm theo điều lệ của kỹ thuật viên dữ liệu phân chia thành: quá trình dữ liệu, đo lường chất lượng dữ liệu và hiệu chỉnh lỗi dữ liệu. Ba quá trình được thực hiện lần lượt: đầu tiên, quá trình xử lý dữ liệu là khởi tạo, đọc, chỉnh sửa, truyền và xóa dữ liệu được thực thi theo hướng dẫn dữ liệu. Để tìm kiếm lỗi dữ liệu vô danh khi xử lý, quá trình đo lường chất lượng dữ liệu thực hiện theo thời gian thực hoặc gián đoạn. Trong trường hợp lỗi dữ liệu được tìm thấy trong quá trình, quá trình hiệu chỉnh lỗi dữ liệu được nhập vào thực thi.

Ngoài ra, các chương trình được mở rộng để cho quản lý dữ liệu, quản trị viên dữ liệu và kỹ thuật viên dữ liệu. Tuy nhiên trường hợp quan trọng là kết quả quá trình phản hồi ngược lại.

Thông thường, chính sách chất lượng dữ liệu phù hợp với hầu hết chính sách công nghệ thông tin (IT) của tổ chức và cung cấp điều cơ bản để thiết lập các mục tiêu chất lượng dữ liệu. Theo đó, chính sách chất lượng dữ liệu được xem xét một trong các nhân tố kiểm soát ảnh hưởng đến hiệu năng trên toàn khung.

Hình B.1 - Khung quản lý chất lượng dữ liệu cái.

...

...

...

B.2.1. Ba quá trình mức cao

Ba quá trình mức cao trong khung bên phải:

- vận hành dữ liệu (xem B.2.2);

- giám sát chất lượng dữ liệu (xem B.2.3);

- cải tiến chất lượng dữ liệu (xem B.2.4);

B.2.2. Vận hành dữ liệu

Quá trình vận hành dữ liệu chỉ ra các nhân tố có ảnh hưởng đến chất lượng dữ liệu và đảm bảo dữ liệu tồn tại tại đúng vị trí theo thời gian. Quá trình mức cao này phải bao gồm các quá trình sau:

- quản lý kiến trúc dữ liệu: quá trình quản lý kiến trúc dữ liệu tổ chức theo chiều rộng từ quan điểm tích hợp đến sử dụng dữ liệu trong hệ thống thông tin phân tán với tính chắc chắn và theo đó đảm bảo chất lượng dữ liệu (xem B.4.2).

- thiết kế dữ liệu: quá trình thiết kế lược đồ dữ liệu và thực thi cơ sở dữ liệu làm người sử dụng dữ liệu áp dụng dữ liệu mà không có nhầm lẫn và đảm bảo chất lượng dữ liệu (xem B.4.3).

...

...

...

B.2.3. Giám sát chất lượng dữ liệu

Quá trình giám sát chất lượng dữ liệu chỉ ra lỗi dữ liệu thông qua việc tiếp cận có hệ thống. Quá trình ở mức cao phải bao gồm các quá trình sau:

- hoạch định chất lượng dữ liệu: quá trình thiết lập các mục tiêu về chất lượng dữ liệu trong bố trí chiến lược của tổ chức, chỉ ra các nhân tố phải quản lý và thực thi những hành động để đáp ứng mục tiêu. Quá trình này cũng đảm bảo chất lượng dữ liệu và điều chỉnh mục tiêu tập trung về đảm bảo kết quả (xem B.4.5).

- thiết lập chỉ tiêu chất lượng dữ liệu: quá trình thiết lập chỉ tiêu bao gồm các đặc tính của dữ liệu, dữ liệu đích và phương pháp đo (xem B.4.6).

- đo lường chất lượng dữ liệu: quá trình đo lường dữ liệu đích với chỉ tiêu thiết lập trong quá trình về thiết lập chỉ tiêu chất lượng dữ liệu theo thời gian thực cơ bản hoặc khoảng thời gian (xem B.4.7).

B.2.4. Cải tiến chất lượng dữ liệu

Quá trình cải tiến chất lượng dữ liệu hiệu chỉnh lỗi dữ liệu đã phát hiện và loại trừ nguyên nhân gốc lõi của lỗi dữ liệu bằng cách đánh dấu và nhận diện chúng. Để hỗ trợ hiệu quả quá trình mức cao, việc hiệu chỉnh cương vị quản lý dữ liệu theo đánh dấu luồng dữ liệu là cần thiết. Quá trình để quản lý dữ liệu được cải tiến tại mức quản trị dữ liệu đồng thời các quá trình nghiệp vụ tại mức quản lý dữ liệu. Quá trình mức cao này phải bao gồm các quá trình sau:

- quản lý cương vị quản lý dữ liệu và luồng dữ liệu: quá trình này phân tích vận hành dữ liệu và luồng dữ liệu theo nghiệp vụ hoặc tổ chức, chỉ ra các bên có thể đáp ứng và hệ thống vận hành dữ liệu của chúng có ảnh hưởng chất lượng dữ liệu và quản lý cương vị quản lý trong vận hành dữ liệu (xem B.4.8).

- phân tích nguyên nhân lỗi dữ liệu: quá trình này phân tích nguyên nhân  gốc lõi của lỗi dữ liệu và ngăn ngừa sự tái hiện của các lỗi căn bản tương tự (xem B.4.9).

...

...

...

B.3. Điều lệ trong khung

B.3.1. Ba điều lệ

Ba điều lệ trong khung có thể đáp ứng việc thực thi các quá trình trong khung. Các điều lệ này là:

- người quản lý dữ liệu (xem B.3.2);

- quản trị viên dữ liệu (xem B.3.3);

- kỹ thuật viên dữ liệu (xem B.3.4).

B.3.2. Người quản lý dữ liệu

Người quản lý dữ liệu phải thực hiện các quá trình sau trong khung:

- quản lý kiến trúc dữ liệu (xem B.4.2);

...

...

...

- quản lý cương vị quản lý dữ liệu và luồng dữ liệu (xem B.4.8).

Người quản lý dữ liệu thực thi các điều lệ trực tiếp hướng dẫn việc quản lý chất lượng dữ liệu cái trong khi tương thích với các mục tiêu của tổ chức, quản lý các tác nhân có tác động đến chất lượng dữ liệu tại mức tổ chức và thiết lập các kế hoạch để thực thi hành động chất lượng dữ liệu trong tổ chức. Theo quá trình mức cao chủ yếu thì người quản lý dữ liệu duy trì tính kiên định dữ liệu trong các hệ thống thông tin độc lập thông qua việc quản lý kiến trúc dữ liệu toàn tổ chức, và phân tích các nhân tố có ảnh hưởng chất lượng dữ liệu trong khi hoạch định chất lượng dữ liệu. Ngoài ra người quản lý dữ liệu thực hiện điều lệ trợ giúp quản trị viên dữ liệu chứng thực việc đánh dấu và hiệu chỉnh dữ liệu trên các hệ thống thông tin hoặc tổ chức.

VÍ DỤ Người quản lý dữ liệu lựa chọn một trong nhiều hệ thống PIC (mã nhận diện sản phẩm) được sử dụng trong công nghiệp. Khi quản trị viên dữ liệu hoặc kỹ thuật viên dữ liệu thực hiện hệ thống PIC, người quản lý dữ liệu quan sát và quản lý khi nào họ sử dụng PIC để kết nối các mục tiêu trong quản lý chất lượng dữ liệu. Đây là điểm chủ yếu của kiến trúc dữ liệu doanh nghiệp (EDA) là ví dụ về kiểu điều lệ này.

B.3.3. Quản trị viên dữ liệu

Quản trị viên dữ liệu phải thực hiện các quá trình sau trong khung:

- thiết kế dữ liệu (xem B.4.3);

- thiết lập tiêu chí chất lượng dữ liệu (xem B.4.6);

- phân tích nguyên nhân lỗi dữ liệu (xem B.4.9).

Quản trị viên dữ liệu kiểm soát và kết hợp các kỹ thuật viên dữ liệu bằng cách định nghĩa tiêu chí cần có để duy trì chất lượng dữ liệu cái, và bảo vệ sự tái hiện các lỗi tương đương bằng cách phân tích nguyên nhân gây lỗi hoặc thiết kế lược đồ dữ liệu. Thông thường, hỗ trợ tài nguyên và hướng dẫn cho kỹ thuật viên dữ liệu, quản trị viên dữ liệu thực hiện kế hoạch chất lượng dữ liệu vào thực tiễn để thu nhận các mục tiêu thiết lập bởi người quản lý dữ liệu.

...

...

...

B.3.4. Kỹ thuật viên dữ liệu

Kỹ thuật viên dữ liệu phải thực hiện các quá trình nhỏ sau trong khung:

- quá trình dữ liệu (xem B.4.4);

- đo lường chất lượng dữ liệu (xem B.4.7);

- hiệu chỉnh lỗi dữ liệu (xem B.4.10).

Kỹ thuật viên dữ liệu khởi tạo, đọc, chỉnh sửa và            xóa dữ liệu theo những hướng dẫn của quản lý chất lượng dữ liệu đã thiết lập bởi quản trị viên dữ liệu và đo chất lượng dữ liệu và hiệu chỉnh các lỗi dữ liệu có thể có theo kết quả phép đo. Trong khi đó người quản lý dữ liệu hoặc quản trị dữ liệu có thể xử lý các sự kiện dữ liệu trên đó theo phạm vi nghiệp vụ phù hợp với các luồng dữ liệu, kỹ thuật viên dữ liệu xử lý dữ liệu theo phạm vi nghiệp vụ của họ.

VÍ DỤ Trong khi người dùng dữ liệu thực hiện với đầu vào dữ liệu và sử dụng dữ liệu, bên vận hành dữ liệu đo theo thời gian khi dữ liệu được sử dụng cùng các điều lệ nghiệp vụ và hiệu chỉnh dữ liệu khi lỗi được tìm thấy. (Kỹ thuật viên dữ liệu phải áp đặt người dùng dữ liệu hoặc bên vận hành dữ liệu tùy theo điều lệ chi tiết). Ví dụ trong PIC (mã nhận diện sản phẩm) người dùng dữ liệu áp dụng PIC vào trực tiếp nghiệp vụ của họ, và bên vận hành dữ liệu thực hiện PIC và kiểm tra điều lệ kiểm tra mã số theo thời gian bằng công cụ kiểm tra hoặc bằng tay.

B.4. Quá trình mức thấp trong khung

B.4.1. Chín quá trình mức thấp

...

...

...

- quản lý kiến trúc dữ liệu (xem B.4.2);

- thiết kế dữ liệu (xem B.4.3);

- quá trình xử lý dữ liệu (xem B.4.4);

- hoạch định chất lượng dữ liệu (xem B.4.5);

- thiết lập chỉ tiêu chất lượng dữ liệu (xem B.4.6);

- đo lường chất lượng dữ liệu (xem B.4.7);

- quản lý cương vị quản lý dữ liệu và luồng dữ liệu (xem B.4.8);

- phân tích nguyên nhân lỗi dữ liệu (xem B.4.9);

- hiệu chỉnh lỗi dữ liệu (xem B.4.10).

...

...

...

Mô hình căn bản cho khung và kịch bản nghiệp vụ cùng các ví dụ có tương ứng tại Phụ lục C và D.

B.4.2. Quản lý kiến trúc dữ liệu

B.4.2.1. Tổng quan về quản lý kiến trúc dữ liệu

Nếu dữ liệu được phân tán trong tổ chức, chất lượng dữ liệu có thể không được            đảm bảo mà không có quản lý có hệ thống. Quá trình chỉ ra dữ liệu thông thường được sử dụng bên trong tổ chức và định nghĩa lược đồ dữ liệu để bảo vệ chất lượng dữ liệu bên trong và bên ngoài tổ chức. Ngoài ra, việc nhận diện trong kiểu lược đồ dữ liệu đã phân tán trong toàn hệ thống thông tin, quá trình có thể ngăn chặn sự không thống nhất giữa các dữ liệu giống nhau phân tán trong các hệ thống thông tin khác nhau. Quá trình cũng có thể quản lý vòng đời dữ liệu được nhận diện trong kiến trúc dữ liệu.

B.4.2.2. Các hành động trong quản lý kiến trúc dữ liệu

Quản lý kiến trúc dữ liệu phải bao gồm những hành động sau:

- Quản lý các mô hình dữ liệu nội dung toàn tổ chức theo chiều rộng: hành động quản lý mô hình dữ liệu nội dung được biểu diễn bằng các nhân tố cần thiết được chia sẻ hoặc được quản lý tại mức tổ chức. Lập bản đồ dữ liệu hoặc đánh dấu dữ liệu có thể thực hiện thông qua các mô hình.

- Quản lý tiêu chuẩn dữ liệu toàn tổ chức theo chiều rộng: hành động quản lý tiêu chuẩn và điều lệ nghiệp vụ phải được xem xét trong khi quản lý kiến trúc dữ liệu toàn tổ chức theo chiều rộng.

B.4.2.3. Trách nhiệm cần có của người quản lý dữ liệu trong quản lý kiến trúc dữ liệu

...

...

...

- Kết hợp toàn tổ chức theo chiều rộng: trách nhiệm chủ yếu quy về các mục tiêu và kế hoạch quản lý chất lượng dữ liệu theo các bên có liên quan và đảm bảo sự hòa hợp các bên liên quan. Do chất lượng dữ liệu phụ thuộc nhiều vào người dùng dữ liệu trong đơn vị nghiệp vụ, điều lệ này phải chứng thực để kiểm soát và kết hợp trách nhiệm các bên mà không chỉ là đơn vị kỹ thuật và cả trong các đơn vị nghiệp vụ.

- Duy trì và chia sẻ toàn tổ chức theo chiều rộng: trách nhiệm chia sẻ mô hình dữ liệu nội            dung và tiêu chuẩn dữ liệu để đảm bảo chất lượng dữ liệu và duy trì tính ổn định, thực thi các hành động như sửa đổi bản đồ dữ liệu khi thay đổi lược đồ dữ liệu.

B.4.2.4. Mối quan hệ trong quản lý kiến trúc dữ liệu với các quá trình khác

Mối quan hệ với các quá trình khác:

- Giữa quản lý kiến trúc dữ liệu và hoạch định chất lượng dữ liệu: việc dựa trên kiến trúc dữ liệu toàn tổ chức theo chiều rộng, cho biết nội dung tổ hợp dữ liệu của tổ chức, kế hoạch để phát triển chất lượng dữ liệu. Chỉ tiêu có trong kế hoạch phải được phản hồi trong mô hình dữ liệu nội dung và tiêu chuẩn dữ liệu.

- Giữa quản lý kiến trúc dữ liệu và cương vị quản lý/luồng dữ liệu: cương vị quản lý dữ liệu là gắn trên kiến trúc dữ liệu theo chiều rộng tổ chức. Trong thực tế, khi cương vị quản lý dữ liệu và luồng dữ liệu bị thay đổi trong quá trình giải quyết lỗi dữ liệu, thay đổi đó phải phản hồi đến quản lý kiến trúc dữ liệu.

- Giữa quản lý kiến trúc dữ liệu và thiết kế dữ liệu: quản lý kiến trúc dữ liệu cung cấp quá trình thiết kế dữ liệu với các thông tin như mô hình dữ liệu nội dung và tiêu chuẩn dữ liệu.

B.4.3. Thiết kế dữ liệu

B.4.3.1. Tổng quan về thiết kế dữ liệu

...

...

...

B.4.3.2. Các hành động trong thiết kế dữ liệu

Thiết kế dữ liệu phải bao gồm các hành động sau:

- Thiết kế dữ liệu về chất lượng: hành động này chỉ ra lược đồ dữ liệu cần có kiểu dữ liệu và dải giá trị dữ liệu. Ngoài ra, hành động này phải phản hồi thích đáng các yêu cầu của kỹ thuật viên dữ liệu. Hành động này bao gồm đặc tá kỹ thuật của cấu hình và sử dụng cấu trúc dữ liệu trong gói phần mềm tại nơi cấu trúc dữ liệu vật lý đã được xác định.

- Thiết kế dữ liệu về kết nối với quản lý kiến trúc dữ liệu toàn tổ chức theo chiều rộng: hành động này thực thi thiết kế lược đồ dữ liệu và thay đổi để duy trì mối quan hệ với quản lý kiến trúc dữ liệu toàn tổ chức theo chiều rộng, khi cơ sở dữ liệu được xây dựng hoặc cần cho lược đồ dữ liệu thay đổi.

B.4.3.3. Trách nhiệm cần có của quản trị dữ liệu để thiết kế dữ liệu

Từ đánh giá điều lệ, quản trị viên dữ liệu trong quá trình phải có trách nhiệm sau:

- Trách nhiệm nội bộ là phản hồi các yêu cầu chất lượng dữ liệu để thiết kế dữ liệu trong các hội nghị theo chiều sâu với người dùng và các bên thứ ba có liên quan trong hệ thống ứng dụng.

- Trách nhiệm đối ngoại là tra cứu với các bên thứ ba có liên quan về mối quan hệ của dữ liệu với các hệ thống ứng dụng khác.

B.4.3.4. Mối quan hệ của thiết kế dữ liệu với các quá trình khác

...

...

...

- Giữa thiết kế dữ liệu và quản lý kiến trúc dữ liệu: kết quả quá trình thiết kế dữ liệu phản hồi đến quá trình quản lý kiến trúc dữ liệu.

- Giữa thiết kế dữ liệu và quá trình xử lý dữ liệu: xử lý dữ liệu được thực hiện dựa trên lược đồ dữ liệu đã tạo trong quá trình thiết kế dữ liệu.

- Giữa thiết kế dữ liệu và thiết lập chỉ tiêu chất lượng dữ liệu: chỉ tiêu chất lượng dữ liệu được xác định dựa trên lược đồ dữ liệu đã tạo trong quá trình thiết kế dữ liệu.

B.4.4. Quá trình xử lý dữ liệu

B.4.4.1. Tổng quan về quá trình xử lý dữ liệu

Việc không cẩn thận và thiếu sót trong nhận thức của người dùng cuối, người là kỹ thuật viên dữ liệu chính, tác động trực tiếp đến chất lượng dữ liệu, gây ra lỗi dữ liệu. Điều cần thiết cung cấp cho người dùng cuối là quá trình và hướng dẫn để xử lý dữ liệu từ điểm quản lý chất lượng dữ liệu. Ngoài ra khi giá dữ liệu lỗi phát sinh là đầu vào, bên liên quan phải được chỉ ra. Giao dịch dữ liệu không chỉ do con người mà cả do hệ thống ứng dụng nên cần được quản lý để đánh dấu chi tiết.

B.4.4.2. Các hành động trong quá trình xử lý dữ liệu

Quá trình xử lý dữ liệu phải bao gồm các hành động sau:

- Thực thi dữ liệu: hành động này khởi tạo, đọc, cập nhật, truyền và xóa dữ liệu theo hướng dẫn xử lý dữ liệu. Người dùng cuối phải được đào tạo thông qua các công cụ thông báo hoặc chương trình huấn luyện để có thể sử dụng hướng dẫn dữ liệu tốt hơn. Một khi dữ liệu được thực thi bởi hệ thống ứng dụng, dữ liệu phải kết hợp với hướng dẫn để xử lý dữ liệu và từ đó dữ liệu đã thực thi phải được nhận biết rõ ràng.

...

...

...

B.4.4.3. Trách nhiệm cần có của kỹ thuật viên dữ liệu để xử lý dữ liệu

Không dễ dàng để quản lý chất lượng dữ liệu có tính hệ thống khi quá trình được thực hiện bởi một số người dùng tại các đơn vị và điều lệ nghiệp vụ khác nhau. Do đó, quá trình xử lý dữ liệu và việc quản lý chất lượng tương ứng phải được quy định rõ ràng bởi các kỹ thuật viên dữ liệu riêng biệt. Ngoài ra, để dữ liệu có chỉ tiêu chất lượng, kỹ thuật viên dữ liệu phải xác nhận nó có chất lượng.

B.4.4.4. Mối quan hệ trong quá trình xử lý dữ liệu với các quá trình khác

Mối quan hệ với các quá trình khác:

- Giữa quá trình xử lý dữ liệu và thiết kế dữ liệu: khi chất lượng dữ liệu bổ sung gây ra vấn đề ở giữa quá trình xử lý dữ liệu, điều này phản hồi đến quá trình thiết kế dữ liệu.

- Giữa quá trình xử lý dữ liệu và quản lý chất lượng dữ liệu: kết quả quá trình xử lý dữ liệu được đo trong quá trình đo lường chất lượng dữ liệu.

B.4.5. Hoạch định chất lượng dữ liệu

B.4.5.1. Tổng quan về hoạch định chất lượng dữ liệu

Nếu các yêu cầu khác nhau về dữ liệu hoặc sai lệch trong cảm nhận về chất lượng dữ liệu bên trong và bên ngoài tổ chức, điều này cần được thiết lập các mục tiêu để ổn định với chính sách chất lượng dữ liệu của tổ chức. Để đạt được mục tiêu, việc chuẩn hóa kế hoạch chất lượng dữ liệu chi tiết và đảm bảo chất lượng là cần thiết.

...

...

...

Hoạch định chất lượng dữ liệu phải bao gồm các hành động sau:

- Thiết lập và quản lý mục tiêu: hành động này thu thập các yêu cầu dữ liệu từ các bên có liên quan bao gồm các khách hàng khác nhau hoặc những cảm nhận khác nhau về chất lượng dữ liệu bên trong và bên ngoài tổ chức, thiết lập các mục tiêu đơn nhất, và quản lý quá trình đảm bảo rằng việc đo được kết quả các mục tiêu đó thu về.

- Việc nhận diện các khoản mục quản lý chất lượng và kế hoạch hành động: hành động này nhận diện các khoản mục quản lý chất lượng cần có để đạt được mục tiêu, và thiết hoạch định hành động nhằm cải tiến chúng. Kế hoạch hành động chi tiết phải bao gồm việc thiết lập phạm vi, nhiệm vụ, chương trình, tài nguyên bảo mật và phương thức chuẩn hóa.

B.4.5.3. Trách nhiệm cần có của người quản lý dữ liệu đối với hoạch định chất lượng dữ liệu

Từ đánh giá điều lệ, người quản lý dữ liệu trong quá trình phải có trách nhiệm sau:

- Kiểm soát các nhân tố quản lý chất lượng và nguồn tài nguyên: trách nhiệm kiểm soát các nhân tố quản lý chất lượng và nguồn tài nguyên tương ứng khi thực hiện kế hoạch chất lượng dữ liệu.

- Đảm bảo hỗ trợ chấp hành cao: trách nhiệm hướng tới việc chèo lái sao cho giao tiếp động với chấp hành cao. Người quản lý dữ liệu phải có thể giao tiếp với các mục tiêu chấp hành cao về chất lượng dữ liệu và các hành động trong quá trình và thiết lập chiều hướng sao cho toàn tổ chức thực hiện chính xác kế hoạch.

B.4.5.4. Mối quan hệ của kế hoạch chất lượng dữ liệu với quá trình khác

Mối quan hệ với các quá trình khác:

...

...

...

- Giữa hoạch định chất lượng dữ liệu và cương vị quản lý/luồng dữ liệu: kết quả quá trình hoạch định chất lượng dữ liệu có thể được phản hồi đến quá trình về cương vị quản lý dữ liệu và luồng dữ liệu.

- Giữa hoạch định chất lượng dữ liệu và thiết lập chỉ tiêu chất lượng dữ liệu: hoạch định chất lượng dữ liệu cung cấp quá trình thiết lập chỉ tiêu chất lượng dữ liệu với kế hoạch chất lượng dữ liệu chi tiết.

B.4.6. Thiết lập chỉ tiêu chất lượng dữ liệu

B.4.6.1. Tổng quan về thiết lập chỉ tiêu chất lượng dữ liệu

Để thực thi kế hoạch chất lượng dữ liệu, việc cần thiết là cung cấp các chỉ tiêu bao gồm các đặc tính dữ liệu (như độ chính xác, xuất xứ và tính đầy đủ), dữ liệu đích và phương thức đo lường. Theo thông thường, chỉ tiêu được xác định bởi các phản hồi yêu cầu cổ đông. Khi có nhiều chỉ tiêu được thu nhập do nhiều người dùng khác nhau, chỉ tiêu phải được thiết lập theo các mẫu chuẩn hóa. Thông qua chỉ tiêu, tổ chức có thể tăng chất lượng dữ liệu đưa ra có tính chính thức, cho nguồn tài nguyên cần thiết và thực thi quá trình đo lường chất lượng dữ liệu một cách chi tiết. Trong quá trình này, các tiêu chuẩn dữ liệu cái trong bộ tiêu chuẩn TCVN 10249 (ISO 8000) có thể được sử dụng làm chỉ tiêu đo lường chất lượng dữ liệu.

B.4.6.2. Các hành động thiết lập chỉ tiêu chất lượng dữ liệu

Thiết lập chỉ tiêu chất lượng dữ liệu phải bao gồm các hành động sau:

- Xác định chỉ tiêu chất lượng dữ liệu: hành động này định nghĩa các chỉ tiêu cơ bản mà các cổ đông chấp thuận thông qua việc thu thập các yêu cầu của họ về chất lượng dữ liệu. Hành động này bao gồm việc xác định đặc tính dữ liệu, dữ liệu đích và phương thức đo lường chi tiết.

- Đánh giá chất lượng dữ liệu: hành động này thực hiện khi dữ liệu đích được đo theo tiêu chuẩn chất lượng cho trước như chỉ tiêu. Nếu cần, kết quả thực hiện được phản hồi cho chỉ tiêu.

...

...

...

Từ đánh giá điều lệ, quản trị viên dữ liệu trong quá trình phải có trách nhiệm phản hồi các yêu cầu của người dùng dữ liệu và lập mẫu nhất trí thông qua các giao tiếp đầy đủ với cổ đông dữ liệu.

B.4.6.4. Mối quan hệ của thiết lập chất lượng dữ liệu với quá trình khác

Mối quan hệ với quá trình khác:

- Giữa thiết lập chỉ tiêu chất lượng dữ liệu và hoạch định chất lượng dữ liệu: quá trình thiết lập chỉ tiêu chất lượng dữ liệu được thực hiện thành các chuỗi quá trình hoạch định chất lượng dữ liệu.

- Giữa thiết lập chỉ tiêu chất lượng dữ liệu và quản lý chất lượng dữ liệu: quá trình đo lường chất lượng dữ liệu được thực thi dựa trên việc thiết lập chỉ tiêu bởi quá trình thiết lập chỉ tiêu chất lượng dữ liệu.

B.4.7. Đo lường chất lượng dữ liệu

B.4.7.1. Tổng quan về đo lường chất lượng dữ liệu

Mặc dù có khó khăn khi tìm kiếm lỗi theo thời gian cho người dùng cuối, hệ thống ứng dụng và thực hiện quá trình, việc đo lường chất lượng có tính hệ thống là cần thiết. Ngoài ra, thiết lập khoảng thời gian giữa việc đo chất lượng dữ liệu là cần thiết bởi vì mất mát dữ liệu rất quan trọng tại thời điểm gửi đi. Mặc dù điều này có thể đo chất lượng dữ liệu mà không cần chờ sau quá trình xử lý dữ liệu, thời gian đo có thể được điều chỉnh theo các đặc tính nhiệm vụ nghiệp vụ.

B.4.7.2. Các hành động trong đo lường chất lượng dữ liệu

...

...

...

- Đo lường chất lượng dữ liệu: hành động đo dữ liệu đích theo chỉ tiêu bằng công cụ hoặc bằng tay. Đối với dữ liệu lặp, việc đo có thể thực hiện bằng công cụ. Nhưng với dữ liệu kết hợp, việc đo phải thực hiện bởi các chuyên gia.

- Việc xử lý thống kê cho dữ liệu đã đo: phân tích thống kê việc đo chất lượng dữ liệu để hỗ trợ phân tích nguyên nhân của các khuyết điểm hoặc điểm không phù hợp.

B.4.7.3. Trách nhiệm cần có của kỹ thuật viên dữ liệu về đo lường chất lượng dữ liệu

Từ đánh giá điều lệ, kỹ thuật viên dữ liệu trong quá trình này phải xác thực để truy cập dữ liệu đích.

B.5.7.4. Mối quan hệ giữa việc đo lường chất lượng dữ liệu và quá trình khác

Mối quan hệ với quá trình khác:

- Giữa đo lường chất lượng dữ liệu và thiết lập chỉ tiêu chất lượng dữ liệu: theo kết quả đo lường chất lượng dữ liệu, thiết lập chỉ tiêu bằng quá trình thiết lập chỉ tiêu chất lượng có thể được thay đổi.

- Giữa đo lường chất lượng dữ liệu và phân tích nguyên nhân lỗi dữ liệu: dữ liệu có lỗi và tình trạng của dữ liệu đó có được khi đo lường chất lượng dữ liệu và đưa vào quá trình phân tích nguyên nhân lỗi dữ liệu.

- Giữa đo lường chất lượng dữ liệu và hiệu chỉnh lỗi dữ liệu: dữ liệu có lỗi đã tìm thấy khi đo lường chất lượng dữ liệu được chuyển cho quá trình hiệu chỉnh lỗi dữ liệu.

...

...

...

B.4.8.1. Tổng quan về quản lý cương vị quản lý dữ liệu và luồng dữ liệu

Theo thông thường, dữ liệu không tồn tại độc lập nhưng có liên quan đến các chương trình khác. Do đó, điều quan trọng trong quản lý chất lượng dữ liệu là hiểu cách nào để áp dụng dữ liệu. Khi mối quan hệ giữa dữ liệu và người dùng dữ liệu được nhận diện, các yêu cầu của người dùng dữ liệu về chất lượng dữ liệu trở nên rõ ràng và lỗi dữ liệu có thể được hiệu chỉnh thích hợp hơn. Ngoài ra, nếu luồng dữ liệu theo ứng dụng có nhận diện được dữ liệu kiểm soát hành động thì lỗi có thể được hiệu chỉnh hiệu quả bằng cách phân tích tác động của lỗi dữ liệu và đánh dấu dữ liệu có liên quan. Nếu nhiều bên tham gia sử dụng dữ liệu, mỗi cá nhân phải được quy trách nhiệm về chất lượng dữ liệu. Trong quá trình này, người quản lý dữ liệu phải bao gồm trong việc cải tiến quá trình nghiệp vụ để giải quyết nguyên nhân gốc lõi.

B.4.8.2. Các hành động cho quản lý cương vị quản lý dữ liệu và luồng dữ liệu

Quản lý cương vị quản lý dữ liệu và luồng dữ liệu phải bao gồm các hành động sau:

- Gắn kết các cương vị quản lý: hành động này gắn con người có thẩm quyền và có trách nhiệm để quản lý dữ liệu phân tán. Khi giá trị dữ liệu cụ thể trong hệ thống ứng dụng bị thay đổi, người này phải thay đổi các kiểu dữ liệu giống nhau trên tất cả các hệ thống ứng dụng khác. Khi thay đổi xuất hiện liên tục, người đó phải sử dụng các ứng dụng đặc biệt được phát triển để cải tiến dữ liệu tự động thông qua thông tin trong các luồng dữ liệu.

- Quản lý luồng dữ liệu: hành động này bao trùm các mối quan hệ giữa dữ liệu phân tán trong các hệ thống ứng dụng riêng biệt sao cho chỉ ra được kiểu dữ liệu có thuộc tính định danh và giá trị. Khi thay đổi hoặc có lỗi dữ liệu trong hệ thống ứng dụng, hành động này chỉ ra cách làm thế nào lỗi tác động lên kiểu dữ liệu định danh trong hệ thống ứng dụng khác.

B.4.8.3. Trách nhiệm cần có của người quản lý dữ liệu về quản lý cương vị quản lý dữ liệu và luồng dữ liệu

Từ đánh giá điều lệ, người quản lý dữ liệu trong quá trình này phải có các trách nhiệm sau:

- Xác thực quá trình xử lý dữ liệu: trách nhiệm này có thể kiểm soát nhiều đơn vị nghiệp vụ mà có sử dụng cùng dữ liệu hoặc cùng quá trình xử lý dữ liệu đã xác thực cho chúng.

...

...

...

B.4.8.4. Mối quan hệ giữa quản lý cương vị quản lý dữ liệu và luồng dữ liệu với quá trình khác

Mối quan hệ với quá trình khác:

- Giữa quản lý cương vị quản lý dữ liệu/luồng dữ liệu và quản lý kiến trúc dữ liệu: quản lý kiến trúc dữ liệu phải thực hiện trước quá trình cương vị quản lý dữ liệu và luồng dữ liệu;

- Giữa quản lý cương vị quản lý dữ liệu/luồng dữ liệu và hoạch định chất lượng dữ liệu: quá trình cương vị quản lý dữ liệu và luồng dữ liệu thực hiện khác với cương vị quản lý dữ liệu và luồng dữ liệu theo các bên liên quan như trong kế hoạch chất lượng dữ liệu;

- Giữa quản lý cương vị quản lý dữ liệu/luồng dữ liệu và phân tích nguyên nhân lỗi dữ liệu: thông tin có liên quan đến cương vị quản lý dữ liệu và luồng dữ liệu được sử dụng trong quá trình phân tích nguyên nhân lỗi dữ liệu.

B.4.9. Phân tích nguyên nhân lỗi dữ liệu

B.4.9.1. Tổng quan về phân tích nguyên nhân lỗi dữ liệu

Nếu chỉ việc tìm lỗi dữ liệu và hiệu chỉnh, thì các lỗi tương tự sẽ có thể xảy ra tiếp lần sau. Do đó điều cần thiết là phải phân tích nguyên nhân gốc lõi của lỗi dữ liệu và thực hiện các hành động nhằm chống sự xuất hiện lại. Như vậy các nguyên nhân gốc lõi, một số có thể được giải quyết nhanh, trong khi trường hợp khác phải giải quyết trong thời gian dài.

B.4.9.2. Các hành động phân tích nguyên nhân lỗi dữ liệu

...

...

...

- Phân tích và hiệu chỉnh nguyên nhân: hành động này loại bỏ ảnh hưởng của lỗi dữ liệu bằng cách tìm nguyên nhân gốc lõi trên lược đồ dữ liệu, tiêu chuẩn dữ liệu và luồng dữ liệu và bằng cách thực hiện các hành động chống xuất hiện lại các lỗi tương tự. Thu nhận lỗi dữ liệu và giải quyết chúng trước có thể tăng cường hiệu năng cho việc hiệu chỉnh lỗi dữ liệu.

- Ngăn chặn lỗi xuất hiện lại: hành động này ngăn sự xuất hiện lại của kiểu lỗi dữ liệu tương tự từ các hệ thống ứng dụng khác. Đối với hành động này, nguyên nhân có thể của lỗi (bản thân dữ liệu, cấu trúc tổ chức, luồng dữ liệu và quá trình nghiệp vụ) được chỉ ra toàn bộ. Quá trình cải tiến hoặc điều khiển nghiệp vụ và/hoặc quá trình quản lý dữ liệu bao gồm các hỗ trợ quản lý dữ liệu và góp ý từ các bên có liên quan. Ngoài ra, để có hiệu quả ngăn ngừa hơn, quá trình này mô tả cách thức chuẩn bị cho việc hiệu chỉnh hoặc loại bỏ lỗi dữ liệu và huấn luyện các bên liên quan thực hiện.

B.4.9.3. Trách nhiệm cần có của quản trị viên dữ liệu để phân tích nguyên nhân lỗi dữ liệu

Từ đánh giá điều lệ, quản trị viên dữ liệu trong quá trình này phải có các trách nhiệm sau:

- Phân tích nguyên nhân gốc lõi: trách nhiệm này có thể phân tích nguyên nhân lỗi dữ liệu tại mức tổ chức theo chiều rộng. Để phân tích nguyên nhân, quản trị viên dữ liệu phải ước định để đánh dấu dữ liệu, các hệ thống ứng dụng có liên quan và người dùng có liên quan.

- Loại bỏ nguyên nhân gốc lõi: trách nhiệm này thực hiện hành động loại bỏ nguyên nhân gốc lõi đã được nhận diện.

B.4.9.4. Mối quan hệ của phân tích nguyên nhân lỗi dữ liệu đến quá trình khác

Mối quan hệ với các quá trình khác:

- Giữa phân tích nguyên nhân lỗi dữ liệu và cương vị quản lý/luồng dữ liệu: việc quản lý cương vị quản lý dữ liệu và luồng dữ liệu phải được đảm bảo cho quá trình phân tích nguyên nhân lỗi dữ liệu. Như vậy theo kết quả phân tích nguyên nhân thì việc điều chỉnh cương vị quản lý dữ liệu hay luồng dữ liệu là điều cần thiết.

...

...

...

- Giữa phân tích nguyên nhân lỗi dữ liệu và thiết lập chỉ tiêu chất lượng dữ liệu: hướng dẫn dữ liệu được tạo ra là do quá trình phân tích nguyên nhân lỗi dữ liệu phản hồi đến quá trình thiết lập chỉ tiêu chất lượng dữ liệu.

- Giữa phân tích nguyên nhân lỗi dữ liệu và thiết kế dữ liệu: theo kết quả quá trình phân tích nguyên nhân lỗi dữ liệu, lược đồ dữ liệu có thể bị thay đổi theo quá trình thiết kế dữ liệu.

B.4.10. Hiệu chỉnh lỗi dữ liệu

B.4.10.1. Tổng quan về hiệu chỉnh lỗi dữ liệu

Theo kết quả của hai quá trình, một là quản lý chất lượng dữ liệu và hai là phân tích nguyên nhân lỗi dữ liệu, thì quá trình này hiệu chỉnh lỗi dữ liệu. Trong quá trình này, không chỉ tìm kiếm dữ liệu trong một hệ thống mà dữ liệu tương tự hoặc có liên quan trong hệ thống ứng dụng khác cũng phải được hiệu chỉnh. Ngoài ra, điều cần thiết là giữ tính kiên định dữ liệu bằng cách định danh dữ liệu cho từng bên liên quan.

B.4.10.2. Các hành động hiệu chỉnh lỗi dữ liệu

Hiệu chỉnh lỗi dữ liệu phải bao gồm các hành động sau:

- Hiệu chỉnh lỗi dữ liệu: hành động này hiệu chỉnh lỗi được tìm thấy thông qua quá trình đo lường chất lượng dữ liệu và phân tích nguyên nhân lỗi dữ liệu, và tất cả dữ liệu có liên quan tồn tại trong các hệ thống ứng dụng khác. Lược sử hiệu chỉnh phải được gom lại để sử dụng trong quá trình phân tích nguyên nhân lỗi dữ liệu.

- Hiệu chỉnh dữ liệu đang chia sẻ: hành động này chỉ báo cho tất cả các bên có liên quan về dữ liệu trước khi và sau khi hiệu chỉnh để loại bỏ bất cứ sự bất cập nào trong vận hành dữ liệu.

...

...

...

Từ đánh giá điều lệ, kỹ thuật viên dữ liệu trong quá trình này, kỹ thuật viên dữ liệu trong quá trình này phải có các trách nhiệm sau:

- Góp ý của người được ủy quyền: trách nhiệm này phải thu thập góp ý của người có thẩm quyền sửa đổi dữ liệu.

- Chia sẻ việc hiệu chỉnh dữ liệu: trách nhiệm này phải quản lý tiến trình chi tiết của việc hiệu chỉnh lỗi dữ liệu và cung cấp môi trường là nơi các cổ đông dữ liệu có thể chia sẻ chi tiết về lỗi dữ liệu và việc hiệu chỉnh.

B.4.10.4. Mối quan hệ của hiệu chỉnh lỗi dữ liệu và các quá trình khác

Mối quan hệ với các quá trình khác:

- Giữa hiệu chỉnh lỗi dữ liệu và phân tích nguyên nhân lỗi dữ liệu: kết quả có được của quá trình hiệu chỉnh lỗi dữ liệu có thể được sử dụng để phân tích nguyên nhân lỗi trong quá trình phân tích nguyên nhân lỗi dữ liệu.

- Giữa hiệu chỉnh lỗi dữ liệu và quá trình xử lý dữ liệu: dữ liệu tinh trong quá trình hiệu chỉnh lỗi dữ liệu có thể sử dụng làm đầu vào cho quá trình xử lý dữ liệu.

PHỤ LỤC C

...

...

...

MÔ HÌNH CĂN BẢN CHO KHUNG

Đây là mô hình căn bản để biểu diễn mối quan hệ và luồng thông tin trong quá trình có trong khung quản lý chất lượng dữ liệu cái theo mẫu IDEF0 [6]. Như khung trong Hình B.1, mô hình căn bản bao gồm ba quá trình mức cao và quá trình mức thấp có liên quan. Cây phân nút mô hình cơ bản bao gồm:

A0: thực thi quản lý chất lượng dữ liệu;

A1: thực thi vận hành dữ liệu;

A11: thực thi quản lý kiến trúc dữ liệu;

A12: thực thi thiết kế dữ liệu;

A13: thực thi quá trình xử lý dữ liệu;

A2: thực thi giám sát chất lượng dữ liệu;

A21: thực thi hoạch định chất lượng dữ liệu;

...

...

...

A23: thực thi đo lường chất lượng dữ liệu;

A3: thực thi cải tiến chất lượng dữ liệu;

A31: thực thi quản lý cương vị quản lý dữ liệu và luồng dữ liệu;

A32: thực thi phân tích nguyên nhân lỗi dữ liệu;

A33: thực thi hiệu chỉnh lỗi dữ liệu.

Các biểu đồ của khung biểu diễn từ Hình C.1 đến C.5 theo chuỗi các nút.

Hình C.1 - Mô hình căn bản của khung tại mức cao nhất.

...

...

...

Hình C.3 - Các quá trình mức cao vận hành dữ liệu tại mức thứ ba.

Hình C.4- Các quá trình mức cao giám sát chất lượng dữ liệu tại mức thứ ba.

Hình C.5 - Các quá trình mức cao cải tiến chất lượng dữ liệu tại mức thứ ba.

PHỤ LỤC D

(tham khảo)

...

...

...

Phụ lục này bao gồm các ví dụ kịch bản nghiệp vụ để hỗ trợ người đọc hiểu tốt hơn về nội dung khung quản lý chất lượng dữ liệu cái. Trong kịch bản này, trường hợp để mã nhận diện sản phẩm hoặc mã phân loại sản phẩm chỉ là ví dụ. Kịch bản nghiệp vụ và ví dụ này thể hiện chuỗi quá trình đã được mô tả trong Phụ lục B.

D.1. Môi trường và vị trí nghiệp vụ

Với việc mở rộng thông tin sử dụng trong nghiệp vụ, số lượng hệ thống thông tin tăng dần trong tổ chức, và dữ liệu được phân tán tương ứng trên các hệ thống thông tin đó. Trong môi trường phân tán này, một số dữ liệu được sử dụng chung thông qua hệ thống thông tin nội bộ, trong khi những dữ liệu khác được chia sẻ với các hệ thống thông tin bên ngoài. Như thế, các vấn đề chất lượng dữ liệu có thể không chỉ gây bất cập trong nội bộ vì dữ liệu khác nhau, mà còn tạo hàng loạt xung đột với bên ngoài. Với các trường hợp này, người có trách nhiệm với chất lượng dữ liệu phải ước định cẩn thận để dữ liệu phân tán giữ được tính kiên định dữ liệu.

D.2. Quản lý kiến trúc dữ liệu

Người quản lý dữ liệu quản lý kiến trúc dữ liệu của tổ chức theo chiều rộng để nhận diện dữ liệu đích nhằm kiểm soát chất lượng đã phân tán trong hệ thống thông tin và lược đồ dữ liệu theo phương pháp dễ dàng chấp nhận được. Quản lý kiến trúc dữ liệu theo chiều rộng được sử dụng không chỉ trong nhận diện vị trí và mối quan hệ của dữ liệu hiện có mà còn đảm bảo rằng dữ liệu mới được thiết kế giữ được tính kiên định với lược đồ dữ liệu hiện có.

VÍ DỤ Khi công ty A sử dụng mã nhận diện sản phẩm ngẫu nhiên và công ty B sử dụng mã nhận diện GTIN, hai hệ thống mà khác nhau cần phải hợp nhất để quản lý tại mức tổ chức. Để quản lý hợp nhất, mô hình dữ liệu nội dung phải ánh xạ đến mã nhận diện sản phẩm ngẫu nhiên và mã nhận diện GTIN phải được phát triển.

D.3. Thiết kế dữ liệu

Lỗi dữ liệu phát sinh từ vấn đề về cấu trúc đến lúc lặp lại. Để giải quyết vấn đề, lược đồ dữ liệu phải được thiết kế lại tại mức tổ chức.

VÍ DỤ Nếu không có tính năng 'kiểm tra số" trong hệ thống mã hóa nhận diện sản phẩm sử dụng trong công ty A, cấu trúc và lược đồ DB tương ứng phải được thiết kế lại bằng cách thêm 'kiểm tra số" để ngăn chặn lỗi nội dung dữ liệu.

...

...

...

Một khi lược đồ dữ liệu được thiết kế tốt, khi đó người sử dụng nhập dữ liệu không cẩn thận hoặc tất cả lỗi dữ liệu có liên quan không thay đổi, giá trị dữ liệu cuối cùng phải giống với cái khác. Để ngăn chặn lỗi, người dùng dữ liệu phải quan sát hướng dẫn hoặc điều lệ xử lý dữ liệu.

VÍ DỤ Khi nhập mã GTIN, hệ thống thông tin hay người sử dụng phải giữ điều lệ thực hiện kiểm tra số.

D.5. Kế hoạch chất lượng dữ liệu

Không thể kiểm tra chất lượng dữ liệu bằng cách áp dụng tất cả các tiêu chuẩn đối với tất cả dữ liệu làm đích hoặc tiêu chuẩn cho quản lý chất lượng dữ liệu là tương đối - không chắc chắn. Theo nghĩa khác, theo chính sách của tổ chức, quyền ưu tiên, tiêu chuẩn hoặc mức chất lượng phải có dữ liệu khác nhau. Do đó, người quản lý dữ liệu phải phát triển kế hoạch quản lý chất lượng dữ liệu gắn với chính sách.

VÍ DỤ Công ty A sử dụng mã eCI@ss để phân loại sản phẩm cung ứng sản phẩm cho công ty B sử dụng mã UNSPSC. Sự mã hóa khác hẳn nhau giữa hai công ty tạo ra lỗi cung ứng sản phẩm cũng như là lỗi dữ liệu. Như thế, công ty B yêu cầu công ty A cung ứng sản phẩm dựa trên mã UNSPSC. Công ty A quyết định sử dụng hai loại mã phân loại sau tất cả và thiết hoạch định thống nhất hệ thống quản lý mã để hỗ trợ việc ánh xạ giữa hai loại mã và ngăn chặn lỗi tương tự trong tương lai.

D.6. Thiết lập chỉ tiêu chất lượng dữ liệu

Nếu chỉ tiêu về đặc tính dữ liệu, dữ liệu đích và phương thức để đo lường không được định nghĩa trước, quá trình đo lường chất lượng dữ liệu không thể thực hiện theo cách có hệ thống. Quản trị viên dữ liệu trong tổ chức phải thiết lập chỉ tiêu để sử dụng có hệ thống và hợp thức thông qua việc thống nhất với các bên có liên quan.

VÍ DỤ Để đo lường chất lượng mã nhận diện sản phẩm, tính toàn vẹn tên miền và tính toàn vẹn tham chiếu có thể được chọn làm đặc tính dữ liệu. Tất cả dữ liệu trong hệ thống thông tin sử dụng trong công ty A có thể là dữ liệu đích để đo, và công cụ thương mại phù hợp sẵn có hoặc SQL phát triển ngẫu nhiên có thể được sử dụng cho phép đo.

D.7. Đo lường chất lượng dữ liệu

...

...

...

VÍ DỤ Công ty B vận hành dữ liệu được đo và xem xét khi lỗi xuất hiện trong bất kỳ mã GTIN đã nhập trước đó hoặc trong bất kỳ thuộc tính nào khi mã GTIN được sử dụng. Tại lúc này, người vận hành dữ liệu sử dụng chính chương trình SQL đã phát triển để tìm lỗi trong cơ sở dữ liệu.

D.8. Cương vị quản lý dữ liệu và luồng dữ liệu

Có nhiều nguyên nhân gây lỗi dữ liệu, luồng dữ liệu phải được đánh dấu từ khi khởi tạo dữ liệu đến lần sử dụng cuối cùng tìm ra nguyên nhân chính xác. Cương vị quản lý dữ liệu và trách nhiệm dữ liệu phải hiểu rõ ràng rành mạch. Người quản lý dữ liệu phải phân tích cương vị quản lý dữ liệu và luồng dữ liệu để nhận diện con người hoặc quá trình có liên quan đến lỗi dữ liệu. Ngoài ra, người đó phải chuẩn bị giải quyết nguyên nhân gốc lõi thông qua việc thống nhất với các cổ đông khác.

VÍ DỤ Công ty A sử dụng UNSPSC phiên bản 10 để phân loại sản phẩm trong khi công ty B sử dụng phiên bản 11 mới nhất. Công ty A do đó phải cập nhật đến phiên bản mới nhất hiện tại. Tuy nhiên, công ty A không thể đơn giản cập nhật từ khi chia sẻ UNSPSC phiên bản 10 với bên cung ứng và bên cung cấp khác. Các bên liên quan tới hệ thống mã hóa (công ty A và công ty B và các công ty thành viên) phải thống nhất với nhau để xác định phần thay đổi, phạm vi và thời gian có liên quan cần sửa.

D.9. Phân tích nguyên nhân lỗi dữ liệu

Hiệu chỉnh lỗi dữ liệu được thực hiện với dữ liệu quan sát được. Tuy nhiên nếu nguyên nhân gốc lõi của lỗi dữ liệu không được chỉ ra và loại bỏ, các kiểu lỗi tương tự sẽ xuất hiện lặp lại trong tương lai. Sự tái diễn lỗi tương tự có thể ngăn chặn được khi quản trị viên dữ liệu đánh dấu và loại bỏ nguyên nhân gốc lõi.

VÍ DỤ Mã phân loại khác nhau cho sản phẩm X có thể bị lặp lại tại công ty A và B. Thông qua phân tích nguyên nhân, cho thấy công ty A sử dụng UNSPSC phiên bản 10 trong khi công ty B sử dụng phiên bản 11. Để giải quyết gốc lõi vấn đề, công ty A phải cập nhật lên phiên bản 11.

D.10. Hiệu chỉnh lỗi dữ liệu

Kỹ thuật viên dữ liệu phải hiệu chỉnh bất kỳ lỗi dữ liệu nào tìm thấy trong khi thực hiện quá trình đo lường chất lượng dữ liệu. Tuy nhiên, dữ liệu có thể tồn tại ở nhiều hệ thống thông tin khác nhau, hay nó có dữ liệu liên quan có thể tồn tại nhiều nơi. Do đó, kỹ thuật viên dữ liệu phải hiệu chỉnh tất cả dữ liệu có liên quan.

...

...

...

THƯ MỤC TÀI LIỆU THAM KHẢO

[1]TCVN 10249-100:2013 (ISO/TS 8000-100:2009) Chất lượng dữ liệu - Phần 100: Dữ liệu cái - Trao đổi dữ liệu đặc trưng - Tổng quan.

[2] TCVN ISO 9000:2007 (ISO 9000:2005), Hệ thống quản lý chất lượng -Cơ sở và từ vựng.

[3] TCVN ISO 9001:2008 (ISO 9001:2008), Hệ thống quản lý chất lượng - Các yêu cầu.

[4] ISO 10303-1, Industrial automation systems and integration - Product data representation and

exchange - Part 1: Overview and fundamental principles

[5] ISO/IEC 8824-1, lnformation technology - Abstract Syntax Notation One (ASN.1) - Part 1: Specification of basic notation

[6] IEE std 1320.1-1998, Standard for functional modelling language - Syntax and semantics for IDEF0.

...

...

...

MỤC LỤC

Lời nói đầu

1. Phạm vi áp dụng

2. Tài liệu viện dẫn

3. Thuật ngữ, định nghĩa và thuật ngữ viết tắt

4. Nguyên tắc cơ bản của quản lý chất lượng dữ liệu cái           

5. Yêu cầu

6. Sự phù hợp

...

...

...

Phụ lục B (tham khảo) Khung quản lý chất lượng dữ liệu cái

Phụ lục C (tham khảo) Mô hình căn bản cho khung

Phụ lục D (tham khảo) Ví dụ kịch bản nghiệp vụ cho khung

Thư mục tài liệu tham khảo

Tiêu chuẩn quốc gia TCVN 10249-150:2013 (ISO/TS 8000-150:2011) về Chất lượng dữ liệu: Phần 150: Dữ liệu cái: Khung quản lý chất lượng