Hình 1 - Quan hệ giữa các loại phép đánh giá

Các phép đánh giá trong có thể được áp dụng cho sản phẩm phần mềm không chạy được trong các giai đoạn phát triển của nó (như yêu cầu cho đề xuất, định nghĩa các yêu cầu, đặc điểm kỹ thuật thiết kế hay mã nguồn). Các phép đánh giá trong cung cấp cho người sử dụng khả năng đo chất lượng các thực hiện trung gian và do đó dự báo chất lượng của sản phẩm cuối cùng. Điều này cho phép người sử dụng nhận biết các vấn đề chất lượng và bắt đầu hoạt động hiệu chỉnh càng sớm càng tốt trong vòng đời phát triển.

Các phép đánh giá ngoài có thể được sử dụng để đo chất lượng sản phẩm phần mềm bằng cách đo hoạt động của hệ thống mà phần mềm là một phần của nó. Các phép đánh giá ngoài chỉ có thể được sử dụng trong các giai đoạn kiểm tra của quá trình vòng đời và trong bất cứ giai đoạn vận hành nào. Quá trình đo được tạo lập khi thực hiện sản phẩm phần mềm trong môi trường hệ thống mà nó được dự kiến vận hành.

Các phép đánh giá sử dụng đo sản phẩm có đáp ứng các yêu cầu của người sử dụng xác định đạt được các mục đích xác định với tính hiệu quả, năng suất, độ an toàn và sự thỏa mãn trong các ngữ cảnh sử dụng xác định hay không. Điều này chỉ có thể đạt được trong môi trường hệ thống thực tiễn.

Các nhu cầu chất lượng người sử dụng có thể được xác định như các yêu cầu chất lượng bởi các phép đánh giá khi sử dụng, bởi các phép đánh giá ngoài, và thỉnh thoảng bằng các phép đánh giá trong. Các yêu cầu này được xác định bởi các phép đo phải được sử dụng như tiêu chuẩn khi sản phẩm được đánh giá.

Khuyến nghị sử dụng các phép đánh giá trong có mối quan hệ càng mạnh càng tốt với các phép đánh giá ngoài mục tiêu sao cho chúng có thể được sử dụng dự báo các giá trị của các phép đánh giá ngoài. Tuy nhiên, thường khó thiết kế mô hình lý thuyết chặt chẽ cung cấp mối quan hệ mạnh giữa các phép đánh giá trong và các phép đánh giá ngoài. Do đó, mô hình giả thuyết có thể chứa các yếu tố mập mờ có thể được thiết kế và phát triển của quan hệ có thể được mô hình hóa thống kê trong quá trình sử dụng các phép đánh giá.

Các khuyến nghị và yêu cầu liên quan đến tính xác nhận và tin cậy được đưa ra trong ISO/IEC 9126-1, Phụ lục A.4. Các xem xét chi tiết bổ sung khi sử dụng các phép đánh giá được đưa ra trong Phụ lục A của Tiêu chuẩn.

6. Đọc và sử dụng các bảng phép đánh giá

Các phép đánh giá trong điều 7 được phân loại theo các đặc tính và các đặc tính nhỏ trong ISO/IEC 9126-1. Các thông tin sau được đưa ra cho từng phép đánh giá trong bảng:

...

...

...

b) Mục đích của phép đánh giá: Được biểu diễn như câu hỏi cần trả lời bởi ứng dụng của phép đánh giá

c) Phương pháp áp dụng: Cung cấp các nét chính của áp dụng.

d) Phép đo, công thức và tính toán các thành phần dữ liệu: Cung cấp công thức đo và giải thích ý nghĩa các thành phần dữ liệu sử dụng.

CHÚ THÍCH: Trong mội số trường hợp nhiều hơn một công thức được đề xuất cho phép đánh giá.

e) Chuyển đổi giá trị đo: Cung cấp dải và các giá trị được ưu tiên

f) Loại thang đánh giá: Loại thang được sử dụng bởi phép đánh giá. Các loại thang sử dụng là Thang danh nghĩa, Thang thứ tự, Thang khoảng cách, Thang tỷ lệ và Thang tuyệt đối.

CHÚ THÍCH: Giải thích chi tiết trong Phụ lục C.

g) Loại hệ đo: Các loại được sử dụng là Loại kích thước (như kích cỡ chức năng, kích cỡ nguồn), Loại thời gian (như thời gian trôi qua, thời gian người sử dụng), Loại đếm (như số lượng các thay đổi, số lượng các sự cố).

CHÚ THÍCH: Giải thích chi tiết trong Phụ lục C.

...

...

...

i) Tham chiếu ISO/IEC 12207 SLCP: Xác định quá trình vòng đời sản phẩm các phép đánh giá được áp dụng.

j) Đối tượng sử dụng: Xác định người sử dụng các kết quả đo.

7. Bảng các phép đánh giá

Các phép đánh giá đưa ra trong mục này không tham vọng là bộ đầy đủ mọi khía cạnh và có thể chưa được xác nhận. Chúng được đưa ra theo các đặc tính và các đặc tính nhỏ của chất lượng phần mềm, theo thứ tự được trình bày trong ISO/IEC 9126-1.

Các phép đánh giá, có thể có khả năng áp dụng, không giới hạn trong danh sách liệt kê này. Các phép đánh giá cụ thể bổ sung cho các mục đích riêng được cung cấp trong các tài liệu liên quan khác, như đo kích cỡ chức năng hoặc đo tính hiệu quả thời gian chính xác.

CHÚ THÍCH: Khuyến nghị xem xét phép đánh giá hoặc phép đo cụ thể từ các tiêu chuẩn cụ thể, các báo cáo kỹ thuật hoặc hướng dẫn. Đo kích cỡ chức năng được định nghĩa trong ISO/IEC 14143. Ví dụ đo tính hiệu quả thời gian chính xác có thể xem trong ISO/IEC 14756.

Các phép đánh giá phải được xác nhận trước khi áp dụng trong môi trường cụ thể (xem Phụ lục A).

CHÚ THÍCH: Danh sách các phép đánh giá này chưa phải đã kết thúc, và có thể sẽ được chỉnh sửa trong các phiên bản tương lai của Tiêu chuẩn này.

7.1. Các phép đánh giá chức năng

...

...

...

a) Sự khác nhau giữa các kết quả đã được thực hiện thực tế và đặc tả yêu cầu chất lượng;

CHÚ THÍCH : Đặc tả yêu cầu chất lượng cho tính chức năng thông thường được mô tả như yêu cầu trong đặc tả.

b) Sự không thỏa đáng phát hiện trong vận hành thực tế của người sử dụng không được công bố nhưng được hàm ý như một yêu cầu trong đặc tả.

CHÚ THÍCH: Khi các vận hành hoặc các chức năng hàm ý được phát hiện, chúng phải được cân nhắc, chấp thuận và công bố trong đặc tả. Mở rộng được thực hiện của chúng phải được đồng thuận.

7.1.1. Các phép đánh giá tính phù hợp

Phép đánh giá tính phù hợp ngoài phải có khả năng đo thuộc tính như sự xuất hiện của chức năng không thỏa mãn hoặc sự xuất hiện của vận hành không thỏa mãn trong quá trình kiểm tra và vận hành của người sử dụng của hệ thống.

Chức năng hoặc vận hành không thỏa mãn có thể là :

a) Các chức năng và vận hành không hoạt động như trong hướng dẫn sử dụng hoặc đặc tả yêu cầu.

b) Các chức năng và vận hành không đưa ra kết quả hợp lý và chấp nhận được để đạt được mục tiêu cụ thể đã định của nhiệm vụ người sử dụng.

...

...

...

Các phép đánh giá tính phù hợp ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

...

...

...

Đối tượng sử dụng

Tính đầy đủ chức năng

Các chức năng được đánh giá được đáp ứng đầy đủ như thế nào?

So sánh số lượng các chức năng thực hiện các nhiệm vụ xác định và số lượng các chức năng được đánh giá

X = 1 - A/B

A= Số lượng các chức năng có lỗi phát hiện khi đánh giá

B= Số lượng các chức năng được đánh giá

0<=X<=1

Càng gần 1.0 thì càng được thỏa mãn

...

...

...

X = Số đếm/Số đếm

A = Số đếm

B= Số đếm

Đặc tả yêu cầu

Báo cáo đánh giá

6.5 Xác nhận

6.3 Đảm bảo chất lượng

5.3 Kiểm tra chất lượng

Người phát triển

...

...

...

SQA

Tính hoàn thiện của triển khai chức năng

Việc triển khai chức năng đối với các đặc tả yêu cầu được hoàn thiện như thế nào?

Thực hiện các kiểm tra chức năng (Kiểm tra kiểu hộp đen) của hệ thống theo các đặc tả yêu cầu.

Đếm số lượng các chức năng bị thiếu được phát hiện trong quá trình đánh giá và so sánh với số lượng các chức năng được mô tả trong đặc tả yêu cầu.

X = 1 - A/B

A = Số lượng các chức năng bị thiếu được phát hiện trong quá trình đánh giá

B = Số lượng các chức năng được mô tả trong đặc tả yêu cầu

0<=X<=1

...

...

...

Tuyệt đối

A = Số đếm

B= Số đếm

X = Số đếm/Số đếm

Đặc tả yêu cầu

Báo cáo đánh giá

6.5 Xác nhận

6.3 Đảm bảo chất lượng

5.3 Kiểm tra chất lượng

...

...

...

SQA

CHÚ THÍCH:

1. Đầu vào quá trình đánh giá là đặc tả yêu cầu cập nhật. Bất kỳ thay đổi nào được xác định trong vòng đời phải được áp dụng cho các đặc tả yêu cầu trước khi sử dụng trong quá trình đo.

2. Phép đánh giá này được đề xuất như một sử dụng thực nghiệm.

CHÚ THÍCH: Bất cứ chức năng bị thiếu nào cũng không thể kiểm tra bằng các phép đánh giá bởi vì nó không được thực hiện. Để phát hiện chức năng bị thiếu, chúng ta đề xuất rằng mỗi chức năng được ghi trong chức năng yêu cầu được kiểm tra lần lượt trong quá trình đánh giá chức năng. Các kết quả như vậy trở thành đầu vào cho phép đánh giá "Tính hoàn thiện triển khai chức năng". Đối với các chức năng được thực hiện nhưng không đầy đủ phát hiện được, thì đề xuất rằng mỗi chức năng được kiểm tra cho nhiều nhiệm vụ đặc tả. Các kết quả này trở thành đầu vào cho phép đánh giá "Tính đầy đủ chức năng'. Do đó, các người sử dụng các phép đánh giá được đề nghị sẽ sử dụng cả hai phép đánh giá trong quá trình đánh giá chức năng.

Mức độ bao phủ của triển khai chức năng

Việc triển khai chức năng chính xác đến mức nào?

Thực hiện các bài kiểm tra chức năng (kiểm tra kiểu hộp đen) của hệ thống theo các đặc tả yêu cầu.

...

...

...

X=1- A/B

A= Số lượng các chức năng triển khai không đúng hoặc chức năng bị thiếu được phát hiện trong quá trình đánh giá.

B= Số lượng các chức năng được mô tả trong đặc tả yêu cầu

0<=X<=1

Càng gần 1.0 càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

...

...

...

Báo cáo đánh giá

6.5 Xác nhận

6.3 Đảm bảo chất lượng

5.3 Kiểm tra chất lượng

Người phát triển

SQA

CHÚ THÍCH:

1. Đầu vào quá trình đánh giá là đặc tả yêu cầu cập nhật. Bất kỳ thay đổi nào được xác định trong vòng đời phải được áp dụng cho các đặc tả yêu cầu trước khi sử dụng trong quá trình đo.

...

...

...

Tính ổn định đặc tính chức năng (tính không ổn định)

Các đặc tính chức năng ổn định như thế nào sau khi đi vào hoạt động

Đếm số lượng các chức năng được mô tả trong đặc tính chức năng bị thay đổi sau khi hệ thống đi vào hoạt động và so sánh với tổng số lượng các chức năng được mô tả trong đặc tả yêu cầu

X=1- A/B

A= Số lượng các chức năng bị thay đổi khi đi vào hoạt động bắt đầu từ khi hoạt động

B = Số lượng chức năng được mô tả trong đặc tả yêu cầu

0<=X<=1

X Càng gần 1.0 càng tốt

Tuyệt đối

...

...

...

B = Số đếm

X = Số đếm/Kích cỡ

Đặc tả yêu cầu

Báo cáo đánh giá

6.8 Giải quyết vấn đề

5.4 Vận hành

Người phát triển

SQA

...

...

...

7.1.2  Các phép đánh giá tính chính xác

Phép đánh giá tính chính xác ngoài phải có khả năng đo thuộc tính như tần suất của người sử dụng gặp phải sự xuất hiện của các sự kiện không chính xác bao gồm:

a) Kết quả không đúng hoặc không chính xác gây ra bởi dữ liệu không thỏa đáng; ví dụ, dữ liệu với quá ít chữ số có nghĩa cho tính toán đúng.

b) Trái ngược giữa các thủ tục vận hành thực tế và các mô tả trong hướng dẫn vận hành.

c) Khác nhau giữa các kết quả thực tế và kết quả mong đợi hợp lý của các nhiệm vụ thực hiện trong quá trình vận hành.

Bảng 2 - Bảng các phép đánh giá tính chính xác

Các phép đánh giá tính chính xác ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

...

...

...

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Độ chính xác mong đợi

Sự khác nhau giữa các kết quả thực và các kết quả mong đợi hợp lý có chấp nhận được không?

...

...

...

Đếm số trường hợp bắt gặp bởi người sử dụng với sự khác biệt không thể chấp nhận được với các kết quả mong đợi hợp lý

X = A/T

A = Số trường hợp bắt gặp bởi người sử dụng mà khác biệt với kết quả mong đợi lớn hơn giới hạn cho phép

T = Thời gian thực hiện

0<=X

Càng gần bằng 0 càng tốt

Tỷ lệ

A = Số đếm

T = Thời gian

...

...

...

Đặc tả yêu cầu

Hướng dẫn sử dụng

Ý kiến sử dụng

Báo cáo kiểm tra

6.5 Xác nhận

6.3 Đảm bảo chất lượng

Người phát triển

Người sử dụng

CHÚ THÍCH: Các kết quả mong đợi hợp lý có thể được xác định trong đặc tả yêu cầu, hướng dẫn sử dụng, hoặc là giá trị mong muốn của người sử dụng.

...

...

...

Người sử dụng cuối thường gặp phải các kết quả không chính xác như thế nào?

Ghi nhận số lượng các tính toán không chính xác dựa trên các đặc tính

X = A/T

A = Số các tính toán không chính xác người sử dụng gặp phải

T = Thời gian thực hiện

0<=X

X càng gần 0 càng tốt

Tỷ lệ

A = Số đếm

...

...

...

X = Số đếm/Thời gian

Đặc tả yêu cầu

Báo cáo kiểm tra

6.5 Xác nhận

6.3 Đảm bảo chất lượng

Người phát triển

Người sử dụng

Độ chính xác

Người sử dụng cuối thường gặp phải các kết quả với độ chính xác không thỏa mãn như thế nào?

...

...

...

X = A/T

A = Số các kết quả người sử dụng gặp phải với độ chính xác khác với yêu cầu

T = Thời gian thực hiện

0<=X

X càng gần 0 càng tốt

Tỷ lệ

A = Số đếm

T = Thời gian

X = Số đếm/Thời gian

...

...

...

Báo cáo kiểm tra

6.5 Xác nhận

6.3 Đảm bảo chất lượng

Người phát triển

Người sử dụng

CHÚ THÍCH: Các thành phần dữ liệu cho tính toán của các phép đánh giá ngoài được thiết kế sử dụng thông tin có thể truy cập từ ngoài, vì rằng như vậy sẽ thuận tiện cho người sử dụng cuối, các nhà khai thác, người bảo trì hoặc người mua hàng sử dụng các phép đo ngoài. Do đó, phép đo trên cơ sở thời gian sẽ thường xuất hiện trong các phép đánh giá ngoài và nó sẽ khác với các phép đánh giá trong.

7.1.3. Các phép đánh giá khả năng tương tác

Phép đánh giá khả năng tương tác ngoài phải có khả năng đo thuộc tính như số lượng các chức năng hoặc sự xuất hiện tính kém liên hệ bao gồm dữ liệu và lệnh, mà chúng được truyền tải trước đó giữa sản phẩm phần mềm và các hệ thống khác, các sản phẩm phần mềm khác, hoặc thiết bị được kết nối.

...

...

...

Các phép đánh giá khả năng tương tác ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

...

...

...

Đối tượng sử dụng

Khả năng trao đổi dữ liệu (Dựa trên định dạng dữ liệu)

Các chức năng giao diện trao đổi cho dữ liệu xác định chuyển giữa các hoạt động được thực hiện chính xác như thế nào?

Kiểm tra mỗi định dạng bản ghi đầu ra của chức năng giao diện đường xuống của hệ thống theo các đặc tính trường dữ liệu.

Đếm số định dạng dữ liệu được chấp thuận để trao đổi với phần mềm hoặc hệ thống khác trong quá trình kiểm tra trao đổi dữ liệu so với tổng số.

X = A/B

A = Số lượng định dạng dữ liệu được chấp thuận trao đổi thành công với phần mềm hệ thống khác trong quá trình kiểm tra trao đổi dữ liệu.

B = Tổng số định dạng dữ liệu được trao đổi

0<=X<=1

...

...

...

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Đặc tả yêu cầu (Hướng dẫn sử dụng)

Báo cáo kiểm tra

6.5 Xác nhận

Người phát triển

...

...

...

Khả năng trao đổi dữ liệu (Dựa vào cố gắng thực hiện thành công của người sử dụng)

Người sử dụng thường trao đổi dữ liệu thất bại giữa phần mềm đích và phần mềm khác như thế nào?

Truyền dữ liệu giữa phần mềm đích và phần mềm khác thường thành công như thế nào?

Liệu người sử dụng có thường thành công trong trao đổi dữ liệu không

Đếm số trường hợp chức năng giao diện được sử dụng và bị lỗi.

a) X = 1 - A/B

A = Số trường hợp người sử dụng thất bại khi truyền dữ liệu với phần mềm hoặc hệ thống khác

B = Số trường hợp người sử dụng cố gắng trao đổi dữ liệu

b) Y = A/T

...

...

...

0<=X<=1

Càng gần bằng 1.0 càng tốt

...

...

...

0<=Y

Càng gần bằng 0 càng tốt

a) Tuyệt đối

b) Tuyệt đối

A = Số đếm

...

...

...

X = Số đếm/Số đếm

Y = Số đếm/Thời gian

T = Thời gian

Đặc tả yêu cầu (Hướng dẫn sử dụng)

Báo cáo kiểm tra

5.4 Vận hành

Người bảo trì

7.1.4. Các phép đánh giá tính an toàn

...

...

...

a) Thất bại ngăn chặn lỗ hổng của thông tin hay dữ liệu cần bảo vệ;

b) Thất bại ngăn chặn mất dữ liệu quan trọng;

c) Thất bại bảo vệ chống lại truy cập bất hợp pháp hay vận hành bất hợp pháp.

CHÚ THÍCH:

1. Khuyến nghị các kiểm tra thâm nhập được thực hiện để mô phỏng tấn công, vì rằng tấn công an toàn như vậy không thường xuyên xảy ra trong các quá trình kiểm tra thông thường. Các phép đánh giá an toàn thực tế có thể chỉ được tạo ra trong "môi trường hệ thống thực tế", là "chất lượng sử dụng”.

2. Các yêu cầu bảo vệ an toàn thay đổi rộng từ trường hợp hệ thống độc lập đến trường hợp hệ thống kết nối với Internet. Việc xác định tính chức năng yêu cầu và bảo đảm tính hiệu quả của chúng đã được trình bày kỹ trong các tiêu chuẩn liên quan. Người sử dụng tiêu chuẩn này phải xác định các chức năng an toàn sử dụng các phương pháp và tiêu chuẩn thích đáng trong các trường hợp mà ảnh hưởng của của bất kỳ hỏng hóc nào gây ra đều quan trọng hoặc có tính quyết định. Trong các trường hợp khác người sử dụng có thể giới hạn phạm vi của mình để chấp nhận các phép đo bảo vệ "Công nghệ thông tin" nói chung như các phương pháp dự phòng bảo vệ virus và quản lý truy cập.

Bảng 4 - Bảng các phép đánh giá tính an toàn

Các phép đánh giá tính an toàn ngoài

Tên phép đánh giá

...

...

...

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Khả năng kiểm toán truy cập

...

...

...

Đánh giá lượng truy cập được hệ thống ghi lại trong cơ sở dữ liệu lược sử truy cập.

X = A/B

A = Số lượng "người sử dụng truy cập vào hệ thống và dữ liệu" được ghi trong cơ sở dữ liệu lược sử truy cập

B = Số lượng "người sử dụng truy cập vào hệ thống và dữ liệu" được thực hiện trong quá trình đánh giá

0<=X<=1

Càng gần 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

...

...

...

Đặc tả yêu cầu

Báo cáo kiểm tra

6.5 Xác nhận

Người phát triển

CHÚ THÍCH:

1 Các truy nhập vào dữ liệu có thể được đo chỉ với các hoạt động kiểm tra.

2. Đánh giá này được đề xuất như một sử dụng thực nghiệm.

3. Khuyến nghị việc kiểm tra xâm nhập nên được thực hiện để mô phỏng các tấn công, vì các tấn công an toàn như vậy có thể không xảy ra trong quá trình kiểm tra thông thường. Các đánh giá an toàn thực tế có thể chỉ được thực hiện trong “môi trường hệ thống thực tế", nó chính là “chất lượng sử dụng".

4. Bản ghi "truy cập của người sử dụng vào hệ thống và dữ liệu” có thể bao gồm “bản ghi phát hiện virus’ cho việc bảo vệ virus. Mục đích của khái niệm bảo vệ virus là tạo ra các bảo vệ hợp lý mà với chúng sự xuất hiện của các virus máy tính có thể được ngăn chặn hoặc phát hiện càng sớm càng tốt.

...

...

...

Tuần sát của các sự kiện sai lạc dữ liệu là bao nhiêu?

Đếm sự xuất hiện của các sự kiện sai lạc dữ liệu lớn và nhỏ

a) X = 1 -A/N

A = Số lần sự kiện sai lạc dữ liệu lớn xảy ra

N = Số trường hợp kiểm tra chuẩn cố gắng gây ra sai lạc dữ liệu

b) Y = 1 - B/N

B = Số lần sự kiện sai lạc dữ liệu nhỏ xảy ra

c) Z = A/T hoặc B/T

T = Khoảng thời gian thực hiện (trong quá trình kiểm tra)

...

...

...

Càng gần bằng 1.0 càng tốt

0<=Y<=1

Càng gần bằng 1.0 càng tốt

0<=Z

Càng gần bằng 0 càng tốt

a) Tuyệt đối

...

...

...

c) Tỷ lệ

T = Thời gian

Z = Số đếm/Thời gian

Đặc tả kiểm tra

Báo cáo kiểm tra

Báo cáo thực hiện

...

...

...

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người bảo trì

Người phát triển

CHÚ THÍCH:

1. Cần quá trình kiểm tra thực hiện khác thường chuyên sâu để đạt được các sự kiện sai lạc dữ liệu lớn và nhỏ.

2. Khuyến nghị phân cấp tác động của các sự kiện sai lạc dữ liệu như các ví dụ sau:

Sự kiện sai lạc dữ liệu lớn (tai họa):

• Không thể sao chép lại và hồi phục lại;

...

...

...

• Tính quan trọng của bản thân dữ liệu.

Sự kiện sai lạc dữ liệu nhỏ:

• Không thể sao chép lại và hồi phục lại và;

• Không có phân loại sai lệch thứ hai;

• Tính quan trọng của bản thân dữ liệu.

3. Các thành phần dữ liệu cho tính toán đánh giá ngoài được thiết kế sử dụng thông tin truy cập từ ngoài, vì rằng nó sẽ thuận tiện cho người sử dụng cuối, các nhà khai thác, bảo trì hay người mua sản phẩm sử dụng các đánh giá ngoài. Do đó, các sự kiện đếm và số lần sử dụng ở đây khác so với đánh giá trong tương ứng.

4. Khuyến nghị rằng các bài kiểm tra thâm nhập được thực hiện để mô phỏng các tấn công, vì rằng các tấn công an toàn như vậy không thường xuất hiện trong các quá trình kiểm tra thông thường. Các phép đánh giá an toàn thực tế chỉ được thực hiện trong "môi trường hệ thống thực", chính là "chất lượng sử dụng”.

5. Phép đánh giá này được đề xuất như một sử dụng thực nghiệm.

6. Dự phòng dữ liệu là một trong những phương pháp ngăn chặn sai lạc dữ liệu. Việc tạo ra dự phòng đảm bảo dữ liệu cần thiết có thể được lưu trữ nhanh chóng trong khi một phần của dữ liệu đang sử dụng bị mất. Tuy nhiên, dự phòng dữ liệu chỉ liên quan như một phần của toàn bộ các phép đánh giá tính tin cậy trong tài liệu này.

...

...

...

7.1.5. Các phép đánh giá tuân thủ của tính năng

Phép đánh giá tuân thủ tính năng ngoài phải có khả năng đo thuộc tính như số lượng chức năng cùng với, hoặc sự xuất hiện của các vấn đề tuân thủ, mà sản phẩm phần mềm không tôn trọng triệt để với các tiêu chuẩn, quy ước, hợp đồng hoặc các yêu cầu quy định khác.

Bảng 5 - Bảng các phép đánh giá tuân thủ của tính năng

Các phép đánh giá tuân thủ của tính năng ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

...

...

...

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Tuân thủ của tính năng

Tính năng của sản phẩm tuân thủ quy định, tiêu chuẩn, quy ước áp dụng như thế nào?

Đếm số điều khoản yêu cầu tuân thủ đã được đáp ứng và so sánh với điều khoản yêu cầu tuân thủ trong đặc tả. Thiết kế các bài kiểm tra tương ứng với các điều khoản tuân thủ.

Thực hiện quá trình kiểm tra chức năng cho các bài kiểm tra này.

Đếm số điều khoản tuân thủ đã được thỏa mãn.

...

...

...

A = Số các điều khoản chức năng chưa được thực hiện trong quá trình kiểm tra

B = Tổng số điều khoản tuân thủ tính năng được xác định

0<=X<=1

Càng gần bằng 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Mô tả sản phẩm (Hướng dẫn sử dụng hoặc Đặc tả) của tuân thủ và các tiêu chuẩn, quy ước, hoặc quy định liên quan

...

...

...

5.3 Kiểm tra chất lượng

6.5 Xác nhận

Người cung cấp

Người sử dụng

CHÚ THÍCH:

1. Có thể là có ích nếu như thu thập các giá trị đo được theo thời gian, để phân tích xu hướng gia tăng các điều khoản tuân thủ thỏa mãn hay không.

2. Đề xuất nên đếm số các lỗi, vì rằng việc phát hiện vấn đề là mục tiêu của quá trình kiểm tra có hiệu quả và nó cũng thích hợp cho quá trình đếm và ghi nhận.

Tuân thủ tiêu chuẩn giao nhận

Các giao diện tuân thủ các quy định, tiêu chuẩn và quy ước áp dụng như thế nào?

...

...

...

CHÚ THÍCH: Tất cả các thuộc tính xác định của tiêu chuẩn phải được kiểm tra.

X = A/B

A = Số lượng giao diện được triển khai chính xác như đã xác định

B = Tổng số giao diện yêu cầu tuân thủ

0<=X<=1

Càng gần bằng 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

...

...

...

Mô tả sản phẩm theo tính tuân thủ và các tiêu chuẩn, quy ước, hoặc quy định

Đặc tả và báo cáo kiểm tra

6.5 Xác nhận

Người phát triển

7.2. Các phép đánh giá tính tin cậy

Phép đánh giá tính tin cậy ngoài phải có khả năng đo các thuộc tính liên quan tới hoạt động của hệ thống mà phần mềm là một phần của nó trong quá trình thực hiện kiểm tra để chỉ ra khả năng của tính tin cậy của phần mềm trong hệ thống trong suốt quá trình vận hành. Các hệ thống và phần mềm không phân biệt với nhau trong phần lớn trường hợp.

7.2.1. Các phép đánh giá tính kỹ lưỡng

Phép đánh giá tính kỹ lưỡng ngoài phải có khả năng đo các thuộc tính như phần mềm không gặp sự cố gây ra bởi lỗi tồn tại trong chính bản thân phần mềm.

Bảng 6 - Bảng các phép đánh giá tính kỹ lưỡng

...

...

...

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

...

...

...

Ước lượng mật độ lỗi tiềm tàng

Có bao nhiêu vấn đề vẫn tồn tại có thể xảy ra như các lỗi tương lai?

Đếm số lượng các lỗi được phát hiện trong giai đoạn thử nghiệm xác định và dự báo số lượng tiềm tàng các lỗi tương lai sử dụng mô hình ước lượng tăng tính tin cậy

X = {ABS(A1-A2)}/B

(X = Mật độ lỗi tiềm tàng còn lại được ước lượng)

ABS()= Giá trị tuyệt đối

A1= Số lượng tổng các lỗi tiềm tàng được dự báo trong sản phẩm phần mềm

A2= Tổng số lỗi phát hiện được trong thực tế

B= Kích cỡ sản phẩm

...

...

...

Phụ thuộc vào giai đoạn kiểm tra.

Càng về giai đoạn cuối, các giá trị càng nhỏ càng tốt

Tuyệt đối

A1 = Số đếm

A2 = Số đếm

B = Kích thước

X = Số đếm/Kích thước

Báo cáo kiểm tra

Báo cáo khai thác

...

...

...

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Vận hành

6.5 Xác nhận

6.3 Đảm bảo chất lượng

Người phát triển

Người kiểm tra

...

...

...

Người sử dụng

CHÚ THÍCH:

1. Khi tổng số các lỗi phát hiện được thực tế lớn hơn tổng số lỗi tiềm tàng dự báo, thì khuyến nghị dự báo lại và ước lượng số lớn hơn. Các số được ước lượng lớn hơn được dự định để dự báo các lỗi tiềm tàng hợp lý, nhưng không làm cho sản phẩm tốt hơn.

2. Khuyến nghị sử dụng một số các mô hình ước lượng tăng tính tin cậy và chọn mô hình thích hợp nhất và lặp lại dự báo với các lỗi phát hiện được giám sát.

3. Sẽ có ích nếu dự báo giới hạn trên và dưới của các lỗi tiềm tàng.

4. Cần phải chuyển đổi giá trị (X) vào đoạn <0,1> nếu thực hiện tổng kết các đặc trưng.

Mật độ lỗi đối chiếu với các trường hợp kiểm tra chuẩn

Có bao nhiêu lỗi được phát hiện trong giai đoạn thử nghiệm xác định?

...

...

...

X = A1/A2

A1 = Số lượng các lỗi được phát hiện

A2 = Số lượng các trường hợp kiểm tra chuẩn được thực hiện

0<=X

Phụ thuộc vào giai đoạn kiểm tra.

Càng về giai đoạn cuối, các giá trị càng nhỏ càng tốt.

Tuyệt đối

A1 = Số đếm

A2 = Số đếm

...

...

...

X = Số đếm/Kích thước

Báo cáo kiểm tra

Báo cáo khai thác

Báo cáo các vấn đề

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Khai thác

6.5 Xác nhận

6.3 Đảm bảo chất lượng

...

...

...

Người kiểm tra

SQA

CHÚ THÍCH:

1. Càng lớn càng tốt trong các giai đoạn đầu của quá trình kiểm tra. Ngược lại, càng bé càng tốt trong các giai đoạn sau của quá trình kiểm tra hoặc vận hành. Khuyến nghị giám sát xu hướng của phép đo này theo thời gian.

2. Phép đánh giá này phụ thuộc vào sự đầy đủ của các trường hợp kiểm tra chuẩn sao cho chúng phải được thiết kế bao hàm các trường hợp thích hợp, tức là các trường hợp bình thường, ngoại lệ và không bình thường.

3. Cần phải chuyển đổi giá trị (X) vào đoạn <0,1> nếu thực hiện tổng kết các đặc trưng.

Giải quyết lỗi

...

...

...

Đếm số lượng các lỗi không xuất hiện lại trong giai đoạn thử nghiệm xác định dưới các điều kiện tương tự nhau.

Duy trì báo cáo giải quyết các vấn đề mô tả tình trạng của tất cả các lỗi.

X = A1/A2

A1 = Số lượng các lỗi được giải quyết

A2 = Tổng số các lỗi được phát hiện trong thực tế

0<=X<=1

Càng tiến tới 1.0 càng tốt, vì càng có nhiều lỗi được giải quyết.

Tuyệt đối

A1 = Số đếm

...

...

...

A3 = Số đếm

X = Số đếm/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành (kiểm tra)

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

...

...

...

Người bảo trì

CHÚ THÍCH:

1. Khuyến nghị giám sát xu hướng khi sử dụng phép đo này.

2. Tổng số lỗi tiềm tàng dự báo có thể được ước lượng sử dụng các mô hình tăng tính tin cậy được điều chỉnh với dữ liệu quá khứ thực tế liên quan với sản phẩm phần mềm tương tự. Trong trường hợp như vậy, số lượng của các lỗi thực tế và dự báo có thể so sánh được và số lượng lỗi chưa được giải quyết còn lại có thể đo được.

Mật độ lỗi

Có bao nhiêu lỗi được phát hiện trong giai đoạn thử nghiệm xác định?

...

...

...

X = A/B

A1 = Số lượng các lỗi được phát hiện

B = Kích thước sản phẩm

0<=X

Phụ thuộc vào giai đoạn kiểm thử.

Càng về giai đoạn cuối, các giá trị càng nhỏ càng tốt.

Tuyệt đối

A = Số đếm

B = Kích thước

...

...

...

Báo cáo kiểm tra

Báo cáo vận hành

Báo cáo các vấn đề

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Vận hành

6.3 Đảm bảo chất lượng

Người phát triển

...

...

...

SQA

CHÚ THÍCH

1. Càng lớn càng tốt, trong giai đoạn đầu của quá trình kiểm tra. Ngược lại, càng nhỏ càng tốt trong giai đoạn sau của quá trình kiểm tra hoặc vận hành. Khuyến nghị giám sát xu hướng của phép đo theo thời gian.

2. Số lượng các lỗi được phát hiện chia cho số lượng các trường hợp kiểm tra chuẩn chỉ thị tính hiệu quả của các trường hợp kiểm tra chuẩn.

3. Cần phải chuyển đổi giá trị (X) vào đoạn <0,1> nếu thực hiện tổng kết các đặc trưng.

4. Khi đếm số lỗi, chú ý các điểm sau:

- Có khả năng bị lặp, vì rằng nhiều báo cáo có thể cùng một lỗi như các báo cáo khác;

- Có khả năng có các trường hợp không phải lỗi, vì rằng người sử dụng hoặc người kiểm tra có thể không xác định được các vấn đề của họ là lỗi vận hành, lỗi môi trường hay lỗi phần mềm

...

...

...

Có bao nhiêu lỗi đã được chỉnh sửa?

Đếm số lượng các lỗi được loại bỏ trong quá trình kiểm thử và so sánh với tổng số lỗi được phát hiện và tổng số lỗi được dự báo

a) X = A1/A2

A1 = Số lượng các lỗi được chỉnh sửa

A2 = Tổng số lỗi được phát hiện thực tế

b) Y = A1/A3

A3 = Tổng số lỗi tiềm tàng được dự báo trong sản phẩm phần mềm

0<=X<=1

Càng tiến tới 1.0 càng tốt vì càng có ít lỗi còn tồn tại.

...

...

...

Càng tiến tới 1.0 càng tốt vì càng có ít lỗi còn tồn tại.

a) Tuyệt đối

b) Tuyệt đối

A1 = Số đếm

...

...

...

A3 = Số đếm

X = Số đếm/Số đếm

Y = Số đếm/Số đếm

Báo cáo kiểm tra

Cơ sở dữ liệu của tổ chức

5.3 Tích hợp

5.3 Kiểm tra chất lượng

6.5 Xác nhận

6.3 Đảm bảo chất lượng

...

...

...

SQA

Người bảo trì

CHÚ THÍCH:

1. Khuyến nghị giám sát xu hướng trong khoảng thời gian xác định..

2. Tổng số lỗi tiềm tàng dự báo có thể được ước lượng sử dụng các mô hình tăng tính tin cậy được điều chỉnh với dữ liệu quá khứ thực tế liên quan với sản phẩm phần mềm tương tự.

...

...

...

Trong trường hợp ngược lại, khi Y<1, điều tra nguyên nhân có ít lỗi hơn số lượng thông thường được phát hiện trong sản phẩm phần mềm hoặc do nguyên nhân quá trình kiểm tra không đủ để phát hiện tất cả các lỗi có khả năng.

4. Cần chuyển đổi giá trị (Y) vào đoạn <0,1> nếu thực hiện tổng kết các đặc tính.

5. Khi đếm số lỗi, chú ý khả năng lặp lại, vì rằng một số báo cáo có thể chứa cùng một lỗi như các báo cáo khác.

Thời gian trung bình giữa các lỗi (MTBF)

Phần mềm thường hay gặp lỗi trong quá trình hoạt động như thế nào?

Đếm số lượng các lỗi xuất hiện trong một giai đoạn nhất định của quá trình hoạt động và tính toán khoảng thời gian trung bình giữa các lỗi.

a) X = T1/A

b) Y = T2/A

T1 = Thời gian hoạt động

...

...

...

A = Tổng số lượng lỗi được phát hiện thực tế (Các lỗi xuất hiện trong thời gian hoạt động được quan sát)

0<X, Y

Càng lớn càng tốt. Vì rằng thời gian mong đợi giữa các lỗi càng dài.

a) Tỷ lệ

b) Tỷ lệ

A = Số đếm

T1 = Thời gian

...

...

...

X = Thời gian/Số đếm

Y = Thời gian/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành (kiểm tra)

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Kiểm tra vận hành

5.4 Vận hành

Người bảo trì

...

...

...

Người sử dụng

CHÚ THÍCH:

1. Các điều tra sau có thể có ích - phân bố khoảng thời gian giữa các xuất hiện lỗi.

- thay đổi thời gian trung bình theo khoảng thời gian hoạt động;

- phân bố chỉ thị chức năng nào xảy ra lỗi thường xuyên và có thường xuyên hoạt động vì sự phụ thuộc của chức năng và sử dụng.

2. Tính toán tỷ lệ lỗi hay tỷ lệ rủi ro có thể được sử dụng như một lựa chọn.

3. Cần chuyển đổi giá trị (Y) vào đoạn <0,1> nếu thực hiện tổng kết các đặc tính.

Tính bao phủ kiểm tra (Tính bao phủ của quá trình kiểm tra trong kịch bản hoạt động xác định)

...

...

...

Đếm số lượng các trường hợp kiểm tra chuẩn được thực hiện trong quá trình kiểm tra và so sánh với số trường hợp kiểm tra chuẩn yêu cầu để đạt được mức bao phủ kiểm tra thích hợp.

X = A/B

A = Số lượng các trường hợp kiểm tra chuẩn được thực hiện thực tế tiêu biểu cho kịch bản hoạt động trong quá trình kiểm tra

B = Số lượng các trường hợp kiểm tra chuẩn cần thực hiện để bao phủ các yêu cầu

0<=X<=1

Càng gần 1.0 tính bao phủ của kiểm tra càng tốt

Tuyệt đối

A = Số đếm

...

...

...

X = Số đếm/Số đếm

Đặc tả yêu cầu

Đặc tả kiểm tra hoặc Hướng dẫn sử dụng

Báo cáo kiểm tra

Báo cáo vận hành

5.3 Kiểm tra chất lượng

6.5 Xác nhận

6.3 Đảm bảo chất lượng

Người phát triển

...

...

...

Người kiểm tra

SQA

CHÚ THÍCH: Các trường hợp kiểm tra chuẩn có thể được chuẩn hóa bằng kích thước phần mềm, tức là, mức bao phủ của mật độ kiểm tra Y=A/C, trong đó C= kích thước của sản phẩm được kiểm tra. Y càng lớn càng tốt. Kich thước có thể là kích thước chức năng mà người sử dụng có thể đo được

Tính kỹ lưỡng của kiểm tra

Liệu sản phẩm đã được kiểm tra cẩn thận?

Đếm số lượng các trường hợp kiểm tra chuẩn thành công đã được thực hiện thực tế và so sánh nó với tổng số lượng các trường hợp kiểm tra chuẩn được hoàn tất cho từng loại yêu cầu.

X = A/B

A = Số lượng các trường hợp kiểm tra chuẩn thành công trong quá trình kiểm tra hay hoạt động.

...

...

...

0<=X<=1

Càng tiến tới 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Đặc tả yêu cầu

Đặc tả kiểm tra hoặc Hướng dẫn sử dụng

Báo cáo kiểm tra

...

...

...

5.3 Kiểm tra chất lượng

6.5 Xác nhận

6.3 Đảm bảo chất lượng

Người phát triển

Người kiểm tra

SQA

CHÚ THÍCH:

...

...

...

Cũng khuyến nghị chắc chắn rằng các loại kiểm tra sau được thực hiện và thành công:

• Kịch bản vận hành của người sử dụng;

• Ứng suất cao điểm;

• Đầu vào dữ liệu quá tải.

2. Các trường hợp kiểm tra chuẩn thành công được chuẩn hóa bằng kích thước phần mềm, tức là: mật độ các trường hợp kiểm tra chuẩn thành công Y=A/C. Trong đó C= Kích thước sản phẩm được kiểm tra.

Y càng lớn càng tốt.

Kích thước có thể là kích thước chức năng người sử dụng có thể đo.

7.2.2. Các phép đánh giá khả năng chịu lỗi

Phép đánh giá khả năng chịu lỗi ngoài phải liên quan đến khả năng phần mềm bảo trì mức hiệu năng nhất định trong các trường hợp lỗi vận hành hoặc vi phạm giao diện xác định của nó.

...

...

...

Các phép đánh giá khả năng chịu lỗi ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

...

...

...

Đối tượng sử dụng

Tránh hỏng hóc

Sản phẩm phần mềm thường xuyên gây ra hỏng hóc cho toàn bộ môi trường sản xuất như thế nào?

Đếm số hỏng hóc xảy ra đối với số lượng lỗi.

Nếu lỗi xảy ra trong quá trình vận hành thì phân tích bản ghi lược sử hoạt động của người sử dụng

X = 1-A/B

A =  Số hỏng hóc

B = Số lỗi

...

...

...

Càng gần bằng 1.0 càng tốt.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành

5.3 Tích hợp

5.3 Kiểm tra chất lượng

...

...

...

Người sử dụng

Người bảo trì

CHÚ THÍCH:

1. Hỏng hóc có nghĩa là việc thực hiện bất kỳ nhiệm vụ nào của người sử dụng bị dừng lại cho đến khi hệ thống được khởi động lại, hoặc điều khiển của nó bị mất cho đến khi hệ thống được tắt cưỡng bức.

2. Khi không có hoặc có một vài lỗi được quan sát thấy, thời gian giữa các hỏng hóc có thể phù hợp hơn.

Tránh lỗi

Có bao nhiêu mẫu lỗi được đặt dưới sự kiểm soát để tránh các lỗi then chốt và nghiêm trọng?

Đếm số lượng mẫu lỗi đã được tránh và so sánh nó với số mẫu lỗi được xem xét.

...

...

...

A = Số lần xuất hiện lỗi then chốt và nghiêm trọng tránh được trong các trường hợp kiểm tra chuẩn của các mẫu lỗi

B = Số trường hợp kiểm tra chuẩn mẫu lỗi được tiến hành (hầu như gây ra lỗi) trong quá trình kiểm tra.

0<=X<=1

Càng gần bằng 1.0 càng tốt, vì người sử dụng có thể tránh được các lỗi then chốt và nghiêm trọng nhiều hơn

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo kiểm tra

...

...

...

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Vận hành

6.5 Xác nhận

Người sử dụng

Người bảo trì

CHÚ THÍCH:

1. Khuyến nghị phân loại các mức tránh lỗi là phần mở rộng của việc giảm nhẹ ảnh hưởng của lỗi, ví dụ như:

...

...

...

- Nghiêm trọng: các chức năng quan trọng không có khả năng hoạt động và không có cách nào khác để hoạt động (cách giải quyết khác);

- Trung bình: phần lớn các chức năng hãy còn hoạt động, nhưng hiệu năng bị giới hạn xảy ra với hoạt động bị giới hạn hoặc có lựa chọn khác (cách giải quyết khác);

- Nhỏ: có một vài chức năng trải qua hiệu năng giới hạn với hoạt động bị giới hạn;

- Không có: không ảnh hưởng tới người sử dụng cuối.

2. Các mức tránh lỗi có thể dựa trên ma trận rủi ro được tạo thành từ tính nghiêm ngặt của kết quả và tần suất xuất hiện được đưa ra trong ISO/IEC 15026 Tích hợp hệ thống và phần mềm.

3. Các ví dụ mẫu lỗi:

- dữ liệu ngoài dải;

- sự bế tắc.

Kỹ thuật phân tích cây lỗi có thể được sử dụng để phát hiện mẫu lỗi.

...

...

...

Tránh vận hành sai

Có bao nhiêu chức năng được thực thi với khả năng tránh vận hành không đúng?

Đếm số các trường hợp kiểm tra chuẩn của vận hành sai đã được tránh gây ra những lỗi then chốt và nghiêm trọng và so sánh nó với số các trường hợp kiểm tra chuẩn đã được thực hiện của các mẫu vận hành sai được xem xét.

X = A/B

A = Số lỗi then chốt và và nghiêm trọng đã được tránh

B = Số trường hợp kiểm tra chuẩn được thực hiện của các mẫu vận hành sai (gần như chắc chắn sẽ tạo lỗi) trong quá trình kiểm tra

0<=X<=1

Càng gần bằng 1.0 càng tốt, vì càng nhiều vận hành sai của người sử dụng được tránh

Tuyệt đối

...

...

...

B = Số đếm

X = Số đếm/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

...

...

...

CHÚ THÍCH:

1. Hỏng dữ liệu cũng được đưa thêm vào lỗi hệ thống.

2. Các mẫu vận hành sai

• Các loại dữ liệu sai như các tham số;

• Thứ tự dữ liệu đầu vào sai;

• Thứ tự vận hành sai.

3. Kỹ thuật phân tích cây lỗi có thể được sử dụng để phát hiện các mẫu vận hành sai.

4. Phép đánh giá này có thể được sử dụng thực nghiệm.

7.2.3. Bảng các phép đánh giá khả năng phục hồi

...

...

...

Bảng 8 - Bảng các phép đánh giá khả năng phục hồi

Các phép đánh giá khả năng phục hồi ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

...

...

...

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Khả năng sẵn sàng

Mức độ sẵn sàng sử dụng của hệ thống trong khoảng thời gian xác định như thế nào?

Hệ thống kiểm tra trong môi trường giống như quá trình sản xuất trong khoảng thời gian xác định thực hiện tất cả các thao tác của người sử dụng.

Đo khoảng thời gian sửa chữa mỗi khi hệ thống không sẵn sàng trong quá trình thử nghiệm.

Tính toán thời gian trung bình để sửa chữa

a) X = {(To/(To+Tr)}

...

...

...

To = Thời gian vận hành

Tr = Thời gian sửa chữa

A1 = Tổng số trường hợp sẵn sàng sử dụng của phần mềm khi sử dụng

A2 = Tổng số trường hợp người sử dụng thử sử dụng phần mềm trong thời gian quan sát. Xuất phát từ quan điểm vận hành chức năng người sử dụng

0<=X<=1

Càng lớn và càng gần 1.0 càng tốt, vì người sử dụng có thể sử dụng phần mềm lâu hơn.

0<=Y<=1

Càng lớn và càng gần 1.0 càng tốt.

(a),(b)

...

...

...

To = Thời gian

Tr = Thời gian

X = Thời gian/Thời gian

A1 = Số đếm

A2 = Số đếm

Y = Số đếm/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành

5.3 Tích hợp

...

...

...

5.4 Vận hành

Người sử dụng

Người bảo trì

CHÚ THÍCH: Khuyến nghị rằng phép đánh giá khả năng phục hồi chỉ bao gồm phục hồi tự động bằng phần mềm và không bao gồm công việc bảo trì của con người.

Thời gian chết trung bình

Thời gian trung bình hệ thống không sẵn sàng khi lỗi xảy ra trước khi khởi động lại từ từ là bao nhiêu?

Đo thời gian chết mỗi lần hệ thống không sẵn sàng trong khoảng thời gian thử nghiệm xác định và tính thời gian trung bình

X = T/N

...

...

...

N = Số lần hỏng hóc quan sát được

Trường hợp xấu nhất và phân bố của thời gian chất cũng phải được đo.

0<X

Càng nhỏ càng tốt, vì thời gian hệ thống chết càng nhỏ hơn.

Tỷ lệ

T = Thời gian

N = Số đếm

X = Thời gian/Số đếm

Báo cáo kiểm tra

...

...

...

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Vận hành

6.5 Xác nhận

Người sử dụng

Người bảo trì

CHÚ THÍCH:

1. Khuyến nghị rằng phép đánh giá khả năng phục hồi chỉ bao gồm phục hồi tự động bằng phần mềm và không bao gồm công việc bảo trì của con người

...

...

...

Thời gian phục hồi trung bình

Thời gian trung bình mà hệ thống hoàn thành việc phục hồi bắt đầu từ giai đoạn đầu của quá trình phục hồi là bao nhiêu?

Đo thời gian phục hồi toàn bộ cho mỗi lần hệ thống có sự cố trong khoảng thời gian thử nghiệm xác định và tính thời gian trung bình.

X = Tổng (T)/B

T = Thời gian phục hồi hệ thống phần mềm bị lỗi tại mỗi thời điểm

N = Số trường hợp hệ thống phần mềm được đưa vào phục hồi quan sát được

0<X

Càng nhỏ càng tốt.

Tỷ lệ

...

...

...

N = Số đếm

X = Thời gian/Số đếm

Báo cáo kiểm tra

Báo cáo vận hành

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Vận hành

6.5 Xác nhận

Người sử dụng

...

...

...

Người bảo trì

CHÚ THÍCH:

1. Khuyến nghị đo thời gian lớn nhất của trường hợp xấu nhất hoặc đo phân bố thời gian phục hồi cho nhiều trường hợp.

2. Khuyến nghị rằng phép đánh giá khả năng phục hồi này chỉ bao gồm phục hồi tự động bằng phần mềm và không bao gồm công việc duy trì của con người.

3. Khuyến nghị phân biệt mức độ khó của phục hồi, ví dụ, phục hồi cơ sở dữ liệu bị phá hủy khó hơn so với phục hồi giao tác bị phá hủy.

4. Cần chuyển đổi giá trị (X) tới đoạn <0,1> nếu tổng kết các đặc tính.

Khả năng khởi động lại

Tần suất hệ thống có thể khởi động lại để cung cấp dịch vụ cho người sử dụng trong một khoảng thời gian yêu cầu là như thế nào?

Đếm số lần hệ thống khởi động lại và cung cấp dịch vụ cho người sử dụng trong khoảng thời gian yêu cầu mục tiêu và so sánh nó với tổng số lần khởi động lại, khi hệ thống có sự cố trong khoảng thời gian thử nghiệm xác định.

...

...

...

A = Số lần khởi động lại đáp ứng khoảng thời gian yêu cầu trong quá trình kiểm tra hoặc hỗ trợ vận hành cho người sử dụng

B = Tổng số lần khởi động lại trong quá trình kiểm tra hoặc hỗ trợ vận hành cho người sử dụng

0<=X<=1

Càng lớn và càng gần 1.0 càng tốt, vì người sử dụng có thể khởi động lại dễ dàng.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo kiểm tra

...

...

...

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Vận hành

6.5 Xác nhận

Người sử dụng

Người bảo trì

CHÚ THÍCH

1. Khuyến nghị ước lượng các thời gian khởi động lại khác nhau nhằm đáp ứng mức nghiêm ngặt của sự cố, như phá hủy cơ sở dữ liệu, mất nhiều tác giao, mất tác giao đơn, hay phá hủy dữ liệu tạm thời.

...

...

...

Khả năng khôi phục lại

Khả năng tự khôi phục lại của sản phẩm sau khi có sự kiện bất thường xảy ra hoặc khi có yêu cầu?

Đếm số lần khôi phục thành công và so sánh với số lần khôi phục được kiểm tra được yêu cầu trong đặc tả.

Các ví dụ về yêu cầu khôi phục: điểm kiểm tra của cơ sở dữ liệu, điểm kiểm tra của các giao dịch, chức năng làm ngược thao tác cũ, chức năng thực hiện lại thao tác cũ,…

X = A/B

A = Số lượng trường hợp khôi phục được thực hiện thành công

B = Số trường hợp khôi phục đã được kiểm tra theo yêu cầu

0<=X<=1

Càng gần bằng 1.0 càng tốt, vì sản phẩm có khả năng phục hồi tốt hơn trong các trường hợp xác định

...

...

...

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Đặc tả yêu cầu

Đặc tả kiểm tra hay Hướng dẫn sử dụng

Báo cáo kiểm tra

Báo cáo vận hành

5.3 Tích hợp

5.3 Kiểm tra chất lượng

...

...

...

6.5 Xác nhận

Người sử dụng

Người bảo trì

CHÚ THÍCH: Khuyến nghị phép đánh giá này chỉ bao gồm phục hồi tự động cung cấp bởi phần mềm và không bao gồm công việc bảo trì của con người.

Tính hiệu quả của việc khôi phục lại

Khả năng khôi phục lại hiệu quả như thế nào?

...

...

...

X = A/B

A = Số trường hợp khôi phục thành công đáp ứng thời gian khôi phục mục tiêu

B = Số trường hợp được thực hiện

0<=X<=1

Càng gần bằng 1.0 càng tốt, vì quá trình khôi phục trong sản phẩm hiệu quả hơn.

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

...

...

...

Báo cáo vận hành

5.3 Tích hợp

5.3 Kiểm tra chất lượng

5.4 Vận hành

6.5 Xác nhận

Người sử dụng

Người bảo trì

CHÚ THÍCH: Khuyến nghị phép đánh giá này chỉ bao gồm phục hồi tự động cung cấp bởi phần mềm và không bao gồm công việc bảo trì của con người.

...

...

...

Phép đánh giá tuân thủ của tính tin cậy ngoài phải có khả năng đo thuộc tính như số lượng chức năng cùng với, hoặc xuất hiện các vấn đề tuân thủ, mà sản phẩm phần mềm không tôn trọng triệt để các tiêu chuẩn, quy ước hay quy định liên quan đến tính tin cậy.

Bảng 9- Bảng các phép đánh giá tuân thủ của tính tin cậy

Các phép đánh giá tính năng tuân thủ tin cậy ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

...

...

...

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Tuân thủ của tính tin cậy

Tính tin cậy của sản phẩm tuân thủ các quy định, tiêu chuẩn và quy ước đang áp dụng như thế nào?

Đếm số lượng các điều khoản yêu cầu tuân thủ được thỏa mãn và so sánh với số các điều khoản yêu cầu tuân thủ trong đặc tả.

X = 1 - A/B

A = Số các điều khoản tuân thủ của tính tin cậy được xác định là không được triển khai trong quá trình kiểm tra

B = Tổng số các điều khoản tuân thủ của tính tin cậy được xác định

...

...

...

Càng gần bằng 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Mô tả sản phẩm (Hướng dẫn sử dụng hoặc Đặc tả) của việc tuân thủ và các tiêu chuẩn, quy ước hoặc quy định liên quan.

Đặc tả kiểm tra và báo cáo

5.3 Kiểm tra chất lượng

...

...

...

Nhà cung cấp

Người sử dụng

CHÚ THÍCH: Có thể là có ích nếu như thu thập các giá trị đo được theo thời gian, để phân tích xu hướng gia tăng các điều khoản tuân thủ được thỏa mãn và xác định chúng hoàn toàn thỏa mãn hay không.

7.3. Các phép đánh giá tính khả dụng

Các phép đánh giá tính khả dụng đo khả năng mà phần mềm có thể được hiểu, học, vận hành, thân thiện và tuân thủ với các quy tắc khả dụng và hướng dẫn.

Rất nhiều các phép đánh giá tính khả dụng ngoài được kiểm tra bởi người sử dụng khi thử sử dụng chức năng. Các kết quả sẽ bị tác động bởi các khả năng của người sử dụng và đặc tính của hệ thống chủ. Điều này không phủ nhận tính hợp lệ của các phép đo, do phần mềm được đánh giá thực hiện dưới các điều kiện rõ ràng xác định bởi người sử dụng mẫu đại diện cho nhóm người sử dụng được thừa nhận. (Đối với các sản phẩm mục đích chung, các đại diện của một dải các nhóm người sử dụng có thể được dùng.) Để kết quả tin cậy, cần mẫu của ít nhất tám người sử dụng, mặc dù thông tin có ích có thể đạt được từ các nhóm nhỏ hơn. Người sử dụng phải hoàn thành kiểm tra không dùng bất cứ gợi ý hay trợ giúp bên ngoài nào.

Các phép đánh giá cho tính dễ hiểu, dễ học, và dễ vận hành có hai dạng phương pháp ứng dụng: kiểm tra người sử dụng hay kiểm tra của sản phẩm khi sử dụng.

CHÚ THÍCH:

...

...

...

Người sử dụng cố gắng sử dụng chức năng kiểm tra nhiều phép đánh giá ngoài. Các phép đo này có thể thay đổi nhiều giữa các cá nhân khác nhau. Mẫu người sử dụng đại diện cho nhóm người sử dụng xác định phải hoàn thành kiểm tra không dùng bất cứ gợi ý hay trợ giúp bên ngoài nào. (Đối với các sản phẩm mục đích chung, các đại diện của một dải các nhóm người sử dụng có thể được dùng.) Để kết quả tin cậy, cần mẫu của ít nhất tám người sử dụng, mặc dù thông tin có ích có thể đạt được từ các nhóm nhỏ hơn.

Phải có khả năng để các phép đo được sử dụng thiết lập tiêu chí chấp nhận hoặc để so sánh giữa các sản phẩm. Điều đó có nghĩa là các phép đo phải là các thành phần đếm hoặc các giá trị đã biết. Các kết quả phải báo cáo giá trị trung bình sai số chuẩn của giá trị trung bình.

Nhiều phép đánh giá như vậy có thể được kiểm tra với các nguyên mẫu trước đó của phần mềm. Phép đánh giá nào có khả năng áp dụng sẽ phụ thuộc vào mức độ quan trọng tương quan của các khía cạnh khác nhau của tính khả dụng, và khả năng của chất lượng theo sau trong quá trình kiểm tra sử dụng.

2. Kiểm tra sản phẩm khi sử dụng

Thay cho việc kiểm tra các chức năng cụ thể, một số các phép đánh giá ngoài lại quan sát việc sử dụng chức năng trong quá trình sử dụng tổng quan hơn của sản phẩm để hoán tất một nhiệm vụ tiêu biểu như là một phần của kiểm tra chất lượng sử dụng (TCVN 8704). Điều này có lợi ích là đòi hỏi ít bài kiểm tra hơn. Bất lợi là một số chức năng có thể chỉ được sử dụng rất hiếm trong quá trình sử dụng bình thường.

Phải có khả năng để các phép đo được sử dụng thiết lập tiêu chí chấp nhận hoặc để so sánh giữa các sản phẩm. Điều đó có nghĩa là các phép đo phải là các thành phần đếm hoặc các giá trị đã biết. Các kết quả phải báo cáo giá trị trung bình sai số chuẩn của giá trị trung bình.

7.3.1. Các phép đánh giá tính dễ hiểu

Người sử dụng phải có khả năng lựa chọn sản phẩm phần mềm phù hợp cho việc sử dụng dự kiến của họ. Phép đánh giá tính dễ hiểu ngoài phải có khả năng ước lượng người sử dụng mới có thể hiểu hay không:

• Phần mềm có phù hợp hay không

...

...

...

Bảng 10 - Bảng các phép đánh giá tính dễ hiểu

Các phép đánh giá tính dễ hiểu ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

Phép đo, công thức và tính toán các thành phần dữ liệu

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

...

...

...

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Tính đầy đủ của tài liệu mô tả

Tỷ lệ các chức năng (hoặc các dạng chức năng) hiểu được sau khi đọc tài liệu mô tả sản phẩm là bao nhiêu?

Tiến hành kiểm tra người sử dụng và phỏng vấn người sử dụng với các câu hỏi hoặc quan sát thái độ người sử dụng.

Đếm số chức năng được hiểu thỏa đáng và so sánh với tổng số lượng chức năng trong sản phẩm.

X = A/B

A = Số chức năng (hay các dạng chức năng) hiểu được

B = Tổng số các chức năng (hay các dạng chức năng)

...

...

...

Càng tiến gần tới 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Hướng dẫn sử dụng

Báo cáo vận hành (kiểm tra)

5.3 Kiểm tra chất lượng

...

...

...

Người sử dụng

Người bảo trì

CHÚ THÍCH: Điều này chỉ rằng người sử dụng tiềm năng có hiểu công năng của sản phẩm sau khi đọc mô tả sản phẩm hay không.

Khả năng truy cập thuyết minh

Tỷ lệ của quá trình thuyết minh/ hướng dẫn người sử dụng có thể truy cập là bao nhiêu?

Tiến hành kiểm tra người sử dụng và quan sát thái độ người sử dụng.

Đếm số các chức năng được thuyết minh thỏa đáng và so sánh với tổng số các chức năng yêu cầu khả năng thuyết minh

X = A/B

...

...

...

B = Số các thuyết minh/ hướng dẫn sẵn có

0<=X<=1

Giá trị X càng tiến tới 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Hướng dẫn sử dụng

Báo cáo vận hành (kiểm tra)

...

...

...

5.4 Vận hành

Người sử dụng

Người bảo trì

CHÚ THÍCH: Điều này chỉ rằng người sử dụng có thể tìm thấy thuyết minh và/hoặc hướng dẫn hay không.

Khả năng truy cập thuyết minh khi sử dụng

Tỷ lệ của thuyết minh/ hướng dẫn người sử dụng có thể truy cập bất cứ khi nào người sử dụng thực sự cần trong quá trình vận hành là bao nhiêu?

Quan sát thái độ người sử dụng đang cố gắng xem các thuyết minh/hướng dẫn.

Việc quan sát có thể được thực hiện thông qua phương thức giám sát hành động có ý thức của con người với máy Camera.

...

...

...

A = Số các trường hợp người sử dụng xem được thuyết trình khi họ cố gắng thử xem.

B = Số các trường hợp người sử dụng cố gắng xem thuyết trình trong giai đoạn quan sát

0<=X<=1

X càng tiến tới 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Hướng dẫn sử dụng

...

...

...

Bản ghi quan sát người sử dụng (băng video và các bản ghi hành động)

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người bảo trì

CHÚ THÍCH: Điều này chỉ rằng người sử dụng có thể tìm thấy thuyết minh và/hoặc hướng dẫn khi sử dụng sản phẩm hay không

Hiệu quả của thuyết minh

Tỷ lệ các chức năng người sử dụng có thể vận hành thành công sau khi được thuyết minh hay hướng dẫn là bao nhiêu?

...

...

...

Việc quan sát có thể được thực hiện thông qua phương thức giám sát hành động có ý thức của con người với máy Camera.

X = A/B

A = Số các chức năng hoạt động thành công

B = Số lượng các thuyết minh/ hướng dẫn được truy cập

0<=X<=1

Càng gần 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

...

...

...

Hướng dẫn sử dụng

Báo cáo vận hành (kiểm tra)

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người bảo trì

CHÚ THÍCH: Điều này chỉ rằng người sử dụng có thể vận hành các chức năng thành công sau khi xem thuyết minh hoặc hướng dẫn hay không.

Các chức năng rõ ràng

...

...

...

Tiến hành kiểm tra người sử dụng và phỏng vấn người sử dụng với các câu hỏi hoặc quan sát thái độ người sử dụng.

Đếm số các chức năng rõ ràng đối với người sử dụng và so sánh với tổng số các chức năng.

X = A/B

A = Số lượng các chức năng (hoặc các dạng chức năng) được nhận biết bởi người sử dụng

B = Tổng số các chức năng thực tế (hoặc các dạng chức năng)

0<=X<=1

X càng tiến tới 1.0 càng tốt

Tuyệt đối

A = Số đếm

...

...

...

X = Số đếm/Số đếm

Hướng dẫn sử dụng

Báo cáo vận hành (kiểm tra)

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người bảo trì

CHÚ THÍCH: Điều này chỉ rằng người sử dụng có khả năng xác định các chức năng bằng cách thăm dò giao diện (tức là xem xét các menu) hay không.

...

...

...

Tỷ lệ các chức năng sản phẩm người sử dụng có khả năng hiểu được chính xác là bao nhiêu?

Tiến hành kiểm tra người sử dụng và phỏng vấn người sử dụng với các câu hỏi.

Đếm số các chức năng giao diện người sử dụng mà mục đích dễ hiểu và so sánh với số các chức năng sẵn sàng cho người sử dụng.

X = A/B

A = Số lượng các chức năng giao diện mà mục đích của nó được mô tả chính xác bởi người sử dụng

B = Tổng số các chức năng sẵn sàng từ giao diện

0<=X<=1

X càng tiến tới 1.0 càng tốt

Tuyệt đối

...

...

...

B = Số đếm

X = Số đếm/Số đếm

Hướng dẫn sử dụng

Báo cáo vận hành (kiểm tra)

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người bảo trì

...

...

...

Đầu vào và đầu ra có khả năng hiểu được

Người sử dụng có thể hiểu được những gì được yêu cầu tại dữ liệu đầu vào và những gì được cung cấp tại dữ liệu đầu ra bởi hệ thống phần mềm hay không?

Tiến hành kiểm tra người sử dụng và phỏng vấn người sử dụng với các câu hỏi hoặc quan sát thái độ người sử dụng.

Đếm số các thành phần dữ liệu đầu vào và đầu ra mà người sử dụng có thể hiểu và so sánh với tổng số các thành phần sẵn sàng cho người sử dụng.

X = A/B

A = Số lượng các thành phần dữ liệu đầu vào và đầu ra người sử dụng có thể hiểu chính xác.

B = Số lượng các thành phần dữ liệu đầu vào và đầu ra sẵn sàng từ giao diện

0<=X<=1

X càng tiến tới 1.0 càng tốt

...

...

...

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Hướng dẫn sử dụng

Báo cáo vận hành (kiểm tra)

6.5 Xác nhận

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

...

...

...

CHÚ THÍCH: Điều này chỉ rằng người sử dụng có khả năng hiểu khuôn dạng trên đó dữ liệu phải được đưa vào và nhận biết ý nghĩa của dữ liệu đầu ra hay không.

7.3.2. Các phép đánh giá khả năng dễ học

Phép đánh giá khả năng dễ học phải có khả năng ước lượng người sử dụng mất bao nhiêu thời gian để học sử dụng các chức năng đặc thù, và tính hiệu quả của các hệ thống và tài liệu trợ giúp.

Khả năng dễ học liên hệ chặt chẽ với khả năng dễ hiểu, và các phép đo khả năng dễ hiểu có thể là bộ chỉ thị tiềm năng dễ học của phần mềm.

Bảng 91 - Bảng các phép đánh giá khả năng dễ học

Các phép đánh giá khả năng dễ học ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

...

...

...

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

Khả năng dễ dàng học chức năng

Người sử dụng mất bao lâu để học sử dụng chức năng?

Tiến hành kiểm tra người sử dụng và quan sát thái độ người sử dụng.

...

...

...

0<T

Càng nhỏ càng tốt.

Tỷ lệ

T = Thời gian

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

...

...

...

Người bảo trì

CHÚ THÍCH: Phép đánh giá này được sử dụng chung như phép đánh giá kinh nghiệm và biện minh.

Khả năng dễ dàng học cách thực hiện một nhiệm vụ khi sử dụng

Người sử dụng mất bao nhiêu thời gian để học cách thực hiện một nhiệm vụ xác định một cách hiệu quả

Quan sát thái độ người sử dụng từ khi họ bắt đầu học đến khi họ bắt đầu vận hành một cách hiệu quả.

T = Tổng thời gian khai thác của người sử dụng cho đến khi người sử dụng đạt được thực hiện một nhiệm vụ xác định trong thời gian ngắn

0<T

Càng nhỏ càng tốt

...

...

...

T = Thời gian

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người bảo trì

...

...

...

1. Khuyến nghị tìm thời gian vận hành mong đợi của người sử dụng là một thời gian ngắn. Thời gian vận hành này của người sử dụng có thể là ngưỡng, ví dụ như, nó là 70% của thời gian tại lần sử dụng đầu tiên là một tỷ lệ hợp lý.

2. Trong kết quả có thể thay thời gian bằng đơn vị người-giờ.

Tính hiệu quả của các tài liệu hướng dẫn người sử dụng và/ hoặc hệ thống trợ giúp

Tỷ lệ nhiệm vụ được hoàn thành một cách chính xác sau khi sử dụng tài liệu hướng dẫn và/ hoặc hệ thống trợ giúp là bao nhiêu?

Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ.

Đếm số nhiệm vụ được hoàn thành đúng sau khi truy cập vào hệ thống trợ giúp trực tuyến và/ hoặc tài liệu hướng dẫn, so sánh với tổng số nhiệm vụ được kiểm tra.

X = A/B

A = Số nhiệm vụ được hoàn thành đúng sau khi truy nhập vào hệ thống trợ giúp trực tuyến và/hoặc tài liệu hướng dẫn

B = Tổng số nhiệm vụ được kiểm tra

...

...

...

Càng gần bằng 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

...

...

...

Người sử dụng

Người bảo trì

CHÚ THÍCH: Có thể có ba phép đánh giá: độ phức tạp của tài liệu, độ phức tạp của phương tiện trợ giúp, hoặc độ phức tạp của trợ giúp và tài liệu sử dụng kết hợp.

Tính hiệu quả của các tài liệu hướng dẫn người sử dụng và/ hoặc hệ thống trợ giúp trong khi sử dụng

Tỷ lệ các chức năng có thể được sử dụng đúng đắn sau khi đọc tài liệu hướng dẫn hoặc sử dụng các hệ thống trợ giúp là bao nhiêu?

Quan sát thái độ của người sử dụng.

Đếm số lượng các chức năng được sử dụng đúng đắn sau khi đọc tài liệu hướng dẫn hoặc sử dụng hệ thống trợ giúp và so sánh với tổng số các chức năng.

X = A/B

...

...

...

B = Tổng số các chức năng được cung cấp

0<=X<=1

Càng gần bằng 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

...

...

...

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

Khả năng truy cập trợ giúp

Tỷ lệ các chủ đề trợ giúp người sử dụng có thể xác định là bao nhiêu?

Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ.

Đếm số nhiệm vụ có hỗ trợ trực tuyến được xác định và so sánh với tổng số các nhiệm vụ được kiểm tra.

...

...

...

A = Số nhiệm vụ có trợ giúp trực tuyến được xác định

B = Tổng số nhiệm vụ được kiểm tra

0<=X<=1

Càng gần bằng 1.0 càng tốt

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo vận hành (kiểm tra)

...

...

...

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

Tần suất trợ giúp

Người sử dụng thường xuyên truy cập vào hệ thống trợ giúp học cách vận hành để hoàn thành công việc của họ như thế nào?

Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ.

...

...

...

X = A

A = Số lượng truy cập vào hệ thống trợ giúp cho đến khi người sử dụng hoàn thành công việc của mình.

0<=X

Càng gần bằng 0 càng tốt

Tuyệt đối

A = Số đếm

X = Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

...

...

...

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện

7.3.3. Các phép đánh giá khả năng dễ vận hành

Phép đánh giá khả năng dễ vận hành ngoài phải có khả năng ước lượng người sử dụng có thể vận hành và điều khiển phần mềm hay không. Các phép đánh giá khả năng dễ vận hành có thể được phân loại bởi các nguyên lý đối thoại trong ISO 9241-10:

• Tính phù hợp của phần mềm đối với nhiệm vụ

• Tính sinh động của phần mềm

...

...

...

• Sự thích hợp của phần mềm với các mong muốn của người sử dụng

• Khả năng chịu lỗi của phần mềm

• Tính phù hợp của phần mềm đối với cá tính hóa.

Việc lựa chọn các chức năng kiểm tra sẽ chịu ảnh hưởng bởi tần suất mong muốn sử dụng các chức năng, và tính quan trọng của chức năng, và bất kỳ vấn đề tính khả dụng định trước nào.

Bảng 102 - Bảng các phép đánh giá khả năng dễ vận hành

Các phép đánh giá khả năng dễ vận hành ngoài

Tên phép đánh giá

Mục đích của phép đánh giá

Phương pháp áp dụng

...

...

...

Chuyển đổi giá trị đo

Loại thang đánh giá

Loại phép đo

Đầu vào cho phép đo

Tham chiếu ISO/IEC 12207 SLCP

Đối tượng sử dụng

a) Phù hợp với mong muốn vận hành của người sử dụng

Tính phù hợp của vận hành trong sử dụng

Các thành phần giao diện người sử dụng phù hợp như thế nào?

...

...

...

a) X = 1 - A/B

A = Số bản tin hoặc chức năng người sử dụng thấy không phù hợp với mong muốn của mình

B = Số bản tin hoặc chức năng

b) Y = N/UOT

N = Số lần vận hành người sử dụng thấy không phù hợp với mong muốn.

UOT = Thời gian vận hành của người sử dụng (trong khoảng thời gian quan sát

0<=X<=1

Càng gần bằng 1.0 càng tốt.

...

...

...

Càng gần bằng 0 càng tốt.

Tuyệt đối

...

...

...

b) Tỷ lệ

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

UOT = Thời gian

N = Số đếm

Y = Số đếm/Thời gian

Báo cáo vận hành (kiểm tra)

...

...

...

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

CHÚ THÍCH:

1. Kinh nghiệm vận hành của người sử dụng thông thường hữu ích để nhận biết nhiều mẫu vận hành xuất phát từ mong muốn của người sử dụng.

2. Cả hai "dự báo đầu vào" và "dự báo đầu ra" đều hiệu quả cho tính phù hợp của vận hành.

...

...

...

Sửa lỗi

Người sử dụng có thể dễ dàng sửa lỗi trong các nhiệm vụ không?

Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ.

T = Tc - Ts

Tc = Thời điểm hoàn thành việc sửa lỗi nhất định của nhiệm vụ thực thi.

Ts = Thời điểm bắt đầu sửa các loại lỗi nhất định của nhiệm vụ được thực thi.

0<T

Càng nhỏ càng tốt.

Tỷ lệ

...

...

...

T = Thời gian

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

CHÚ THÍCH: Đề xuất người sử dụng phép đánh giá này xác định các loại lỗi cho các trường hợp kiểm tra mẫu bằng cách xem xét, ví dụ, tính nghiêm trọng (lỗi hiển thị hay dữ liệu bị hủy), loại lỗi vào/ra (lỗi văn bản đầu vào, lỗi dữ liệu ra cơ sở dữ liệu hay lỗi đồ họa trên màn hình) hoặc loại của trạng thái vận hành lỗi (sử dụng tương tác hoặc vận hành khẩn cấp).

...

...

...

Người sử dụng có thể dễ dàng khôi phục lỗi hoặc thực hiện lại công việc?

...

...

...

Người sử dụng có thể dễ dàng khôi phục lại đầu vào không?

Quan sát thái độ của người sử dụng đang vận hành phần mềm.

a) X = A/UOT

...

...

...

UOT = Thời gian vận hành của người sử dụng trong quá trình quan sát.

CHÚ THÍCH: Khi các chức năng được kiểm tra lần lượt, tỷ lệ cũng có thể được tính như tỷ lệ của các số chức năng người sử dụng hủy bỏ vận hành thành công và tất cả các chức năng.

b) X = A/B

A = Số lượng bảng hay biểu mẫu trong đó dữ liệu đầu vào được sửa đổi hay thay thế thành công trước khi được gia công

B = Số lượng bảng hay biểu mẫu trong đó người sử dụng cố gắng sửa đổi hay thay thế dữ liệu đầu vào trong thời gian vận hành của người sử dụng được quan sát

0<=X

Càng lớn càng tốt.

...

...

...

0<=X<=1

Càng gần bằng 1.0 càng tốt.

...

...

...

Tỷ lệ

...

...

...

Tuyệt đối

A = Số đếm

UOT = Thời gian

X = Số đếm/Thời gian

...

...

...

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

...

...

...

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

c) Thích hợp cho vận hành nhiệm vụ

Tính sẵn sàng của giá trị mặc định trong sử dụng

...

...

...

Quan sát thái độ của người sử dụng vận hành phần mềm.

Đếm số lần người sử dụng cố gắng thiết lập hoặc lựa chọn các giá trị tham số và thất bại (bởi vì người sử dụng không thể sử dụng các giá trị mặc định cung cấp bởi phần mềm)

X = 1 - A/B

A = Số lần người sử dụng thất bại trong việc thiết lập hoặc lựa chọn giá trị tham số trong thời gian ngắn (bởi vì họ không thể sử dụng các giá trị mặc định cung cấp bởi phần mềm)

B = Tổng số lần người sử dụng lựa chọn hoặc thiết lập các giá trị tham số

0<=X<=1

Càng gần bằng 1.0 càng tốt.

Tuyệt đối

...

...

...

B = Số đếm

X = Số đếm/Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

...

...

...

CHÚ THÍCH

1. Khuyến nghị quan sát và ghi lại thái độ của người sử dụng và quyết định độ dài khoảng thời gian cho phép để lựa chọn các giá trị tham số như "khoảng thời gian ngắn".

2. Khi chức năng thiết lập tham số được kiểm tra cho mỗi chức năng, tỷ lệ chức năng cho phép cũng có thể được tính.

3. Khuyến nghị tiến hành kiểm tra chức năng bao hàm cả các chức năng thiết lập tham số.

d) Mô tả (Hướng dẫn)

Khả năng hiểu được bản tin trong sử dụng

Người sử dụng có thể dễ dàng  hiểu các bản tin từ hệ thống phần mềm?

Liệu có bản tin nào gây ra khó hiểu cho người sử dụng trước khi bắt đầu thực hiện thao tác tiếp theo?

Người sử dụng có thể dễ dàng nhớ các bản tin quan trọng hay không?

...

...

...

X = A/UOT

A = Số lần người sử dụng dừng lại trong thời gian dài hoặc liên tục và lặp lại thất bại thực hiện cùng một thao tác, do không hiểu rõ bản tin.

UOT = Thời gian vận hành của người sử dụng (khoảng thời gian quan sát)

0<=X

Càng gần bằng 0 càng tốt.

Tỷ lệ

A = Số đếm

UOT = Thời gian

X = Số đếm/Thời gian

...

...

...

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

CHÚ THÍCH:

1. Giải thích thêm về sự dễ dàng thấu hiểu bản tin được biểu diễn bằng độ dài thời gian bản tin gây ra chậm trễ trong việc hiểu của người sử dụng trước khi bắt đầu thao tác tiếp theo.

...

...

...

2. Khuyến nghị phát hiện các nguyên nhân có khả năng của các vấn đề hiểu bản tin của người sử dụng như sau

a) Sự chăm chú: Sự chăm chú có nghĩa là người sử dụng nhận biết thành công thông tin trong các bản tin quan trọng: như hướng dẫn thao tác các bước tiếp theo, tên của các mục dữ liệu được xét, và các cảnh báo về vận hành thận trọng.

- Có khi nào người sử dụng không xem khi bắt gặp các bản tin quan trọng?

- Người sử dụng có thể tránh các lỗi trong vận hành do nhận biết được các bản tin quan trọng?

b) Khả năng nhớ: Khả năng nhớ có nghĩa là người sử dụng nhớ các thông tin trong các bản tin quan trọng như hướng dẫn thao tác các bước tiếp theo, tên của các mục dữ liệu được xét, và các cảnh báo về vận hành thận trọng.

- Người sử dụng có dễ dàng nhớ các bản tin quan trọng?

- Các bản tin quan trọng được ghi nhớ có giúp ích cho người sử dụng?

- Người sử dụng có cần ghi nhớ chỉ một số các bản tin quan trọng chứ không quá nhiều?

3. Khi các bản tin được kiểm tra lần lượt, tỷ lệ các bản tin được hiểu và tổng số các bản tin cũng có thể được tính.

...

...

...

Các bản tin lỗi rõ ràng

Tỷ lệ lỗi người sử dụng đề xuất hành động phục hồi lỗi chính xác trong điều kiện bị lỗi là bao nhiêu?

Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ.

X = A/B

A = Số lượng lỗi mà được người sử dụng đề xuất hành động phục hồi chính xác.

B = Số lượng lỗi được kiểm tra

0<=X<=1

Càng gần bằng 1.0 càng tốt.

Tuyệt đối

...

...

...

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

...

...

...

Người thiết kế giao diện người sử dụng

e) Khả năng chịu lỗi vận hành (không tính lỗi do con người)

Khả năng phục hồi lỗi vận hành trong sử dụng

Liệu người sử dụng có thể dễ dàng phục hồi tình trạng xấu nhất của họ không?

Quan sát thái độ của người sử dụng vận hành phần mềm

X = 1 - A/B

A = Số trường hợp phục hồi lỗi không thành công (sau khi có lỗi, hoặc thay đổi của người sử dụng) mà người sử dụng không được hệ thống thông báo có rủi ro

B = Số lượng lỗi hoặc thay đổi của người sử dụng

0<=X<=1

...

...

...

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

...

...

...

Người sử dụng

Người thiết kế giao diện người sử dụng

CHÚ THÍCH: Công thức trên thể hiện trường hợp xấu nhất. Người sử dụng phép đánh giá này có thể đưa ra kết hợp của 1) số lỗi người sử dụng được/ không được cảnh báo từ hệ thống phần mềm và 2) số trường hợp người sử dụng phục hồi thành công/ Không thành công tình trạng.

Khỏang thời gian giữa các vận hành lỗi do con người trong sử dụng

Liệu người sử dụng có thể vận hành phần mềm trong thời gian dài mà không có lỗi?

Quan sát thái độ của người sử dụng vận hành phần mềm.

X = T/N (tại thời điểm t trong khoảng [t-T,t])

T = Thời gian vận hành trong quá trình quan sát (hoặc tổng thời gian vận hành giữa các lần vận hành lỗi của người sử dụng)

...

...

...

0<X

Càng lớn càng tốt.

Tỷ lệ

T = Thời gian

N = Số đếm

X = Thời gian/Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

...

...

...

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

CHÚ THÍCH:

1. Vận hành lỗi do con người có thể phát hiện bằng cách đếm thái độ của người sử dụng như sau:

a) Lỗi đơn giản do con người (Lỗi vô ý): Số lần người sử dụng chỉ gây lỗi vận hành đầu vào;

b) Lỗi có chủ tâm (Nhầm lẫn): Số lần người sử dụng lặp lại các lỗi trên cùng một thao tác vận hành do hiểu sai trong thời gian quan sát;

...

...

...

Người sử dụng phép đánh giá này được đề xuất đo riêng từng loại được đưa ra ở trên.

2. Chúng ta cho rằng việc dừng vận hành có nghĩa như vận hành lưỡng lự của người sử dụng.

Điều này phụ thuộc vào chức năng, thủ tục vận hành, miền ứng dụng, và người sử dụng được xem xét trong khoảng thời gian dài hay không đối với người sử dụng dừng vận hành. Do đó, người đánh giá được yêu cầu xem xét chúng và xác định ngưỡng thời gian hợp lý. Đối với vận hành tương tác, ngưỡng "khoảng thời gian dài" trong khoảng từ 1 đến 3 phút.

Khả năng tháo gỡ (Sửa lỗi của người sử dụng)

Người sử dụng thường xuyên sửa lỗi đầu vào thành công như thế nào?

Người sử dụng thường xuyên hủy lỗi chính xác như thế nào?

...

...

...

a) X = A/B

A = Số lượng lỗi đầu vào người sử dụng sửa thành công

B = Số lượng cố gắng sửa lỗi đầu vào

b) Y = A/B

A = Số tình trạng lỗi được người sử dụng sửa thành công

B = Tổng số tình trạng lỗi được kiểm tra

0<=X<=1

Càng gần bằng 1.0 càng tốt.

...

...

...

0<=X<=1

Càng gần bằng 1.0 càng tốt.

Tuyệt đối

...

...

...

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo vận hành (kiểm tra)

...

...

...

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

Người thiết kế giao diện người sử dụng

CHÚ THÍCH: Phép đánh giá này được sử dụng tổng quát như phép đánh giá thực nghiệm và điều chỉnh.

f) Thích hợp cho cá nhân hóa

Khả năng tùy biến

...

...

...

Người hướng dẫn người sử dụng có thể dễ dàng thiết lập các mẫu thủ tục vận hành để tránh các lỗi không?

Tỷ lệ các chức năng có thể được tùy biến là bao nhiêu?

Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ.

X = A/B

A = Số chức năng được tùy biến thành công

B = Số lần cố gắng thực hiện tùy biến

0<=X<=1

Càng gần bằng 1.0 càng tốt.

Tuyệt đối

...

...

...

B = Số đếm

X = Số đếm/Số đếm

Hướng dẫn sử dụng

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

Người sử dụng

...

...

...

Người thiết kế giao diện người sử dụng

CHÚ THÍCH:

1. Tỷ lệ sự cố của người sử dụng được tùy biến có thể được đo.

Y= 1-(C/D)

C= Số trường hợp người sử dụng tùy biến vận hành thất bại

D= Tổng số trường hợp người sử dụng cố gắng tùy biến vận hành cho tiện ích cho họ.

0<=Y<=1, càng gần 1.0 càng tốt.

2. Khuyến nghị tuân theo các điều sau như các biến đổi của tùy biến vận hành:

- chọn vận hành thay thế khác, như sử dụng chọn menu thay cho việc vào lệnh;

...

...

...

- thiết lập vận hành mẫu ràng buộc, như các thủ tục lập trình hoặc tạo mẫu cho hướng dẫn đầu vào.

3. Phép đánh giá này được sử dụng tổng quát như phép đánh giá thực nghiệm và điều chỉnh.

Giảm thủ tục vận hành

Liệu người sử dụng có thể dễ dàng giảm các thủ tục vận hành cho phù hợp với họ không?

Đếm thao tác của người sử dụng cho một quá trình vận hành nhất định, và so sánh giữa thời điểm trước và sau khi tùy biến vận hành.

X = 1 - A/B

A = Số thủ tục vận hành được giảm bớt sau khi tùy biến vận hành.

B = Số lượng các thủ tục vận hành trước khi tùy biến vận hành

0<=X<=1

...

...

...

Tuyệt đối

A = Số đếm

B = Số đếm

X = Số đếm/Số đếm

Báo cáo vận hành (kiểm tra)

Bản ghi giám sát người sử dụng

6.5 Xác nhận.

5.3 Kiểm tra chất lượng

5.4 Vận hành

...

...

...

Người thiết kế giao diện người sử dụng

CHÚ THÍCH:

1. Khuyến nghị tạo các mẫu cho mỗi nhiệm vụ khác nhau của người sử dụng và phân biệt giữa người vận hành là người sử dụng có trình độ và người mới.

2. Số các thủ tục vận hành có thể được biểu diễn bằng cách đếm các thao tác vận hành như nhấp chuột, gõ phím, tiếp xúc màn hình,...

3. Bao gồm cả rút gọn bàn phím.

Khả năng truy cập vật lý

Tỷ lệ các chức năng có thể được truy cập bởi tác động vật lý của người sử dụng là bao nhiêu?

Tiến hành kiểm tra người sử dụng và quan sát thái độ của họ.

...

...

...