既製ソフトウェア製品開発における JIS X 25051:2016に対応 …...ISO/IEC 15498...

既製ソフトウェア製品開発における JIS X 25051:2016に対応した品質保証

プロセスの構築とその運用効果

ウイングアーク1st株式会社BI技術本部 BI品質統括部

加藤大受

首都大学東京大学院システムデザイン研究科

石川博

SQiP 2016

Copyright © 2016 WingArc1st Inc. All Rights Reserved.

当社における品質の分類

ソフトウェア品質シンポジウム2016

Copyright © 2016 WingArc1st Inc. All Rights Reserved. 2

品質の分類

製品の品質機能および非機能の両面を含めた品質

利用時の品質当社製品を利用したアプリケーション/システムの品質

利用者文書の品質マニュアル（ホワイトペーパー等も含む）の品質

問い合わせ品質テクニカルサポートの品質



品質は特定の利用者に依存する

製品の品質管理者開発者

利用時の品質一般利用者管理者

利用者文書の品質管理者開発者

問い合わせ品質開発者管理者



品質がいいということ

製品の品質

利用時の品質

利用者文書の品質

問い合わせ品質

品質管理者開発者

一般利用者管理者

管理者開発者

開発者管理者

どの利用者にとってもバランスがいい＝品質が良い



利用者を笑顔にする品質とは

一般利用者を意識し、『製品の品質』と『利用時の品質』に優れた製品を継続的に提供すること



ウイングアーク流でいうと

製品の品質利用時の品質

利用者文書の品質

問い合わせ品質

Surprise 1st! Customer1st!



品質特性を利用した品質情報の提供の背景



品質特性の導入の背景

派生開発で開発しているパッケージ製品の品質をとにかく向上させたい

品質向上をユーザーに伝わる仕組みも必要

開発時の品質データでは品質向上を第三者に伝えることは困難。品質を細分化した品質特性を利用することで品質を網羅的に説明できるだけでなく、客観的に品質情報の提供が可能



開発プロセスと品質評価プロセスの概略図

基本設計

詳細設計

実装単体テスト

統合テスト

開発工程（開発部門）

αステージ β1

ステージβ2

ステージβ3

ステージ

テストレベル(品質保証部門)

RC ステージ

β1 β2 RC

システムテスト

テストレベル定義例：α ステージ：テスト計画 β1ステージ：単機能テストβ2ステージ：組み合わせテスト β3ステージ：システムテストRC ステージ：最終品質確認

品質特性を利用した品質評価プロセス



Vision Doc

開発部門kick off

Reference

品質保証部門Kick Off Document

品質基準品質要求案

ステージ定義

クライテリア基準

PRD Product

Requirement Document

MRD Market

Requirement Document

Reference

MTP(ISO/IEC 29119-3利用)

テストタイプ定義

クライテリア

体制リスク

管理方針

時間

PRD (Draft)




品質特性副特性内容

機能適合性完全性要求仕様書に記載されているとおりの動作をすること。

正確性計算結果が正しいこと。

適切性新機能の仕様が要件を満たしていること。

性能効率性時間効率性性能測定（定点観測）を行い、過去バージョンから劣化していないこと。性能改善項目で効果が出ていること。

資源効率性 1ヶ月程度の長時間実行で、過去バージョンと資源消費に大きな差がないこと。メモリリークがないこと。

容量満足性設定されたマシンスペックでの性能目標を満たしていること


品質特性を利用した品質要求の定義例



品質保証体制の推移

JIS X 0129-1 機能性 - 正確性効率性 - 時間効率性

JIS X 0129-1 機能性 – 正確性、合目的性効率性 - 時間効率性、資源効率性使用性 – 理解性

JIS X 0129-1 すべての品質副特性 JIS X 0133 品質評価プロセス ISO/IEC 15498 セキュリティ方針

品質保証体制とプロセス各種標準規格への対応

SQuaRE(JIS X 25010, JIS X 25051) ソフトウェア品質の最新規格対応

ISO/IEC/IEEE 29119 ソフトウェアテストプロセス標準の導入

ISO/IEC 33063 ソフトウェアテストのアセスメント

• 下流工程による品質保証• 開発部隊による独自品質保証体制

• 出荷品質基準の制定• 品質保証部門の分離• 受入検査の実施• 定量的分析(一部導入)

～2011

2012

• 製品開発仕様の文書化• 上流工程での品質保証開始• 定量的品質分析• マイルストーン判定、プロセスQAの実施

2013

• PSQ認証取得を目指し、ISO/IEC 25051:2011を意識した品質保証プロセスモデルの導入

• 検証結果の開示に向けた取り組みの開始2014

2015

• PSQ認証取得(MB, Dr.Sum, SVF)• SQuaRE導入• ISO/IEC 25051:2014の適用

2016

• 利用者文書への品質基準の適用• 利用時の品質への取り組み強化• PSQ認証更新(MB, Dr.Sum, SVF)


PSQ認証取得済販売する全製品(パッケージ製品)：

『SVF』,『Dr.Sum EA』,『MotionBoard』最新版でPSQ認証を取得済



SQuaRE利用へ



SQuaRE導入背景第三者が客観的に判断できる品質情報の提供が可能な品質保証プロセスのさらなる構築を検討

社内プロセスの整備だけでなく、第三者認証であるISO/IEC 25051準拠のPSQ認証の取得を検討

PSQ認証では、プロセスは審査対象外であるが、品質保証プロセスへの標準規格の適用は品質情報を提供時にプロセス説明も含め有益であると判断

ISO/IEC 25051:2014(後にJIS X 25051:2016)を意識し、品質保証プロセスにSQuaREの導入を決定


SQuaRE導入後の品質保証プロセス WingArc1st品質保証プロセス基盤

品質モデル

JIS X 25010

評価プロセス JIS X 25020 JIS X 25030 JIS X 25040 ISO/IEC/IEEE 29119

セキュリティ評価

ISO/IEC 15408

規格関連

テスト文書

ISO/IEC/IEEE 29119-3

社内基準

品質保証基準品質保証方針各種ガイドライン

Protex CodeCenter

アセスメント

内部監査 ISO/IEC 33063

検証結果報告書

JIS X 25051



品質保証プロセス体系図(抜粋)

品質保証方針

品質保証基準

テスト管理ポリシー

検証結果報告書ポリシー

インシデント管理ガイドライン

検証結果報告書作成ガイドライン

テスト計画ポリシー

クライテリアガイドライン

マイルストーンガイドライン

テスト管理ガイドライン

テスト設計ポリシー

受入テスト設計ガイドライン

ユースケース設計ガイドライン

マニュアルベーステスト設計ガイドライン

性能テスト設計ガイドライン

テストレベルガイドライン

セキュリティポリシー

OSS利用ガイドライン

機能テスト設計ガイドライン



プロセス更新作業の流れ

品質保証プロセスに組み込む標準規格の選定

各種ポリシー/ガイドラインの更新

テスト資産の再マッピングルールの策定

新しいMTP/LTP作成プロセスの作成

利用時の品質の方針検討

検証結果報告書のガイドライン作成



利用時の品質の取り組み



利用時の品質の検証方針

JIS X 0129-1の頃より、利用時の品質は定義されているが、利用時の品質に対する取り組みは非常に難しい

• 利用時の品質のメトリックスがあいまいである• 開発プロジェクトでそもそも検証できるものであるのか

品質特性が定義されているので、ひとまず検証方法を検討

２つのテストタイプにて利用時の品質をテスト • ユースケースベースのシナリオテスト• マニュアルベーステスト

それぞれのテストタイプでテスト観点で利用時の品質を考慮

メトリックスでのクライテリアを定義するのではなく、検証結果の定性分析を中心とする方針を導入



検証結果報告書のガイドライン作成



検証結果報告書のガイドライン

MTPはテンプレートを用意し、記載粒度を統一していたが、検証結果報告書の記載に関するガイドラインは存在しなかった

出荷承認会議提出のため、レビュー工数が増大していた

JIS X 25051:2016を参考に検証結果報告書のガイドラインを整備し、記載事項の内容と記載粒度の統一を図り、レビュー工数削減を狙った



検証結果報告書の目次（抜粋） 1. プロジェクト概要2. 品質要求

• ソフトウェア製品品質目標• システム製品品質目標• 利用時品質の品質目標• マニュアルの品質目標

3. 検証計画および検証方針• 製品の品質保証レベル• テスト戦略• テストスケジュール• リスクマネジメント

4. 品質評価報告• ソフトウェア製品評価• システム製品評価• 利用時品質の評価• マニュアルの評価

5. 品質要求への対応結果• ソフトウェア検証結果• システム検証結果• 利用時品質の検証結果• マニュアルの検証結果

6. 総論

Appendix（別冊構成） • 機能検証結果• 効率性検証結果• セキュリティ検証結果• 利用時の品質の検証結果• マニュアルの検証結果• 品質分析結果



検証結果ガイドラインガイドラインから抜粋

2.品質要求品質目標を記載する。IEEE 829の品質目標はソフトウェア製品品質のみを記載していたが、今後は次の品質目標をすべて記載。• ソフトウェア製品品質目標

JIS X 25010のソフトウェア製品/システム製品の品質特性に従い、品質目標を記載する。

• システム製品品質目標WA製品では実現できない機能を他社製品で補う場合のみ、JIS X 25010のソフトウェア製品/システム製品の品質特性に従い、品質目標を記載する。

• 利用時の品質の品質目標JIS X 25010の利用時の品質特性に従い、品質目標を記載する。

ここの記載では、マニュアルベーステストとシナリオテストで保証する品質特性を分ける必要はない。

• マニュアルの品質目標JIS X 25051の利用者文書の品質特性に従い、品質目標を記載する。



3.検証計画および検証方針ISO/IEC/IEEE 29119-3に準拠したMTPから、検証計画および検証方針を抜粋し、記載する。必ず、MTPのどこに記載されているか記載すること。• 製品の品質保証レベル

社内基準のどの品質保証レベルを満たす必要があるかを記載。

• テスト戦略今回のプロジェクトのテスト戦略を記載。

• テストスケジュールMTP作成時の予定と実績が分かるように記載。受入テストの期間についても必ず記載。

• リスクマネジメントMTPに記載したリスクのうち、プロダクトリスクに関わる部分について記載。対応方針のないリスクのみの記載はNG。

検証結果ガイドラインガイドラインから抜粋



プロジェクトへの適用例



新プロセス導入教育次の方針に従い、開発部門および品質保証部門の全メンバーに新プロセス教育を実施

① 品質特性の差異(JIS X 0129-1とJIS X 25010)② JIS X 25010の品質特性に対応するテストタイプ例の

紹介およびテスト設計ガイドライン③ 既存テスト資産のJIS X 25010の品質特性への分類

ルールと新規追加の品質特性の取り扱い方針

④ ソフトウェア製品品質と利用時の品質の品質特性を含めたテスト観点テンプレート

⑤ MTP/LTPのガイドラインと承認プロセス⑥ 検証結果報告書のガイドライン



適用結果

2016年前半にPSQ認証を更新予定のBI製品および帳票製品の計3つの製品開発プロジェクトに新プロセスを適用

新プロセス適用による問題は発生しなかった • 新プロセスの導入教育を徹底したこと• 検証結果報告書のガイドラインにより、アウト

プットのイメージの共有ができたこと• すでに品質特性を利用した品質評価プロセスを利

用したこと

利用時の品質、利用者文書の品質に品質特性を活用できたことにより、ソフトウェアだけでなく、製品全体の品質を客観的に判断できるようになった



まとめ



JIS X 25051導入効果

効果製品全体に対し、品質特性による品質要求を定義することにより、開発プロジェクトのゴールが明確になった

すべてのテスト資産とバグ情報に品質特性が紐付いているので、品質特性によるカバレッジ測定が可能となった

品質が向上しただけでなく、テストの見積精度が向上した利用時の品質に対する取り組みを開発プロジェクト期間中に実施することができた

課題テストに参画する全メンバーに品質特性の理解が必要なため、協力会社の選定基準が大幅に高くなった

標準規格動向の調査と最新規格への追随が必要



さらなる改善へ向けて

利用時の品質の評価プロセスの改善マニュアルベーステストの実施要件の明確化シナリオテストのカバレッジ測定方法の策定

製品サポート時のユーザーからの要望や各種指摘の品質特性による分類

利用時の品質のためのメトリックス策定(ISO/IEC25022を活用)

利用時の品質のメトリックス策定により、品質向上を実現できているかを定量的に分析することが可能だと推測。テクニカルサポートへの問い合わせの分類により、製品のエンハンスの指針としての利用、各品質特性と問い合わせの相関関係を予測し、質の高いサポートを提供するための材料となるだけでなく、利用時の品質低下につながる障害情報の蓄積等、今後の改善を検討中。


既製ソフトウェア製品開発における JIS X 25051:2016に対応 …...ISO/IEC 15498...

Documents

Transcript of 既製ソフトウェア製品開発における JIS X 25051:2016に対応 …...ISO/IEC 15498...