“Software kwaliteit en metrieken, Omnext Saas” Dr. H. Vogt, presentatie Universiteit Urecht januari 2015 Agenda • • • • Introductie Software kwaliteit: Millennium probleem Waarom software kwaliteit? Software kwaliteit en metrieken – ISO 25010/9126 – Een aantal software metrieken – IFSQ level 1,2,3 • Omnext Saas • Kosten en Metrieken 1 Introductie Dr. H. Vogt • • Informatica Universiteit Utrecht Promotie Universiteit Utrecht – Hogere Orde Attributen Grammatica’s (parsers++) • SERC (Software Engineering Research Centre) – Finder 2000 Millennium Analyse tool – Program Committee Working Conference Reverse Engineering • Omnext – Saas: Software Analysis As a Service – Member of the NEN Normcommissie 381007 'Software and Systems Engineering' – Member of the NEN Werkgroep working on NPR5325 'Opleveren en overdragen van software‘ – IFSQ level 1 en 2 gecertificeerd 2 Omnext Millennium probleem 4 Het probleem • Ontbreken eeuwaanduiding in jaartallen – 83 wordt gezien als 1983 – 00 wordt gezien als 1900, niet als 2000 • 1900 geen schrikkeljaar, 2000 wel • 99 wordt door veel systemen niet als een jaartal beschouwd, maar als een standaardwaarde voor bijvoorbeeld een foutmelding 5 Voorbeeld • Wie om vijf voor twaalf gaat bellen en om vijf over twaalf ophangt zou rijk worden • Het gesprek begint om 23.55 uur op 31 december van het jaar 1999 en eindigt om 00.05 uur van het jaar 1900 • Zonder doeltreffende maatregelen heeft dit telefoongesprek een negatieve telefoonrekening tot gevolg voor bijna een eeuw bellen 6 Will London's lights go out? Will London's lights go out? http://www.pa.press.net/tech/year230997.html By Giles Turnbull, New Media Correspondent, PA IF NO ACTION WAS TAKEN, BUT ALL HAVE TAKEN ACTIONS • Banks closing for most of January 2000 • Telephone lines only operating properly 75 percent of the time. • Massive disruption to power supplies during December 1999 and the following January. • Stock market closed between 1st December 1999 and 24th January 2000 • Ten days of disruption to the postal service. • Schools closed for four weeks • Hospitals only open for emergencies for four weeks. 7 Embedded systems hard evidence To: [email protected] Date: Wed, 12 Nov 1997 09:44:12 -600 (CST6CDT) Presented at the November meeting of the Energy Industry Y2K SIG • Four Alcoa Steel Plants – • North Sea Expro (Shell-Exxon JV) – – • 50% of control systems will fail Platform, Pipeline and Gas Plants 1200 systems identified, 12% failure rate BP Refinery, Grangemouth, UK – – – – 94 systems identified Couldn't find vendor for 20 74 assessed 3 will fail, 2 will cause shutdown Jay Abshier, Mgr- Corporate Year 2000 Office Texaco Inc, Bellaire, Texas 8 Tools for millennium Tools Prepare Analysis Adapt Test Implementation Time 9 Waarom software kwaliteit? 10 Waarom software kwaliteit? Complexity Is Killing Your Large Applications: Act Now to Save Them 11 Complexiteit 12 Complexiteit 13 Maintenance costs Systemen steeds complexer Weinig of geen documentatie Geen mensen met kennis meer Herbouw geen optie 14 Kosten besparen Business Vraag: Sturen op kwaliteit code tijdens ontwikkeling en onderhoud SaaS Antwoord: meten van metrieken van code als dienst in de cloud (Omnext), in het engels Software Analysis As a Service 15 The Effects of Complexity - Complexity is killing your large applications : Act now to save them ( Andy Kite – VP & Gartner Fellow ) ISO 25010: non functionele requirements Functionele requirements Beschrijven specifiek gedrag of functies, die het systeem dient te vervullen Niet-functionele requirements Niet-functionele requirements specificeren criteria om het functioneren van het systeem te beoordelen. Bijvoorbeeld performance 17 ISO 25010 • Niet-functionele requirements • Product kwaliteitsmodel (product quality) – 31 kwaliteitsattributen – beperkt tot het doelsysteem – hardware en software • Kwaliteit tijdens gebruik (quality in use) – 11 kwaliteitsattributen – de gehele interactie tussen gebruikers en het informatiesysteem 18 Product Quality 19 Maintainability 20 Metrieken • Indicator – maat voor één of meer kwaliteitseigenschappen. Literatuur: ‘metrics’ • Meetvoorschrift • Norm 21 Voorbeeld metrieken • • • • • • LOC FP backfiring Unit size Parameterlist CC MI 22 LOC • Lines of Code • Meer LOC, meer effort om te ontwikkelen 23 LOC • Wat is LOC? 24 Function Point • Wikipedia: • A function point is a unit of measurement to express the amount of business functionality an information system provides to a user • The cost (in dollars or hours) of a single unit is calculated from past projects • Example: 8 hours per function point • FPA Functie Punt Analyse 25 FP backfiring • LOC -> FP -> Herbouwwaarde systeem • QSM Function Point Programming Language Table 26 Too large unit size • Method is doing more than its name/signature might suggest • Challenging for others to digest , excessive scrolling causes readers to lose focus. • Try to reduce the method length by creating helper methods and removing any copy/pasted code. • Voorbeeld threshold: 100 27 Lengte Parameterlist • Methods with numerous parameters are a challenge to maintain, especially if most of them share the same datatype • These situations usually denote the need for new objects to wrap the numerous parameters. • Voorbeeld threshold: 7 28 Parameterlist voorbeeld 29 CC (Cyclomatische complexiteit, McCabe 1976) What the Experts say... • One general recommendation from the recent SEI report entitled: "Incorporating Software Requirements into the System RFP," suggests including Complexity measurements in the statement of work and enforcing limits on cyclomatic complexity. "Application complexity affects software supportability. One generally accepted complexity measure is McCabe’s Cyclomatic Complexity Measure, which should not exceed 10 for a given module." • Incorporating Software Requirements into the System RFP Survey of RFP Language for Software by Topic, v. 2.0 Edited by Charlene Gross MAY 2009 SPECIAL REPORT CMU/SEI-2009-SR-008 Acquisition Support Program 30 CC 31 CC • Wat is het? • Aantal beslispunten + 1 If a =b*b+4*3 Then 2+a Else 3+b Fi • CC=2, #testpaden = 2 32 CC If a =b*b+4*3 Then 2+a Else 3+b Fi If a =c*f+56 Then 2+f Else 3+g Fi CC=3, #testpaden = 4 33 CC If a =b*b+4*3 Then 2+a Else 3+b Fi If a =c*f+56 Then 2+f Else 3+g Fi If a =f*h+56 Then 2+j Else 3+k Fi CC=4, #testpaden = 8 34 CC • CC=8, #testpaden = ??? • Slechte cholesterol 35 CC If land = NL Then x Fi If land = DE Then y Fi If land = GR Then z FI Goede cholesterol 36 MI • [Oman and Hagemeister, 1991] • • • • Maintainability Index Bepaald onderhoudbaarheid van systeem Enkel getal Samengesteld uit – – – – LOC CC #number of comments Halstead metrics 37 MI 38 MI Complex 39 MI • Probleem: niet intuitief voor vinden wortel van het probleem • Bij metingen met commentaar ook nog even als mens naar kijken • Alternatieven? 40 IfSQ • Institute for Software Quality • Collections defect indicators • Three collections, level 1, 2, 3 • Why inspection? – Code inspection is up to 20 times more efficient than testing – Code reading detected about 80% more faults per hour than testing 41 Level 1 • Most commonly occurring defect indicators considered bad practice • Work in Progress – WIP-1—Vague "To Do“ – WIP-2—Disabled Code – WIP-3—Empty Statement Block • Structured programming – SP-1—Routine Too Long – SP-2—Nesting Too Deep • Single point of maintenance – SPM-1—Magic Numbers 42 Vague “todo” 43 Disabled code 44 Empty block 45 Nesting too deep 46 Geen hardcoded constanten 47 Level 2 • Enkele extra defect indicators • Voorbeeld • SP-3: Logic Too Complex • based on McCabe’s Complexity metric 48 Logic too complex 49 Defect indicators • http://osqr.com/quick_scan.html 50 Praktijk case • Stichting Capclaim strijdt onder leiding van Kenneth Berkleef van het failliete Equihold tegen ictdienstverlener Capgemini. Inzet is het terugvorderen van 43 miljoen euro schade. Read more: http://www.computable.nl/artikel/expertversl ag/development/5208050/1277180/de-kwaliteitvan-de-capgeminisoftware.html#ixzz3NPPBDDuU 51 Praktijk case (2) • Extern onderzoek naar de kwaliteit • In oktober 2010 heeft Equihold gevraagd aan Software Quality Measurement and Improvement (SQMI) om de opgeleverde software te onderwerpen aan een onderzoek. SQMI hanteert een methodische aanpak waarbij het aantal coderegels met een defect worden geteld en gegroepeerd in categorieën. Gemiddeld kwam men op 175 foutieve regels per duizend regels code wat een F-rating opleverde, een drie op een schaal van één tot tien. De één na laagste score in de geschiedenis van SQMI. • Op basis van dit onderzoek is de eindconclusie dat de onderhoudskosten voor dit product onnodig hoog zijn en de software als platform voor verdere ontwikkeling ongeschikt is. 52 Praktijk case (3) • • • Nog een extern onderzoek naar de kwaliteit In 2014 heeft Capgemini de Software Improvement Group (SIG) gevraagd om de software te onderzoeken op onderhoudbaarheid. Zij hebben hiertoe de methode SIG/TUViT-kwaliteitsmodel voor Trusted Product Maintainability (april 2009) gehanteerd. Ook dit is een methodische aanpak op basis van tellingen en een normenkader. Afgelopen juni hebben zij dit rapport gepresenteerd met als belangrijkste conclusie dat de onderhoudbaarheid ‘marktgemiddeld’ is, afgezet tegen de benchmark die SIG hanteert. Dit hoeft natuurlijk niet dezelfde benchmark te zijn die SQMI hanteert en waarop het tot een F-rating komt. Let wel dat SIG direct de onderhoudbaarheid van de software heeft onderzocht en SQMI de software in het algemeen en daarbij als afgeleide heeft geconcludeerd dat de onderhoudbaarheid onnodig duur is. 53 Omnext® SaaS Solution Omnext SaaS Approach Java .Net (OO) Cobol PL/1 Omnext Portal (3GL) Workflow Oracle Uniface (4GL) • Parse Sources • Resolve Relationships • Calculate Metrics • Check Anti-patterns • Detect Code Duplication • Detect Dead Code • Create Design Models • Difference Analyses Omnext SaaS Data Warehouse MS-Excel Tivoli JCL (Job control) ... UML-tools Omnext® SaaS Solution Supported sources • • • • • • • • • • • Access ActionScript ANSI Cobol 85 ASP Aquima C/C++ C# Cobol (most dialects) Java JavaScript Objective C (2013) • • • • • • • • • • • • • Oracle Forms Oracle SQL PHP PL/1 Powerbuilder Powercenter RPG SAP ABAP (2013) Siebel eScript SQL Server Sybase DB/2 UNIFACE • • • • VB.NET Visual Basic 6 DCL JCL • Tivoli Workload Schedule SMF User menu configurations Workflow configurations … • • • • Support for new languages and configurations are added in future releases. Omnext® SaaS Introduction Delivery • On Demand • Cloud based • SaaS Model • NO licence, NO subscription –Usage based pricing Omnext® SaaS demo Omnext® SaaS Examples Corporate Risk Policy Identify Maintenance Risk 58 Health check Monitor Progress 59 Size Lines of code, Function points 60 Productivity Maintenance Function Points 61 Cross Reference Across Technologies Call Tree and Where Used show all resolved relations 62 Source View Example Sybase Stored Procedure In the Source View the code of any language is well structured, color coded and hyperlinked. 63 Source View Compare versions 64 Design View Flow Chart The Design supports analysis by showing class diagrams, sequence diagrams, flow charts, call graphs, structure diagrams, … Design can be exported to UML-tools 65 Design View Jackson Structure Diagram 66 Design View UML Sequence Diagram 67 Standards & guidelines Best practices industry coding best practices and customer coding standards 68 Clone detection Find duplicated code Exact clones as well as syntactic clones 69 Worklist All identifiers and their use are stored separately in the data warehouse, making it easy to search and perform data flow analysis and create a work list. In this example a SEPA work list is created using ‘iban’ and ‘transaction’ as starting points for further data flow analysis. 70 Search 71 Annotations Annotations can be added to all items in the Omnext portal. One can even add annotations to selected lines of code, for instance to document Business Rules or Issues to be solved During an impact analysis a developer can add annotations to the objects in scope, with tags referring to the change or the subject. 72 Annotations The filtered annotations can be exported to Excel The annotations can be filtered on tags (in this case the change number or the subject). This creates the work list of things to do. 73 Identifying interfaces and Data persistency Reports are available on interfaces and data persistency, with the option to trace the information from data layer to business layer 74 Customer Reports By adding relations between components and Business Services, Business Processes, Organisational Units, etc. In the Data Warehouse, reports can be created on those levels. 75 Aggregate on Business Level Example Function Points Report per Business Service 76 System Health Example on iPad 77 Trend Analysis Example on iPad 78 Test Support Example of Quicktest Pro input file Export Form Definitions to Quicktest Pro to accelerate test preparation. Example: Powerbuilder 79 Batch Schedule Optimization Anti Patterns Technical Debt in Batch Schedules: • Dummy Jobs • Incorrect/superfluous dependencies • backups in critical timelines • … In this example based on a Tivoli Application Database, Current Plans, Track Log information and JCL. 80 Batch Schedule Optimization White space analysis White space analysis, showing gaps in critical timelines. In this example based on a Tivoli Application Database, Current Plans, Track Log information and JCL. Omnext is also mentioned in the IBM redbook ‘Approaches to Optimize Batch Processing on z/OS’. See:81 http://www.redbooks.ibm.com/abstracts/redp4816.ht Batch Schedule Optimization Cross Reference Job schedule, JCL, resources and application information all linked and easy accessible in the portal From current plan and track log From application database 82 Cross-reference Tivoli – JCL - Cobol Use Case Editor With the Use Case Editor in the Omnext® Portal, one can recreate functional documentation based on a structured walk through of the source code. With the use case editor, one can add logical labels (aliases) to pieces of source code that are functionally relevant. Also one can add found business rules to the use cases. One can exclude, collapse or expand items in the use case editor. • Exclude: exclude the item from the use case • Collapse: include the complete item as one step in the use case • Expand: show the call tree and conditions within the selected item 83 Save maintenance costs • • • • Uit de white paper Omnext How to save on software maintenance costs Maart 2010, Ir. F. Engelbertink en Dr. H Vogt Agenda – – – – – – – Costs of understanding Documentatie helpt? Dode code Cloned code Bugs verwijderen Complexiteit Totaal 84 Costs of understanding [3, SWEBOK] 85 Documentatie helpt? • Hoeveel documentatie is genoeg? • Studie 2005 [13, Universidade Católica de Brasília, Brasilia, Brazil ]: – Source code and comments are the most important artifacts for understanding a system to be maintained – Data model and requirement description were other important artifacts – Surprisingly, and contrary to what we found in the literature, architectural models and other general views of the system were not found to be very important • Zorg dat de code goed onderhoudbaar is zodat analyse niet zo lang kost 86 Herdocumentatie • Meeste systemen slecht gedocumenteerd • Case study [5, Report from an experiment : impact of documentation on maintenance in Journal of empirical software engineering, 1997] – Geen documentatie: 21% langere analyse – Onderhoud is tot wel 50% analyse – Wel documentatie: 10% winst totale kosten – Hun opmerkelijke cocnlusies • Zonder documentatie: geen verschil goede/slechte pr. • Met documentatie: goede beter • Hun conclusie: goede pr. zonder documentatie weinig zin 87 Dode code • • • • • [16,17 SIG and Free University of Amsterdam] Tot 30% code in systeem kan dode code zijn Gemiddeld 15% Vaak niet bekend wat dode code is Toch maar onderhouden • • • • Stel onderhoud per jaar kost 1$ per regel Applicatie 1 miljoen regels 15% dode code verwijderen 150000$ besparen 88 Cloned code • • • • • • 100% gelijke kloon Modulo variabele namen [19, Demantic Designs] Grote systemen 10-25% cloned code Moet onderhouden worden Bugs cloned • • • • Stel onderhoud per jaar kost 1$ per regel Applicatie 1 miljoen regels 15% cloned code verwijderen 150000$ besparen 89 Bugs verwijderen • PMD, Stylecop, Bandera, ESC/Java2, FindBugs, JLint • Kunnen echte bugs opsporen – Lege if statement – Echte fouten • The null check here is misplaced. If the variable is null a NullPointerException will be thrown. Either the check is useless (the variable will never be "null") or it is incorrect. 90 Bugs verwijderen • • • • 1 miljoen regels code 10 bugs verwijderen (general experience) $500-$1000 per bug fix $5000-$10000 bespaard 91 Complexity • Case study [22, Software Complexity and Maintenance Costs, Communications of the ACM, Banker et al, November 1993] – High levels of software complexity account for approximately 25% maintenance costs or more than 17% of total life-cycle costs – Given the extremely high cost of maintenance in commercial applications, the neglect of software complexity is potentially a serious omission 92 Totaal • 1 million lines of code • $1 maintenance cost per line per year 93 94
© Copyright 2024