Jump to: navigation, search

Difference between revisions of "MagnetoDB/QA/Test statistics"

(→‎Test Automation Statistics. Sprint 16)
 
(9 intermediate revisions by 2 users not shown)
Line 1: Line 1:
−
Test Statistics
+
== Test Automation Statistics. Sprint 16 ==
−
 
 
−
=By features=
 
  
 
{| class="wikitable"
 
{| class="wikitable"
Line 9: Line 7:
  
 
|
 
|
−
<center>'''Feature'''</center>
+
<center>'''Test Set'''</center>
  
 
|
 
|
−
<center>'''Status'''</center>
+
<center>'''TCs Total'''</center>
  
 
|
 
|
−
<center>'''Notes'''</center>
+
<center>'''Ready +
  
−
|-
+
'''in Progress'''</center>
−
|
 
−
<center>1</center>
 
  
 
|
 
|
−
'''Async table creation'''
+
<center>'''To be covered'''</center>
  
 
|
 
|
−
<center></center>
+
<center>'''Coverage'''</center>
−
 
 
−
|
 
−
<center></center>
 
  
 
|-
 
|-
 
|
 
|
−
<center></center>
+
&nbsp;
  
 
|
 
|
−
Test design for "Async table creation" functionality
+
'''Statements'''
  
 
|
 
|
−
<center>Done</center>
+
&nbsp;
  
 
|
 
|
−
<center></center>
+
&nbsp;
  
−
|-
 
 
|
 
|
−
<center></center>
+
&nbsp;
  
 
|
 
|
−
Implementing tests for "Async table creation"
+
&nbsp;
  
 +
|-
 
|
 
|
−
<center>In progress</center>
+
<center>1</center>
  
 
|
 
|
−
<center></center>
+
BatchRead
  
−
|-
 
 
|
 
|
−
<center>2</center>
+
<div align="right">46</div>
  
 
|
 
|
−
'''Batch Write/Read API'''
+
<div align="right">16</div>
  
 
|
 
|
−
<center></center>
+
<div align="right">30</div>
  
 
|
 
|
−
<center></center>
+
<div align="right">35%</div>
  
 
|-
 
|-
 
|
 
|
−
<center></center>
+
<center>2</center>
−
 
 
−
|
 
−
Test design for batch processing
 
  
 
|
 
|
−
<center>Done</center>
+
BatchWrite
  
 
|
 
|
−
<center></center>
+
<div align="right">37</div>
  
−
|-
 
 
|
 
|
−
<center></center>
+
<div align="right">18</div>
  
 
|
 
|
−
Implementation tests for batch processing
+
<div align="right">19</div>
  
 
|
 
|
−
<center>In progress</center>
+
<div align="right">49%</div>
−
 
 
−
|
 
−
<center></center>
 
  
 
|-
 
|-
Line 100: Line 85:
  
 
|
 
|
−
'''Indexing'''
+
CreateTable
−
 
 
−
|
 
−
<center></center>
 
−
 
 
−
|
 
−
<center></center>
 
−
 
 
−
|-
 
−
|
 
−
<center></center>
 
−
 
 
−
|
 
−
Test design for "Indexes" functionality
 
−
 
 
−
|
 
−
<center>Done</center>
 
−
 
 
−
|
 
−
<center></center>
 
  
−
|-
 
 
|
 
|
−
<center></center>
+
<div align="right">73</div>
  
 
|
 
|
−
Implementing tests for "Indexes" functionality
+
<div align="right">58</div>
  
 
|
 
|
−
<center>In progress</center>
+
<div align="right">15</div>
  
 
|
 
|
−
<center></center>
+
<div align="right">79%</div>
  
 
|-
 
|-
Line 139: Line 104:
  
 
|
 
|
−
'''Big data import #1'''
+
DeleteItem
  
 
|
 
|
−
<center></center>
+
<div align="right">54</div>
  
 
|
 
|
−
<center></center>
+
<div align="right">8</div>
  
−
|-
 
 
|
 
|
−
<center></center>
+
<div align="right">46</div>
  
 
|
 
|
−
POC based Tests design for "BigData import" functionality
+
<div align="right">15%</div>
−
 
 
−
|
 
−
<center>Done</center>
 
−
 
 
−
|
 
−
<center></center>
 
  
 
|-
 
|-
 
|
 
|
−
<center></center>
+
<center>5</center>
  
 
|
 
|
−
Implementation of tests for "BigData import"
+
DeleteTable
  
 
|
 
|
−
<center>In progress</center>
+
<div align="right">13</div>
  
 
|
 
|
−
<center></center>
+
<div align="right">0</div>
  
−
|-
 
 
|
 
|
−
<center>5</center>
+
<div align="right">13</div>
  
 
|
 
|
−
'''Error messages'''
+
<div align="right">0%</div>
−
 
 
−
|
 
−
<center></center>
 
−
 
 
−
|
 
−
<center></center>
 
  
 
|-
 
|-
 
|
 
|
−
<center></center>
+
<center>6</center>
  
 
|
 
|
−
Design tests for clear error messages
+
DescribeTable
  
 
|
 
|
−
<center>Done</center>
+
<div align="right">8</div>
  
 
|
 
|
−
<center></center>
+
<div align="right">5</div>
  
−
|-
 
 
|
 
|
−
<center></center>
+
<div align="right">3</div>
  
 
|
 
|
−
Implementation of tests for clear error messages
+
<div align="right">63%</div>
−
 
 
−
|
 
−
<center>In progress</center>
 
−
 
 
−
|
 
−
<center></center>
 
  
 
|-
 
|-
 
|
 
|
−
<center>6</center>
+
<center>7</center>
  
 
|
 
|
−
'''Other QA activities'''
+
GetItem
−
 
 
−
|
 
−
<center></center>
 
−
 
 
−
|
 
−
<center></center>
 
  
−
|-
 
 
|
 
|
−
<center></center>
+
<div align="right">29</div>
  
 
|
 
|
−
Preparing QA environment for external usage
+
<div align="right">27</div>
  
 
|
 
|
−
<center>Done</center>
+
<div align="right">2</div>
  
 
|
 
|
−
<center></center>
+
<div align="right">93%</div>
  
 
|-
 
|-
 
|
 
|
−
<center></center>
+
<center>8</center>
−
 
 
−
|
 
−
Preparing workable set of scripts for external triggering and running
 
−
 
 
−
|
 
−
<center>Done</center>
 
  
 
|
 
|
−
<center></center>
+
ListTables
  
−
|-
 
 
|
 
|
−
<center></center>
+
<div align="right">30</div>
  
 
|
 
|
−
Creating documentation on running tests by external users
+
<div align="right">16</div>
  
 
|
 
|
−
<center>Done</center>
+
<div align="right">14</div>
  
 
|
 
|
−
<center></center>
+
<div align="right">53%</div>
  
 
|-
 
|-
 
|
 
|
−
<center></center>
+
<center>9</center>
  
 
|
 
|
−
Create a wiki page for tracing coverage and status of QA activities
+
PutItem
  
 
|
 
|
−
<center>Done</center>
+
<div align="right">58</div>
  
 
|
 
|
−
<center></center>
+
<div align="right">31</div>
  
−
|-
 
 
|
 
|
−
<center></center>
+
<div align="right">27</div>
  
 
|
 
|
−
Tests running, results analysis, working with defects
+
<div align="right">53%</div>
−
 
 
−
|
 
−
<center>In progress</center>
 
−
 
 
−
|
 
−
<center></center>
 
  
 
|-
 
|-
 
|
 
|
−
<center></center>
+
<center>10</center>
  
 
|
 
|
−
Test results documenting, keeping actual status and publicising
+
Query
−
 
 
−
|
 
−
<center>In progress</center>
 
−
 
 
−
|
 
−
 
 
  
−
|-
 
 
|
 
|
−
<center></center>
+
<div align="right">100</div>
  
 
|
 
|
−
Complete with implementing Positive tests for BatchWrite, PutItem, Query statements
+
<div align="right">60</div>
  
 
|
 
|
−
<center>Done</center>
+
<div align="right">40</div>
  
 
|
 
|
−
 
+
<div align="right">60%</div>
  
 
|-
 
|-
 
|
 
|
−
<center></center>
+
<center>11</center>
  
 
|
 
|
−
(Complete with implementing Negative tests for all implemented statements)
+
Scan
−
 
 
−
|
 
−
<center>In progress</center>
 
−
 
 
−
|
 
−
 
 
  
−
|-
 
 
|
 
|
−
<center></center>
+
<div align="right">71</div>
  
 
|
 
|
−
Create TCs design (both Pos and Neg) for ListTables
+
<div align="right">0</div>
  
 
|
 
|
−
<center>Done</center>
+
<div align="right">71</div>
  
 
|
 
|
−
 
+
<div align="right">0%</div>
  
 
|-
 
|-
 
|
 
|
−
<center></center>
+
<center>12</center>
−
 
 
−
|
 
−
(Finalize Master Test Plan)
 
−
 
 
−
|
 
−
<center>In progress</center>
 
  
 
|
 
|
 +
UpdateItem
  
−
 
−
|-
 
 
|
 
|
−
<center></center>
+
<div align="right">90</div>
  
 
|
 
|
−
 
+
<div align="right">0</div>
  
 
|
 
|
−
<center></center>
+
<div align="right">90</div>
  
 
|
 
|
 +
<div align="right">0%</div>
  
−
 
−
|}
 
−
 
−
 
−
=Automation Statistics=
 
−
 
−
{| class="wikitable"
 
 
|-
 
|-
 
|
 
|
−
<center>'''<nowiki>#</nowiki>'''</center>
+
<center>13</center>
  
 
|
 
|
−
<center>'''Test Type'''</center>
+
MagnetoDB CLI
  
 
|
 
|
−
<center>'''Total'''</center>
+
<div align="right">36</div>
  
 
|
 
|
−
<center>'''Successful
+
<div align="right">0</div>
−
 
 
−
'''(Stable)</center>
 
−
 
 
−
|
 
−
<center>'''Pending
 
−
 
 
−
'''(In progress +
 
−
 
 
−
Not ready)</center>
 
  
 
|
 
|
−
<center>'''Coverage'''</center>
+
<div align="right">36</div>
  
 
|
 
|
−
<center>'''Notes'''</center>
+
<div align="right">0%</div>
  
 
|-
 
|-
 
|
 
|
−
<center></center>
+
&nbsp;
  
 
|
 
|
−
'''Integration
+
'''Others'''
−
 
 
−
'''(MagnetoDB API)'''
 
  
 
|
 
|
−
<center></center>
+
&nbsp;
  
 
|
 
|
−
<center></center>
+
&nbsp;
  
 
|
 
|
−
<center></center>
+
&nbsp;
  
 
|
 
|
−
<center></center>
+
&nbsp;
−
 
 
−
|
 
−
<center></center>
 
  
 
|-
 
|-
Line 431: Line 313:
  
 
|
 
|
−
BatchGetItem
+
Indexing
−
 
 
−
|
 
−
<center>58</center>
 
  
 
|
 
|
−
<center>-</center>
+
<div align="right">41</div>
  
 
|
 
|
−
<center>-</center>
+
<div align="right">0</div>
  
 
|
 
|
−
<center>-</center>
+
<div align="right">41</div>
  
 
|
 
|
−
<center></center>
+
<div align="right">0%</div>
  
 
|-
 
|-
Line 453: Line 332:
  
 
|
 
|
−
BatchWriteItem
+
Async operations
−
 
 
−
|
 
−
<center>42</center>
 
  
 
|
 
|
−
<center>5</center>
+
<div align="right">6</div>
  
 
|
 
|
−
<center>7</center>
+
<div align="right">0</div>
  
 
|
 
|
−
<center>29 %</center>
+
<div align="right">6</div>
  
 
|
 
|
−
<center></center>
+
<div align="right">0%</div>
  
 
|-
 
|-
Line 475: Line 351:
  
 
|
 
|
−
CreateTable
+
BulkWrite (PoC)
−
 
 
−
|
 
−
<center>76</center>
 
  
 
|
 
|
−
<center>13</center>
+
<div align="right">18</div>
  
 
|
 
|
−
<center>53</center>
+
<div align="right">0</div>
  
 
|
 
|
−
<center>87 %</center>
+
<div align="right">18</div>
  
 
|
 
|
−
<center></center>
+
<div align="right">0%</div>
  
 
|-
 
|-
Line 497: Line 370:
  
 
|
 
|
−
DeleteTable
+
MultiDomain Read-Write
−
 
 
−
|
 
−
<center>12</center>
 
  
 
|
 
|
−
<center>-</center>
+
<div align="right">23</div>
  
 
|
 
|
−
<center>-</center>
+
<div align="right">0</div>
  
 
|
 
|
−
<center>-</center>
+
<div align="right">23</div>
  
 
|
 
|
−
<center></center>
+
<div align="right">0%</div>
  
 
|-
 
|-
Line 519: Line 389:
  
 
|
 
|
−
DescribeTable
+
LMM Integration
  
 
|
 
|
−
<center>8</center>
+
<div align="right">14</div>
  
 
|
 
|
−
<center>1</center>
+
<div align="right">0</div>
  
 
|
 
|
−
<center>4</center>
+
<div align="right">0</div>
  
 
|
 
|
−
<center>63 %</center>
+
<div align="right">0%</div>
−
 
 
−
|
 
−
<center></center>
 
  
 
|-
 
|-
Line 541: Line 408:
  
 
|
 
|
−
GetItem
+
Events Monitoring
−
 
 
−
|
 
−
<center>42</center>
 
  
 
|
 
|
−
<center>15</center>
+
<div align="right">27</div>
  
 
|
 
|
−
<center>16</center>
+
<div align="right">0</div>
  
 
|
 
|
−
<center>74 %</center>
+
<div align="right">27</div>
  
 
|
 
|
−
<center></center>
+
<div align="right">0%</div>
  
 
|-
 
|-
Line 563: Line 427:
  
 
|
 
|
−
PutItem
+
System-level testing
−
 
 
−
|
 
−
<center>70</center>
 
  
 
|
 
|
−
<center>7</center>
+
<div align="right">10</div>
  
 
|
 
|
−
<center>17</center>
+
<div align="right">0</div>
  
 
|
 
|
−
<center>34 %</center>
+
<div align="right">10</div>
  
 
|
 
|
−
<center></center>
+
<div align="right">0%</div>
  
 
|-
 
|-
 
|
 
|
−
<center>8</center>
+
&nbsp;
  
 
|
 
|
−
Query
+
'''Total'''
  
 
|
 
|
−
<center>110</center>
+
<div align="right">'''733'''</div>
  
 
|
 
|
−
<center>33</center>
+
<div align="right">'''239'''</div>
  
 
|
 
|
−
<center>29</center>
+
<div align="right">'''494'''</div>
  
 
|
 
|
−
<center>56 %</center>
+
<div align="right">'''33%'''</div>
  
−
|
+
|}
−
<center></center>
 
−
 
 
−
|-
 
−
|
 
−
<center>9</center>
 
−
 
 
−
|
 
−
Scan
 
−
 
 
−
|
 
−
<center>73</center>
 
−
 
 
−
|
 
−
<center>-</center>
 
−
 
 
−
|
 
−
<center>-</center>
 
−
 
 
−
|
 
−
<center>-</center>
 
−
 
 
−
|
 
−
<center></center>
 
  
−
|-
 
−
|
 
−
<center>10</center>
 
  
−
|
+
Also you can find statistics and all test cases at http://goo.gl/1TqElr
−
Indexing
 
−
 
 
−
|
 
−
<center>42</center>
 
−
 
 
−
|
 
−
<center>-</center>
 
−
 
 
−
|
 
−
<center>-</center>
 
−
 
 
−
|
 
−
<center>-</center>
 
−
 
 
−
|
 
−
<center></center>
 
−
 
 
−
|-
 
−
|
 
−
<center>11</center>
 
−
 
 
−
|
 
−
Async CreateTable
 
−
 
 
−
|
 
−
<center>6</center>
 
−
 
 
−
|
 
−
<center>-</center>
 
−
 
 
−
|
 
−
<center>-</center>
 
−
 
 
−
|
 
−
<center>-</center>
 
−
 
 
−
|
 
−
<center></center>
 
−
 
 
−
|-
 
−
|
 
−
<center>12</center>
 
−
 
 
−
|
 
−
Bulk Write (PoC)
 
−
 
 
−
|
 
−
<center>92</center>
 
−
 
 
−
|
 
−
<center>7</center>
 
−
 
 
−
|
 
−
<center>17</center>
 
−
 
 
−
|
 
−
<center>26 %</center>
 
−
 
 
−
|
 
−
<center></center>
 
−
 
 
−
|-
 
−
|
 
−
<center></center>
 
−
 
 
−
|
 
−
'''''Total'''''
 
−
 
 
−
|
 
−
<center>'''''631'''''</center>
 
−
 
 
−
|
 
−
<center>'''''69'''''</center>
 
−
 
 
−
|
 
−
<center>'''''126'''''</center>
 
−
 
 
−
|
 
−
<center>'''''31 %'''''</center>
 
−
 
 
−
|
 
−
<center></center>
 
−
 
 
−
|-
 
−
|
 
−
<center></center>
 
−
 
 
−
|
 
−
'''Performance/Load'''
 
−
 
 
−
|
 
−
<center>-</center>
 
−
 
 
−
|
 
−
<center>-</center>
 
−
 
 
−
|
 
−
<center>-</center>
 
−
 
 
−
|
 
−
<center>-</center>
 
−
 
 
−
|
 
−
<center></center>
 
−
 
 
−
|-
 
−
|
 
−
<center></center>
 
−
 
 
−
|
 
−
 
 
−
 
 
−
|
 
−
<center></center>
 
−
 
 
−
|
 
−
<center></center>
 
−
 
 
−
|
 
−
<center></center>
 
−
 
 
−
|
 
−
<center></center>
 
−
 
 
−
|
 
−
<center></center>
 
−
 
 
−
|}
 

Latest revision as of 14:22, 27 June 2014

Test Automation Statistics. Sprint 16

#
Test Set
TCs Total
Ready + in Progress
To be covered
Coverage

 

Statements

 

 

 

 

1

BatchRead

46
16
30
35%
2

BatchWrite

37
18
19
49%
3

CreateTable

73
58
15
79%
4

DeleteItem

54
8
46
15%
5

DeleteTable

13
0
13
0%
6

DescribeTable

8
5
3
63%
7

GetItem

29
27
2
93%
8

ListTables

30
16
14
53%
9

PutItem

58
31
27
53%
10

Query

100
60
40
60%
11

Scan

71
0
71
0%
12

UpdateItem

90
0
90
0%
13

MagnetoDB CLI

36
0
36
0%

 

Others

 

 

 

 

1

Indexing

41
0
41
0%
2

Async operations

6
0
6
0%
3

BulkWrite (PoC)

18
0
18
0%
4

MultiDomain Read-Write

23
0
23
0%
5

LMM Integration

14
0
0
0%
6

Events Monitoring

27
0
27
0%
7

System-level testing

10
0
10
0%

 

Total

733
239
494
33%


Also you can find statistics and all test cases at http://goo.gl/1TqElr

Retrieved from "https://wiki.openstack.org/w/index.php?title=MagnetoDB/QA/Test_statistics&oldid=56924"