Code Coverage
 
Lines
Functions and Methods
Classes and Traits
Total
68.25% covered (warning)
68.25%
43 / 63
50.00% covered (danger)
50.00%
2 / 4
CRAP
0.00% covered (danger)
0.00%
0 / 1
ParsoidCachePrewarmJob
68.25% covered (warning)
68.25%
43 / 63
50.00% covered (danger)
50.00%
2 / 4
14.87
0.00% covered (danger)
0.00%
0 / 1
 __construct
0.00% covered (danger)
0.00%
0 / 6
0.00% covered (danger)
0.00%
0 / 1
2
 newSpec
100.00% covered (success)
100.00%
16 / 16
100.00% covered (success)
100.00%
1 / 1
1
 doParsoidCacheUpdate
64.10% covered (warning)
64.10%
25 / 39
0.00% covered (danger)
0.00%
0 / 1
10.96
 run
100.00% covered (success)
100.00%
2 / 2
100.00% covered (success)
100.00%
1 / 1
1
1<?php
2/**
3 * This program is free software; you can redistribute it and/or modify
4 * it under the terms of the GNU General Public License as published by
5 * the Free Software Foundation; either version 2 of the License, or
6 * (at your option) any later version.
7 *
8 * This program is distributed in the hope that it will be useful,
9 * but WITHOUT ANY WARRANTY; without even the implied warranty of
10 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
11 * GNU General Public License for more details.
12 *
13 * You should have received a copy of the GNU General Public License along
14 * with this program; if not, write to the Free Software Foundation, Inc.,
15 * 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
16 * http://www.gnu.org/copyleft/gpl.html
17 *
18 * @file
19 */
20
21use MediaWiki\Logger\LoggerFactory;
22use MediaWiki\Page\PageLookup;
23use MediaWiki\Page\PageRecord;
24use MediaWiki\Page\ParserOutputAccess;
25use MediaWiki\Parser\Parsoid\Config\SiteConfig as ParsoidSiteConfig;
26use MediaWiki\Revision\RevisionLookup;
27use MediaWiki\Revision\SlotRecord;
28use MediaWiki\Status\Status;
29use Psr\Log\LoggerInterface;
30use Wikimedia\Parsoid\Core\ClientError;
31use Wikimedia\Parsoid\Core\ResourceLimitExceededException;
32
33/**
34 * @ingroup JobQueue
35 * @internal
36 * @since 1.40
37 */
38class ParsoidCachePrewarmJob extends Job {
39    private LoggerInterface $logger;
40    private ParserOutputAccess $parserOutputAccess;
41    private PageLookup $pageLookup;
42    private RevisionLookup $revisionLookup;
43    private ParsoidSiteConfig $parsoidSiteConfig;
44
45    /**
46     * @param array $params
47     * @param ParserOutputAccess $parserOutputAccess
48     * @param PageLookup $pageLookup
49     * @param RevisionLookup $revisionLookup
50     * @param ParsoidSiteConfig $parsoidSiteConfig
51     */
52    public function __construct(
53        array $params,
54        ParserOutputAccess $parserOutputAccess,
55        PageLookup $pageLookup,
56        RevisionLookup $revisionLookup,
57        ParsoidSiteConfig $parsoidSiteConfig
58    ) {
59        parent::__construct( 'parsoidCachePrewarm', $params );
60
61        // TODO: find a way to inject the logger
62        $this->logger = LoggerFactory::getInstance( 'ParsoidCachePrewarmJob' );
63        $this->parserOutputAccess = $parserOutputAccess;
64        $this->pageLookup = $pageLookup;
65        $this->revisionLookup = $revisionLookup;
66        $this->parsoidSiteConfig = $parsoidSiteConfig;
67    }
68
69    /**
70     * @param int $revisionId
71     * @param PageRecord $page
72     * @param array $params Additional options for the job. Known keys:
73     * - causeAction: Indicate what action caused the job to be scheduled. Used for monitoring.
74     * - options: Flags to be passed to ParserOutputAccess:getParserOutput.
75     *   May be set to ParserOutputAccess::OPT_FORCE_PARSE to force a parsing even if there
76     *   already is cached output.
77     *
78     * @return JobSpecification
79     */
80    public static function newSpec(
81        int $revisionId,
82        PageRecord $page,
83        array $params = []
84    ): JobSpecification {
85        $pageId = $page->getId();
86        $pageTouched = $page->getTouched();
87
88        $params += [ 'options' => 0 ];
89
90        $params += self::newRootJobParams(
91            "parsoidCachePrewarm:$pageId:$revisionId:$pageTouched:{$params['options']}"
92        );
93
94        $opts = [ 'removeDuplicates' => true ];
95
96        return new JobSpecification(
97            'parsoidCachePrewarm',
98            [
99                'revId' => $revisionId,
100                'pageId' => $pageId,
101                'page_touched' => $pageTouched,
102            ] + $params,
103            $opts
104        );
105    }
106
107    private function doParsoidCacheUpdate() {
108        $page = $this->pageLookup->getPageById( $this->params['pageId'] );
109        $revId = $this->params['revId'];
110
111        if ( $page === null ) {
112            // This happens when the page got deleted in the meantime.
113            $this->logger->info( "Page with ID {$this->params['pageId']} not found" );
114            return;
115        }
116
117        if ( $page->getLatest() !== $revId ) {
118            $this->logger->info(
119                'ParsoidCachePrewarmJob: The ID of the new revision does not match the page\'s current revision ID'
120            );
121            return;
122        }
123
124        $rev = $this->revisionLookup->getRevisionById( $revId );
125        if ( !$rev ) {
126            return;
127        }
128
129        $parserOpts = ParserOptions::newFromAnon();
130        $parserOpts->setUseParsoid();
131
132        $renderReason = $this->params['causeAction'] ?? $this->command;
133        $parserOpts->setRenderReason( $renderReason );
134
135        $mainSlot = $rev->getSlot( SlotRecord::MAIN );
136        if ( !$this->parsoidSiteConfig->supportsContentModel( $mainSlot->getModel() ) ) {
137            $this->logger->debug( __METHOD__ . ': Parsoid does not support content model ' . $mainSlot->getModel() );
138            return;
139        }
140
141        $this->logger->debug( __METHOD__ . ': generating Parsoid output' );
142
143        // We may get the OPT_FORCE_PARSE flag this way
144        $options = $this->params['options'] ?? 0;
145
146        // getParserOutput() will write to ParserCache.
147        try {
148            $status = $this->parserOutputAccess->getParserOutput(
149                $page,
150                $parserOpts,
151                $rev,
152                $options
153            );
154        } catch ( ClientError $e ) {
155            // This exception is only thrown by Parsoid when (a)
156            // variant language is invalid or (b) when DOMUtils
157            // encounters "a name invalid in XML", neither of which
158            // *should* occur here.  But just in case...
159            $status = Status::newFatal( 'parsoid-client-error', $e->getMessage() );
160        } catch ( ResourceLimitExceededException $e ) {
161            // This exception is only thrown by Parsoid when the
162            // wikitext size limit is exceeded, which shouldn't happen
163            // in any articles retrieved from the DB.
164            $status = Status::newFatal( 'parsoid-resource-limit-exceeded', $e->getMessage() );
165        }
166
167        if ( !$status->isOK() ) {
168            $this->logger->error( __METHOD__ . ': Parsoid error', [
169                'errors' => $status->getErrors(),
170                'page' => $page->getDBkey(),
171                'rev' => $rev->getId(),
172            ] );
173        }
174    }
175
176    public function run() {
177        $this->doParsoidCacheUpdate();
178
179        return true;
180    }
181}