ArchivePolicy.java

  1. package gov.usgs.earthquake.indexer;

  3. import gov.usgs.earthquake.distribution.ConfigurationException;
  4. import gov.usgs.earthquake.util.ISO8601;
  5. import gov.usgs.util.Config;
  6. import gov.usgs.util.DefaultConfigurable;

  8. import java.math.BigDecimal;
  9. import java.util.Date;
  10. import java.util.logging.Logger;

  12. /**
  13.  * A policy for the Indexer to clean up Events in its ProductIndex.
  14.  *
  15.  * The policy is created by configuration parameters and generates
  16.  * a ProductIndexQuery. Any product/event matching the product index query is
  17.  * archived. Generally, archiving means the data for that product/event is
  18.  * removed from the index as well as the storage. Upon archiving, an
  19.  * EVENT_ARCHIVED type of IndexerEvent is sent to interested listeners.
  20.  *
  21.  * All archive policies run in their own thread (one thread separate from
  22.  * indexing for all archive policies, not one each) and execute at configured
  23.  * intervals.
  24.  *
  25.  * @author emartinez
  26.  *
  27.  */
  28. public class ArchivePolicy extends DefaultConfigurable {

  30.     private static final Logger LOGGER = Logger.getLogger(ArchivePolicy.class
  31.             .getName());

  33.     // --------------------------------------------------------------------
  34.     // Names of configurable parameters
  35.     // --------------------------------------------------------------------

  37.     /** @deprecated */
  38.     public static final String ARCHIVE_MIN_AGE_PROPERTY = "minAge";
  39.     /** @deprecated */
  40.     public static final String ARCHIVE_MAX_AGE_PROPERTY = "maxAge";

  42.     /** Property for archive minimum event age */
  43.     public static final String ARCHIVE_MIN_EVENT_AGE_PROPERTY = "minEventAge";
  44.     /** Property for archive maximum event age */
  45.     public static final String ARCHIVE_MAX_EVENT_AGE_PROPERTY = "maxEventAge";

  47.     /** Property for archive minimum event time */
  48.     public static final String ARCHIVE_MIN_EVENT_TIME_PROPERTY = "minEventTime";
  49.     /** Property for archive maximum event time */
  50.     public static final String ARCHIVE_MAX_EVENT_TIME_PROPERTY = "maxEventTime";

  52.     /** Property for archive minimum mag */
  53.     public static final String ARCHIVE_MIN_MAG_PROPERTY = "minMag";
  54.     /** Property for archive maximum mag */
  55.     public static final String ARCHIVE_MAX_MAG_PROPERTY = "maxMag";

  57.     /** Property for archive minimum latitude */
  58.     public static final String ARCHIVE_MIN_LAT_PROPERTY = "minLat";
  59.     /** Property for archive maximum latitude */
  60.     public static final String ARCHIVE_MAX_LAT_PROPERTY = "maxLat";

  62.     /** Property for archive minimum longitude */
  63.     public static final String ARCHIVE_MIN_LNG_PROPERTY = "minLng";
  64.     /** Property for archive maximum longitude */
  65.     public static final String ARCHIVE_MAX_LNG_PROPERTY = "maxLng";

  67.     /** Property for archive minimum depth */
  68.     public static final String ARCHIVE_MIN_DEPTH_PROPERTY = "minDepth";
  69.     /** Property for archive maximum depth */
  70.     public static final String ARCHIVE_MAX_DEPTH_PROPERTY = "maxDepth";

  72.     /** Property for archive event source */
  73.     public static final String ARCHIVE_EVENT_SOURCE_PROPERTY = "eventSource";

  75.     // --------------------------------------------------------------------
  76.     // Configured parameters.
  77.     // --------------------------------------------------------------------

  79.     /** @deprecated */
  80.     protected Long minAge = null;
  81.     /** @deprecated */
  82.     protected Long maxAge = null;

  84.     /** Configured parameter var for minEventAge */
  85.     protected Long minEventAge = null;
  86.     /** Configured parameter var for maxEventAge */
  87.     protected Long maxEventAge = null;

  89.     /** Configured parameter var for minEventTime */
  90.     protected Long minEventTime = null;
  91.     /** Configured parameter var for maxEventTime */
  92.     protected Long maxEventTime = null;

  94.     /** Configured parameter var for minMag */
  95.     protected BigDecimal minMag = null;
  96.     /** Configured parameter var for maxMag */
  97.     protected BigDecimal maxMag = null;

  99.     /** Configured parameter var for minLat */
  100.     protected BigDecimal minLat = null;
  101.     /** Configured parameter var for maxLat */
  102.     protected BigDecimal maxLat = null;

  104.     /** Configured parameter var for minLng */
  105.     protected BigDecimal minLng = null;
  106.     /** Configured parameter var for maxLng */
  107.     protected BigDecimal maxLng = null;

  109.     /** Configured parameter var for minDepth */
  110.     protected BigDecimal minDepth = null;
  111.     /** Configured parameter var for maxDepth */
  112.     protected BigDecimal maxDepth = null;

  114.     /** Configured parameter var for eventSource */
  115.     protected String eventSource = null;

  117.     /** Default Constructor */
  118.     public ArchivePolicy() {
  119.         // Default constructor
  120.     }

  122.     @Override
  123.     public void configure(Config config) throws Exception {
  124.         minEventAge = parseLong(config, ARCHIVE_MIN_EVENT_AGE_PROPERTY);
  125.         maxEventAge = parseLong(config, ARCHIVE_MAX_EVENT_AGE_PROPERTY);

  127.         minEventTime = parseDateOrLong(config, ARCHIVE_MIN_EVENT_TIME_PROPERTY);
  128.         maxEventTime = parseDateOrLong(config, ARCHIVE_MAX_EVENT_TIME_PROPERTY);

  130.         minAge = parseLong(config, ARCHIVE_MIN_AGE_PROPERTY);
  131.         if (minAge != null) {
  132.             LOGGER.config("Use of minAge property is deprecated.");
  133.         }
  134.         maxAge = parseLong(config, ARCHIVE_MAX_AGE_PROPERTY);
  135.         if (maxAge != null) {
  136.             LOGGER.config("Use of maxAge property is deprecated.");
  137.         }

  139.         if (minEventAge != null && maxEventTime != null) {
  140.             LOGGER.config("Both minEventAge and maxEventTime were specified. "
  141.                     + "Ignoring minEventAge. Only maxEventTime will be used.");
  142.         }
  143.         if (maxEventAge != null && minEventTime != null) {
  144.             LOGGER.config("Both maxEventAge and minEventTime were specified. "
  145.                     + "Ignoring maxEventAge. Only minEventTime will be used.");
  146.         }

  148.         if ((minAge != null || maxAge != null)
  149.                 && (minEventAge != null || maxEventAge != null
  150.                         || minEventTime != null || maxEventTime != null)) {

  152.             ConfigurationException ce = new ConfigurationException(
  153.                     "Configuration mismatch. Can not specify both "
  154.                             + "minAge/maxAge (legacy) properties as well as "
  155.                             + "minEventAge/maxEventAge or minEventTime/maxEventTime.");

  157.             ce.fillInStackTrace();
  158.             throw ce;
  159.         }

  161.         if ((minEventAge != null && maxEventAge != null)
  162.                 && (minEventAge > maxEventAge)) {

  164.             ConfigurationException ce = new ConfigurationException(
  165.                     "Configuration mismatch. minEventAge "
  166.                             + "greater than maxEventAge.");
  167.             ce.fillInStackTrace();
  168.             throw ce;
  169.         }

  171.         if ((minEventTime != null && maxEventTime != null)
  172.                 && (minEventTime > maxEventTime)) {

  174.             ConfigurationException ce = new ConfigurationException(
  175.                     "Configuration mismatch. minEventTime "
  176.                             + "greater than maxEventTime.");
  177.             ce.fillInStackTrace();
  178.             throw ce;
  179.         }

  181.         minMag = parseBigDecimal(config, ARCHIVE_MIN_MAG_PROPERTY);
  182.         maxMag = parseBigDecimal(config, ARCHIVE_MAX_MAG_PROPERTY);
  183.         minLat = parseBigDecimal(config, ARCHIVE_MIN_LAT_PROPERTY);
  184.         maxLat = parseBigDecimal(config, ARCHIVE_MAX_LAT_PROPERTY);
  185.         minLng = parseBigDecimal(config, ARCHIVE_MIN_LNG_PROPERTY);
  186.         maxLng = parseBigDecimal(config, ARCHIVE_MAX_LNG_PROPERTY);
  187.         minDepth = parseBigDecimal(config, ARCHIVE_MIN_DEPTH_PROPERTY);
  188.         maxDepth = parseBigDecimal(config, ARCHIVE_MAX_DEPTH_PROPERTY);
  189.         eventSource = config.getProperty(ARCHIVE_EVENT_SOURCE_PROPERTY);
  190.     }

  192.     @Override
  193.     public void shutdown() throws Exception {
  194.         // Nothing to do
  195.     }

  197.     @Override
  198.     public void startup() throws Exception {
  199.         // Nothing to do
  200.     }

  202.     /** @return a ProductIndexQuery */
  203.     public ProductIndexQuery getIndexQuery() {
  204.         ProductIndexQuery productIndexQuery = new ProductIndexQuery();
  205.         Date now = new Date();

  207.         if (minAge != null) {
  208.             // min age corresponds to minimum event time
  209.             productIndexQuery.setMinEventTime(new Date(now.getTime()
  210.                     - minAge.longValue()));
  211.         }
  212.         if (maxAge != null) {
  213.             // max age corresponds to maximum event time
  214.             productIndexQuery.setMaxEventTime(new Date(now.getTime()
  215.                     - maxAge.longValue()));
  216.         }

  218.         /*-
  219.          Epoch                                                            Now
  220.            |------------------- maxAge <---------------------------------- |
  221.            |                       |                                       |
  222.            |                       |                minAge <---------------|
  223.            |                       |                   |                   |
  224.            |-----------------------|-------------------|-------------------|
  225.            |                       |                   |
  226.            |------------------> minTime                |
  227.            |                                           |
  228.            |--------------------------------------> maxTime

  230.          Simple Example (not to scale)

  232.            0 (Epoch)                                              (Now) 100,000
  233.            |------------------- maxAge <--- (10,000) --------------------- |
  234.            |                       |                                       |
  235.            |                       |                minAge <--- (1,000) ---|
  236.            |                       |                   |                   |
  237.            |-------------------- 90,000 ************ 99,000 ---------------|
  238.            |                       |                   |
  239.            |----- (90,000) ---> minTime                |
  240.            |                                           |
  241.            |------------------------- (99,000) ---> maxTime

  243.            Events occurring in the *** time span will match the query and be
  244.            archived.
  245.          */

  247.         if (maxEventAge != null) {
  248.             productIndexQuery.setMinEventTime(new Date(now.getTime()
  249.                     - maxEventAge.longValue()));
  250.         }
  251.         if (minEventAge != null) {
  252.             productIndexQuery.setMaxEventTime(new Date(now.getTime()
  253.                     - minEventAge.longValue()));
  254.         }

  256.         if (minEventTime != null) {
  257.             productIndexQuery
  258.                     .setMinEventTime(new Date(minEventTime.longValue()));
  259.         }
  260.         if (maxEventTime != null) {
  261.             productIndexQuery
  262.                     .setMaxEventTime(new Date(maxEventTime.longValue()));
  263.         }

  265.         productIndexQuery.setMinEventMagnitude(minMag);
  266.         productIndexQuery.setMaxEventMagnitude(maxMag);
  267.         productIndexQuery.setMinEventLatitude(minLat);
  268.         productIndexQuery.setMaxEventLatitude(maxLat);
  269.         productIndexQuery.setMinEventLongitude(minLng);
  270.         productIndexQuery.setMaxEventLongitude(maxLng);
  271.         productIndexQuery.setMinEventDepth(minDepth);
  272.         productIndexQuery.setMaxEventDepth(maxDepth);
  273.         productIndexQuery.setEventSource(eventSource);

  275.         // this archive policy is only for events, only remove events based on
  276.         // their preferred properties
  277.         productIndexQuery
  278.                 .setEventSearchType(ProductIndexQuery.SEARCH_EVENT_PREFERRED);

  280.         productIndexQuery.setResultType(ProductIndexQuery.RESULT_TYPE_ALL);

  282.         return productIndexQuery;
  283.     }

  285.     /** @return boolean if the policy is valid */
  286.     public boolean isValidPolicy() {
  287.         // Not valid if using both old and new configuration methods
  288.         boolean valid = !((minAge != null || maxAge != null) && (minEventAge != null || maxEventAge != null));

  290.         return valid
  291.                 && (minAge != null || maxAge != null || minEventAge != null
  292.                         || maxEventAge != null || minEventTime != null
  293.                         || maxEventTime != null || minMag != null
  294.                         || maxMag != null || minLat != null || maxLat != null
  295.                         || minLng != null || maxLng != null || minDepth != null
  296.                         || maxDepth != null || eventSource != null);
  297.     }

  299.     /**
  300.      * Gets the property 'name' from config and returns a BigDecimal of it
  301.      * @param config Config file
  302.      * @param name name of property from config
  303.      * @return BigDecimal of property
  304.      */
  305.     protected BigDecimal parseBigDecimal(Config config, String name) {
  306.         BigDecimal property = null;
  307.         try {
  308.             String buffer = config.getProperty(name);
  309.             if (buffer != null) {
  310.                 property = new BigDecimal(buffer);
  311.             }
  312.         } catch (NumberFormatException npx) {
  313.             property = null;
  314.         }
  315.         return property;
  316.     }

  318.     /**
  319.      * Gets the property 'name' from config and returns a Date/Long of it
  320.      * @param config Config file
  321.      * @param name name of property from config
  322.      * @return Date/Long of property
  323.      */
  324.     protected Long parseDateOrLong(Config config, String name) {
  325.         Long property = null;
  326.         try {
  327.             String buffer = config.getProperty(name);
  328.             if (buffer != null) {
  329.                 if (buffer.indexOf("T") != -1) {
  330.                     // try parsing as date
  331.                     Date date = ISO8601.parse(buffer);
  332.                     if (date != null) {
  333.                         property = date.getTime();
  334.                     }
  335.                 } else {
  336.                     property = Long.valueOf(buffer);
  337.                 }
  338.             }
  339.         } catch (NumberFormatException npx) {
  340.             property = null;
  341.         }
  342.         return property;
  343.     }

  345.     /**
  346.      * Gets the property 'name' from config and returns a Long of it
  347.      * @param config Config file
  348.      * @param name name of property from config
  349.      * @return Long of property
  350.      */
  351.     protected Long parseLong(Config config, String name) {
  352.         Long property = null;
  353.         try {
  354.             String buffer = config.getProperty(name);
  355.             if (buffer != null) {
  356.                 property = Long.valueOf(buffer);
  357.             }
  358.         } catch (NumberFormatException npx) {
  359.             property = null;
  360.         }
  361.         return property;
  362.     }

  364.     /** @deprecated
  365.      * @return minAge
  366.      */
  367.     public Long getMinAge() {
  368.         return minAge;
  369.     }

  371.     /** @deprecated
  372.      * @param minAge to set
  373.      */
  374.     public void setMinAge(Long minAge) {
  375.         this.minAge = minAge;
  376.     }

  378.     /** @deprecated
  379.      * @return maxAge
  380.      */
  381.     public Long getMaxAge() {
  382.         return maxAge;
  383.     }

  385.     /** @deprecated
  386.      * @param maxAge to set
  387.      */
  388.     public void setMaxAge(Long maxAge) {
  389.         this.maxAge = maxAge;
  390.     }

  392.     /** @return minEventAge */
  393.     public Long getMinEventAge() {
  394.         return minEventAge;
  395.     }

  397.     /** @param minEventAge to set */
  398.     public void setMinEventAge(Long minEventAge) {
  399.         this.minEventAge = minEventAge;
  400.     }

  402.     /** @return maxEventAge */
  403.     public Long getMaxEventAge() {
  404.         return maxEventAge;
  405.     }

  407.     /** @param maxEventAge to set */
  408.     public void setMaxEventAge(Long maxEventAge) {
  409.         this.maxEventAge = maxEventAge;
  410.     }

  412.     /** @return minEventTime */
  413.     public Long getMinEventTime() {
  414.         return minEventTime;
  415.     }

  417.     /** @param minEventTime to set */
  418.     public void setMinEventTime(Long minEventTime) {
  419.         this.minEventTime = minEventTime;
  420.     }

  422.     /** @return maxEventTime */
  423.     public Long getMaxEventTime() {
  424.         return maxEventTime;
  425.     }

  427.     /** @param maxEventTime to set  */
  428.     public void setMaxEventTime(Long maxEventTime) {
  429.         this.maxEventTime = maxEventTime;
  430.     }

  432.     /** @return minMag */
  433.     public BigDecimal getMinMag() {
  434.         return minMag;
  435.     }

  437.     /** @param minMag to set  */
  438.     public void setMinMag(BigDecimal minMag) {
  439.         this.minMag = minMag;
  440.     }

  442.     /** @return maxMag */
  443.     public BigDecimal getMaxMag() {
  444.         return maxMag;
  445.     }

  447.     /** @param maxMag to set */
  448.     public void setMaxMag(BigDecimal maxMag) {
  449.         this.maxMag = maxMag;
  450.     }

  452.     /** @return minLat */
  453.     public BigDecimal getMinLat() {
  454.         return minLat;
  455.     }

  457.     /** @param minLat to set */
  458.     public void setMinLat(BigDecimal minLat) {
  459.         this.minLat = minLat;
  460.     }

  462.     /** @return maxLat */
  463.     public BigDecimal getMaxLat() {
  464.         return maxLat;
  465.     }

  467.     /** @param maxLat to set */
  468.     public void setMaxLat(BigDecimal maxLat) {
  469.         this.maxLat = maxLat;
  470.     }

  472.     /** @return minLng */
  473.     public BigDecimal getMinLng() {
  474.         return minLng;
  475.     }

  477.     /** @param minLng to set */
  478.     public void setMinLng(BigDecimal minLng) {
  479.         this.minLng = minLng;
  480.     }

  482.     /** @return maxLng */
  483.     public BigDecimal getMaxLng() {
  484.         return maxLng;
  485.     }

  487.     /** @param maxLng to set */
  488.     public void setMaxLng(BigDecimal maxLng) {
  489.         this.maxLng = maxLng;
  490.     }

  492.     /** @return minDepth */
  493.     public BigDecimal getMinDepth() {
  494.         return minDepth;
  495.     }

  497.     /** @param minDepth to set */
  498.     public void setMinDepth(BigDecimal minDepth) {
  499.         this.minDepth = minDepth;
  500.     }

  502.     /** @return maxDepth */
  503.     public BigDecimal getMaxDepth() {
  504.         return maxDepth;
  505.     }

  507.     /** @param maxDepth to set */
  508.     public void setMaxDepth(BigDecimal maxDepth) {
  509.         this.maxDepth = maxDepth;
  510.     }

  512.     /** @return eventSource */
  513.     public String getEventSource() {
  514.         return eventSource;
  515.     }

  517.     /** @param eventSource to set */
  518.     public void setEventSource(String eventSource) {
  519.         this.eventSource = eventSource;
  520.     }
  521. }
Created with JaCoCo 0.8.8.202204050719