Модераторы: LSD, AntonSaburov
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Оптимизация подсчета суммы, ArrayList размером в 1 млн. 
V
    Опции темы
scyther
Дата 2.6.2008, 14:37 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 27
Регистрация: 12.4.2008

Репутация: нет
Всего: нет
Есть метод getMiddleTimeView который возвращает среднее время просмотра. Список list формируется по SQL запросу, который возвращает около 1'000'000 элементов.
Вот задача: как оптимизировать этот метод? Скорость выдачи результата очень медленная :( порядка 30..50 секунд
sumSessions - тут можна получить сумму из SQL, а как быть с allTime?

Код
public String getMiddleTimeView(Long partnerId) {
        List<UserTimeOnPartner> list = SessionsDAO.getDefaultDao().getUserTimeOnPartner(partnerId);
        Double sumSessions = 0.0;
        Double allTime = 0.0;
        Double result = null;
        String res = null;
        
        for (int i = 0; i < list.size(); i++) {
            Double temp = list.get(i).getTimeIn();
            
            if(temp.equals(0.0))
                temp = 0.1;
            
            sumSessions = list.get(i).getSessions() + sumSessions;
            allTime = (temp * list.get(i).getSessions()) + allTime; 
        }
        
        result = allTime/sumSessions;
        res = new java.text.DecimalFormat("0.00").format(result);
        
        return res;
    }
PM MAIL   Вверх
LSD
Дата 2.6.2008, 14:52 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Leprechaun Software Developer
****


Профиль
Группа: Модератор
Сообщений: 15718
Регистрация: 24.3.2004
Где: Dublin

Репутация: 210
Всего: 538
Поподробней насчет данных, как что хранится.


--------------------
Disclaimer: this post contains explicit depictions of personal opinion. So, if it sounds sarcastic, don't take it seriously. If it sounds dangerous, do not try this at home or at all. And if it offends you, just don't read it.
PM MAIL WWW   Вверх
w38
Дата 2.6.2008, 14:52 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 8
Регистрация: 4.12.2006
Где: Украина, Одесса

Репутация: нет
Всего: нет
что сразу бросилось в глаза:
1) проход по списку сделать итератором, вместо for (int i = 0; i < list.size(); i++)
2) избавиться от неявных оберток Double -> double
про подсчет allTime на стороне сервера, что мешает использовать условные констуркции в SQL-выражениях, процедруах или представлениях ?
PM MAIL ICQ   Вверх
scyther
Дата 2.6.2008, 15:17 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 27
Регистрация: 12.4.2008

Репутация: нет
Всего: нет
LSD: вот тип ArrayList'а, остальное впринципе видно в первом посте 
Код
public class UserTimeOnPartner {
    private Integer userId = null;
    private Long partnerId = null;
    private Double timeIn = null;
    private Double sessions = null;

w38: "использовать условные констуркции в SQL-выражениях" - а можна, пожалуста, подробней об етом (или ссылки какие)
PM MAIL   Вверх
Kangaroo
Дата 2.6.2008, 15:17 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


AA - Aussie Animal
****


Профиль
Группа: Участник Клуба
Сообщений: 2042
Регистрация: 7.10.2006
Где: US

Репутация: 21
Всего: 104
Цитата(scyther @  2.6.2008,  14:37 Найти цитируемый пост)
list.get(i)


Цитата(scyther @  2.6.2008,  14:37 Найти цитируемый пост)
list.get(i)


Цитата(scyther @  2.6.2008,  14:37 Найти цитируемый пост)
list.get(i)

зачем три раза рыться по массиву? Раз достань и используй.


Может можно СКЛюм сделать sum(TimeIn*Sessions), я не уверен.


--------------------
Lost....
PM MAIL MSN   Вверх
scyther
Дата 2.6.2008, 15:39 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 27
Регистрация: 12.4.2008

Репутация: нет
Всего: нет
Kangaroo: "sum(TimeIn*Sessions), я не уверен" можно.
Немного переписал метод 
Код
public String getMiddleTimeView(Long partnerId) {
        List<UserTimeOnPartner> list = SessionsDAO.getDefaultDao().getUserTimeOnPartner(partnerId);
        double sumSessions = 0.0;
        double allTime = 0.0;
        double result = 0.0;
        String res = null;
        for(UserTimeOnPartner p : list) {
            double t = p.getTimeIn();
            double s = p.getSessions();
            if(t == 0.0)
                t = 0.1;
            sumSessions = s + sumSessions;
            allTime = (t * s) + allTime;
        }
        result = allTime/sumSessions;
        res = new java.text.DecimalFormat("0.00").format(result);
        return res;
    }

Новый код - новые ошибки
Код
java.lang.OutOfMemoryError: Java heap space
    at com.mysql.jdbc.MysqlIO.nextRow(MysqlIO.java:1015)
    at com.mysql.jdbc.MysqlIO.getResultSet(MysqlIO.java:305)
    at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:1326)
    at com.mysql.jdbc.Connection.execSQL(Connection.java:2281)
    at com.mysql.jdbc.PreparedStatement.executeQuery(PreparedStatement.java:1634)
    at biz.smartymedia.usrating.dao.impl.SessionsDAOImpl.getUserTimeOnPartner(SessionsDAOImpl.java:148)
    at biz.smartymedia.usrating.service.impl.SessionsServiceImpl.getMiddleTimeView(SessionsServiceImpl.java:46)
    at test.biz.smartymedia.usrating.service.TestSessionsService.testAllSessionsService(TestSessionsService.java:20)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at junit.framework.TestCase.runTest(TestCase.java:164)
    at junit.framework.TestCase.runBare(TestCase.java:130)
    at junit.framework.TestResult$1.protect(TestResult.java:106)
    at junit.framework.TestResult.runProtected(TestResult.java:124)
    at junit.framework.TestResult.run(TestResult.java:109)
    at junit.framework.TestCase.run(TestCase.java:120)
    at junit.framework.TestSuite.runTest(TestSuite.java:230)
    at junit.framework.TestSuite.run(TestSuite.java:225)
    at org.eclipse.jdt.internal.junit.runner.junit3.JUnit3TestReference.run(JUnit3TestReference.java:130)
    at org.eclipse.jdt.internal.junit.runner.TestExecution.run(TestExecution.java:38)
    at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:460)
    at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:673)
    at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.run(RemoteTestRunner.java:386)
    at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.main(RemoteTestRunner.java:196)
PM MAIL   Вверх
Platon
Дата 2.6.2008, 15:54 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1801
Регистрация: 25.4.2006

Репутация: 16
Всего: 40
В миллион записей, ты конечно прикалываешься выгружать в память! Раз ты игнорируешь получать данные с помощью SQL-скрипта, тогда прими к сведению:
Лучше делать страничную выгрузку данных. Что имею ввиду:
Код

List items;
from = 0;
limit = 1000;
do {
    items = dao.getItems(from, limit);
    // частично получаешь сумму
    from += limit;
} while (items.size() != 0);

// здесь у тебя есть сумма, теперь просто делишь.



--------------------
user posted image
Блог на винграде
Мой Блог о Java
For Java developers... only
PM MAIL ICQ   Вверх
scyther
Дата 2.6.2008, 17:49 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 27
Регистрация: 12.4.2008

Репутация: нет
Всего: нет
Platon: спасиба, вопрос решен smile 
PM MAIL   Вверх
LSD
Дата 2.6.2008, 18:49 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Leprechaun Software Developer
****


Профиль
Группа: Модератор
Сообщений: 15718
Регистрация: 24.3.2004
Где: Dublin

Репутация: 210
Всего: 538
Цитата(scyther @  2.6.2008,  16:17 Найти цитируемый пост)
вот тип ArrayList'а, остальное впринципе видно в первом посте

Я имел в виду, пояснить что там к чему. По коду не очень понятен смысл timeIn и sessions.

А вообще самое быстрое и производительное это посчитать сумму в БД.


--------------------
Disclaimer: this post contains explicit depictions of personal opinion. So, if it sounds sarcastic, don't take it seriously. If it sounds dangerous, do not try this at home or at all. And if it offends you, just don't read it.
PM MAIL WWW   Вверх
scyther
Дата 3.6.2008, 13:07 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 27
Регистрация: 12.4.2008

Репутация: нет
Всего: нет
LSD: так и сделал, все в sql считал,  теперь работает за 0.5 секунды
PM MAIL   Вверх
  
 Ответ в темуСоздание новой темы Создание опроса
Правила форума "Java"
LSD   AntonSaburov
powerOn   tux
javastic
  • Прежде, чем задать вопрос, прочтите это!
  • Книги по Java собираются здесь.
  • Документация и ресурсы по Java находятся здесь.
  • Используйте теги [code=java][/code] для подсветки кода. Используйтe чекбокс "транслит", если у Вас нет русских шрифтов.
  • Помечайте свой вопрос как решённый, если на него получен ответ. Ссылка "Пометить как решённый" находится над первым постом.
  • Действия модераторов можно обсудить здесь.
  • FAQ раздела лежит здесь.

Если Вам помогли, и атмосфера форума Вам понравилась, то заходите к нам чаще! С уважением, LSD, AntonSaburov, powerOn, tux, javastic.
 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | Java: Общие вопросы | Следующая тема »

Подписаться на тему | Подписка на этот форум | Скачать/Распечатать тему


 




[ Время генерации скрипта: 0.1254 ]   [ Использовано запросов: 21 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
 По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.